民國十二年（1923年）夏，河南新鄭壹紳士李銳打井，無意間打出壹座古墓，發掘出100多件青銅器。
北洋陸軍14師師長聞訊後向吳佩孚馳報。
吳佩孚命令該師長將出土文物運至開封妥善保管。
民國十六年（1927年）6月，為了更好的保存這批文物，時任國民革命軍總司令、河南省 *** 主席的馮玉祥將軍在治豫政綱中就提出了“教育為立國根本要政”的主張，並身體力行，極力扶持文化教育事業。
7月，由省 *** 委派郭須靜、徐金泉 、何日章三人為河南博物館籌備委員，隸屬省教育廳，籌建於開封三聖廟街（今開封三勝街）河南法政學堂和河道總督衙門舊址，是為河南博物院發軔之始。
民國十七年（1928年）5月，原河南省 *** 將河南博物館改名為“民族博物院”，並改由省 *** 直接領導，同時劃撥劉師古堂充公遺產的壹部分為專款，限期開放。
民族博物院以“啟發民眾知識文明、激增命思想、促進社會文明”為辦院宗旨，廣泛征集歷史、自然科學、農業、藝術、生理衛生等方面的實物料。
10月10日，成功舉辦了第壹次陳列展覽。
民國十九年（1930年）12月1日，河南省 *** 將“民族博物院”恢復為“河南博物館”，並確定為社會教育機關，直屬省教育廳領導。
12月23日教育廳委任關百益為館長，並收 *** 眾師範房舍為古物陳列室。
民國二十年（1931年）1月20日，河南省教育廳又頒布了《河南博物館組織條例》，其中明確博物館的宗旨為：“壹、發揚固有文化；二、提倡學術研究；三、增長民眾知識；四、促進社會文明”。
同時設立了保管部、搜集研究部兩個大部，成立了由民政廳廳長、教育廳廳長、河南大學校長、博物館館長等組成的7人理事會，將原民族博物院的19個陳列室調整為7個，撤去了大量民族服飾和模型，充實了歷史文物。
民國二十六年（1937年）11月24日，盧溝橋事變爆發後，國民 *** 為確保文物安全，於將原河南博物館所藏文物精選珍品5678件，拓片1162張，圖書1472套（冊）裝68箱，用了三天時間運往漢口法租界租房保存。
民國二十七年（1938年）9月，漢口淪陷之前，這批文物又被迫轉移至重慶。
民國二十九年（1940年），河南博物館被更名為“河南省立博物館”，下設事務部、保館部、研究部等。
民國三十四年（1945年），抗戰結束後， *** 河南省 *** 派謝孟剛為接收委員，接收了日偽當局控制下的河南省博物館，但終因解放戰爭的爆發， *** *** 忙於內戰，經濟嚴重匱乏，經費拮據，博物館步履維艱。
民國三十七年（1948年），中國人民 *** 解放了古都開封。
中國 *** 成立了以趙幹亭為主的三人管理小組，進駐博物館，整飭館務。
1949年11月，國民 *** 將存放於重慶的原河南博物館文物中的珍貴文物5119件，圖書1450套（冊）裝38箱與國立故宮博物院部分文物藏品壹起運往臺灣，後成為臺北國立歷史博物館的主要藏品，其余30箱由中國人民 *** 軍管會接管。
1949年11月，河南省 *** 任命省教育廳廳長乃生兼任館長，開始組織人員，整理文物、展室，修繕房舍、設施，進行業務活動，博物館再次出現生機，蓬勃發展。
1953年，根據中央文化部頒發的《對地方博物館的方針、任務、性質及發展方向的意見》，河南省博物館被確定為地誌性博物館。
1961年，河南省博物館由開封遷至新省會鄭州市的人民路11號。
1966年，博物館組織癱瘓，業務荒廢。
1978年，中國 *** 的十壹屆三中全會以後，河南省博物館重新恢復運營。
1991年秋，國務院決定由國家和河南省***同投資籌建新館舍。
1997年7月，河南省 *** 決定，將中原石刻藝術館與河南省博物館合並，成立河南博物館。
1998年，河南省博物館從鄭州市人民路遷至鄭州市農業路更名為“河南博物院”，而成為國家級博物館。
1998年5月1日，河南博物院落成開放。
2015年7月14日起河南博物院將閉館，對主展館實施維修，預計工期18個月。