中华民国时期，河南地方政区建置最初实行省、道、县3级制，此后改行省、县两级制，进而又在省县之间设立行政督察专员公署，作为省政府的辅助和派出机关，分区进行督察。
一、民国初期
1912年，中华民国建立之初，各省之间各自为政，省制颇不一致，在地方政区建置上，省级以下行政区划多沿用清制。1913年北洋政府公布《划一现行各省地方行政官厅组织令》、《划一现行各县地方官厅组织令》等。此后，各级地方组织和名称逐步统一起来。同年规定，地方政区建置实行省、道、县3级制。
河南确定为河南省。
道为中级地方行政组织，起初叫“观察使公署”，长官称观察使，掌管一道政务及省行政长官委任事务。1914年5月公布的《道官制》规定：将观察使公署改为道尹公署，观察使改为道尹，由省巡按使任命，监督一道财政、司法等事务，并节制本道内的巡防、警备队伍。
民国初年，河南共设4道，即豫东道、豫西道、豫北道、豫南道。为便于推行道制，1913年2月，对河南原有府县进行裁改：裁开封（府治，开封市）、归德（府治，商丘县）、陈州（府治，淮阳县）、河南（府治，洛阳市）、南阳（府治，南阳市）、彰德（府治，安阳市）、卫辉（府治，汲县）、怀庆（府治，沁阳县）等府及郑州（州治，郑州市）、许州（州治，许昌市）、陕州（州治，陕县）、汝州（州治，临汝县）、光州（州治，潢川县）、淅川（厅治，淅川县）等直隶州厅，改祥符县为开封县、禹州为禹县、睢州为睢县、淮宁为淮阳县、许州为许昌县、郑州为郑县、陕州为陕县、汝州为临汝县、光州为潢川县、邓州为邓县、裕州为方城县、信阳州为信阳县、河内县为沁阳县、淅川直隶厅为淅川县。1914年元月，又改唐县为沘源县（1923年3月更名为唐河县）、永宁县为洛宁县。同年6月，对河南省所属各道名称进行改革：改豫东道为开封道、豫西道为河洛道、豫北道为河北道、豫南道为汝阳道。各道所辖属县如下：
开封道：开封、陈留（开封县东南）、杞县、通许、尉氏、洧川（尉氏县西南）、中牟、兰封（兰考县）、鄢陵、禹县、密县、商丘、新郑、宁陵、夏邑、鹿邑、虞城、永城、睢县、考城（兰考县东）、柘城、淮阳、商水、西华、项城、沈丘、太康、扶沟、许昌、临颍、襄城、长葛、郾城、郑县（郑州市）、荥阳、荥泽（郑州市西北）、河阴（郑州市西北）、汜水（荥阳县西北），道治驻开封县。
河洛道：洛阳（洛阳市）、陕县、宜阳、洛宁、新安、渑池、嵩县、卢氏、灵宝、阌乡（灵宝县西）、临汝、鲁山、郏县、宝丰、伊阳（汝阳县）、偃师、巩县、孟津、登封，道治驻洛阳县。
河北道：汲县、武陟、安阳、汤阴、林县、内黄、武安（今属河北省）、涉县（今属河北省）、临漳（今属河北省）、新乡、获嘉、淇县、辉县、延津、浚县、滑县、封丘、济源、沁阳、原武（原阳县西南）、修武、温县、孟县、阳武（原阳县），道治驻汲县。
汝阳道：信阳、南阳、南召、镇平、沘源（唐河县）、桐柏、泌阳、邓县、内乡、方城、新野、叶县、舞阳、正阳、汝阳（汝南县）、新蔡、上蔡、遂平、确山、光山、罗山、潢川、固始、商城、息县、淅川，道治驻信阳县。
在县级地方行政组织方面，1913年1月北洋政府划一县制，将清代的直隶厅、直隶州、散厅、散州改称为县。县知事公署为一县最高行政机关，设县知事1人，负责一县政务。1914年8月北京政府规定：在县域辽阔、地位重要、县署权力难及之处，设置县佐。其所辖区域，仍为县的组成部分。河南省计有开封、商丘、淮阳、确山、商水、洛阳、安阳、信阳、南阳等39个县设置县佐。1920年后，在地方行政区划中，又设立了与县级大体相当的市。
二、国民党统治时期
1927年4月，南京国民政府正式建立。在国民党统治时期，地方行政区划中废除了道一级行政建制，实行省、县两级制。
省政府是地方最高行政机构，采用合议制，称省政府委员会。其成员由省政府主席和7～9名委员组成，省政府下设内政、民政、财政、教育4厅，分理一省政务。
省级司法机关主要是高等法院，设院长1人，署理全院事务并监督所属行政事务。在县级政区建置上，1929年3月，中国国民党“三大”上确定县为自治单位。县自治的议决机关是县议会和县参议会，县行政机关是县政府，设县长1人，综理县政。
这一时期，在河南省的县市建置上，进行了部分调整组合：1928年，析开封县城区置开封市，析郑县城区置郑州市，析登封和密县各一部分设民治县（后废），析沁阳县之一部置博爱县，析杞县、睢县部分地区设民权县，析嵩县、伊阳、洛阳、宜阳4县部分地区置平等县，析登封、洛阳、伊阳、临汝4县部分地区置自由县。
1930年，废除县佐建制。1931年元月，开封、郑州市建制撤销；6月，合并荥泽、河阴2县，置广武县；7月，平等县建制废除，其辖区分别划入嵩县、伊阳、宜阳、自由4县。1932年10月，自由县改名为伊川县。1933年10月，析光山县和湖北省的麻城、黄安两县地置经扶县。1935年，改广武县为成皋县。次年5月，恢复广武县名称。
1932年，由河南省政府直接管辖的县共110个，名称如下：
开封、陈留（开封县东南）、杞县、通许、尉氏、洧川（尉氏县西南）、鄢陵、中牟、兰封（兰考县）、禹县、密县、新郑、商丘、鹿邑、宁陵、夏邑、虞城、永城、民权、睢县、考城（兰考县东）、柘城、淮阳、商水、西华、项城、太康、沈丘、许昌、扶沟、襄城、临颍、长葛、郾城、郑县（郑州市）、荥阳、广武（郑州市北）、汜水（荥阳县西北）、汲县、延津、辉县、淇县、获嘉、新乡、涉县（今属河北省）、武安（今属河北省）、内黄、林县、临漳（今属河北省）、汤阴、武陟、安阳、浚县、滑县、沁阳、封丘、博爱、济源、修武、原武（原阳县西南）、阳武（原阳县）、温县、孟县、陕县、洛阳（洛阳市）、临汝、卢氏、阌乡（灵宝县西）、灵宝、嵩县、渑池、新安、洛宁、登封、宜阳、孟津、巩县、偃师、郏县、鲁山、伊阳（汝阳县）、宝丰、南阳、信阳、镇平、南召、唐河、泌阳、桐柏、内乡、邓县、罗山、潢川、确山、遂平、西平、上蔡、新蔡、汝南、正阳、叶县、方城、舞阳、新野、固始、光山、息县、商城、伊川、淅川。
1928年7月，国民党政府颁布《市组织法》，规定市分为市、特别市2种。1930年公布的组织法又规定，废除特别市，而将市分为隶属于行政院的市与隶属于省政府的市2级。行政院辖市与省同级，一般为首都所在地以及人口在百万以上或在政治、经济上有特殊情况者。省辖市与县同级，设置于人口在20～30万以上的城镇，并且税收每年合计占该地区总收入12以上者。市设参议会，由公民选举的参议员组成，负责执行上级政府委办事项，办理地方自治。市级行政机构为市政府，设市长1人，综理全市行政事务。
1932年8月，国民政府颁布《各省行政督察专员督行条例》，规定在省县之间分区设立行政督察专员公署，作为省政府的辅助和派出机关。公署设行政督察专员1人，承省政府委员会之命指导、监督本辖区内各县市的行政工作，兼统该督察区内的地方武装力量，维持本区治安。此后河南省划分为11个行政督察区，分辖全省111个县。其制如下：
第一行政督察区：辖郑县（郑州市）、开封、中牟、新郑、尉氏、密县、洧川（尉氏县西南）、荥阳、汜水（荥阳县西北）、广武（郑州市北）、禹县、长葛、通许等13个县，专署驻郑县。
第二行政督察区：辖商丘、陈留（开封县东南）、宁陵、杞县、虞城、民权、永城、柘城、兰封（兰考县）、考城（兰考县东）、睢县、夏邑等12个县，专署驻商丘县。
第三行政督察区：辖安阳、武安（今属河北省）、临漳（今属河北省）、涉县（今属河北省）、林县、内黄、浚县、汲县、汤阴、淇县、滑县等11个县，专署驻安阳县。
第四行政督察区：辖新乡、济源、温县、孟县、沁阳、博爱、修武、武陟、获嘉、原武（原阳县西南）、延津、辉县、阳武（原阳县）、封丘等14个县，专署驻新乡县。
第五行政督察区：辖许昌、郏县、临汝、临颍、郾城、襄城、宝丰、鄢陵、鲁山等9个县，专署驻许昌县。
第六行政督察区：辖南阳、方城、新野、唐河、泌阳、内乡、淅川、镇平、南召、舞阳、叶县、桐柏、邓县等13个县，专署驻南阳县。
第七行政督察区：辖淮阳、沈丘、项城、鹿邑、商水、太康、西华、扶沟等8个县，专署驻淮阳县。
第八行政督察区：辖汝南、新蔡、上蔡、西平、遂平、确山、正阳等7个县，专署驻汝南县。
第九行政督察区：辖潢川、固始、商城、息县、光山、信阳、罗山、经扶（新县）等8个县，专署驻潢川县。
第十行政督察区：辖洛阳、偃师、巩县、登封、孟津、伊川、嵩县、宜阳、伊阳（汝阳县）等9个县，专署驻洛阳县。
第十一行政督察区：辖陕县、阌乡（灵宝县西）、灵宝、卢氏、洛宁、新安、渑池等7个县，专署驻陕县。
河南省省会设在开封县（开封市）。抗日战争爆发后，河南省政府于1938年5月迁至洛阳，1944年又从洛阳移至鲁山县。抗日战争结束后，河南省政府又迁回开封县。
1947年，析嵩、卢氏2县部分地置栾川县。
1948年4月，南京国民政府行政院内务部方域司对各地行政督察区进行调整，河南省所辖112个县划分为12个行政督察区，各区及其属县如下：
第一行政督察区：辖郑县（郑州市）、开封、中牟、新郑、尉氏、密县、洧川（尉氏县西南）、荥阳、汜水（荥阳县西北）、广武（郑州市北）、禹县、长葛等12个县，专署驻郑县。
第二行政督察区：辖商丘、宁陵、虞城、永城、柘城、鹿邑、夏邑等7个县，专署驻商丘县。
第三行政督察区：辖安阳、武安（今属河北省）、涉县（今属河北省）、临漳（今属河北省）、林县、内黄、浚县、汲县、汤阴、淇县、滑县等11个县，专署驻安阳县。第四行政督察区：辖新乡、济源、温县、孟县、沁阳、博爱、修武、武陟、获嘉、原武（原阳县西南）、延津、辉县、阳武（原阳县）、封丘等14个县，专署驻新乡县。
第五行政督察区：辖许昌、郏县、临汝、临颍、郾城、襄城、宝丰、鄢陵、鲁山等9个县，专署驻许昌县。
第六行政督察区：辖南阳、淅川、内乡、方城、南召、泌阳、舞阳、叶县、唐河、桐柏、新野、镇平、邓县等13个县，专署驻南阳县。
第七行政督察区：辖淮阳、太康、扶沟、西华、商水、项城、沈丘等7个县，专署驻淮阳县。
第八行政督察区：辖汝南、正阳、上蔡、新蔡、西平、遂平、确山等7个县，专署驻汝南县。
第九行政督察区：辖潢川、固始、商城、罗山、信阳、光山、经扶（新县）、息县等8个县，专署驻潢川县。
第十行政督察区：辖洛阳、偃师、孟津、巩县、登封、嵩县、伊川、伊阳（汝阳县）、宜阳等9个县，专署驻洛阳县。
第十一行政督察区：辖陕县、栾川、新安、渑池、洛宁、卢氏、灵宝、阌乡（灵宝县西）等8个县，专署驻陕县。
第十二行政督察区：辖兰封（兰考县）、考城（兰考县东）、杞县、陈留、通许、睢县、民权等7个县，专署驻兰封县。