但是从宋朝开始，由于大运河道枯竭、战争破坏等一系列的原因，开封开始崛起，并且取代了长安、洛阳的地位。13世纪，北方的元朝崛起以后，先后消灭了大金国、西夏国、吐蕃、大理国、南宋等一系列的*权，建立了一个辽阔的帝国。元朝为了巩固自己的统治，把全国划分为10个行省。与此同时，元朝定都北京，开封的地位下降，成为了河南江北行省的省会。明朝驱逐了元朝势力以后，进一步完善了行省制度，河南省等省份建立。请注意，我国很多行省的行*区划轮廓，基本上都是在明朝统治时期确立的。
例如河南省、山东省、浙江省、福建省等等，大概轮廓基本确立下来。在明清两朝，河南省的省会在开封府。至于洛阳地区，当时被称为河南府。开封府和河南府的管辖区面积都很大，比现在的地级市大得多。两个府直接接壤，其中，巩县、登封县以东，隶属于开封府管理，以西则隶属于河南府管理。至于郑州，则属于一个直隶州。到了乾隆皇帝在位时期，郑州又成为了开封府下辖的一个散州。这样的情况持续到了清朝统治的末期，在19世纪后期，西方列强对清朝发动了一系列的战争。
清朝不得不开放通商口岸，同时签署了大量的不平等条约。清朝为了挽救自己的统治，开始了著名的洋务运动，其中，修建京汉铁路属于重头戏。按照京汉铁路最初的方案，京汉铁路需要从河南省开封府的府城经过。但是，在府城内大规模拆迁，引发了各方面的反对。更重要的还是地质问题，因为根据勘探，发现*河开封段的土质松软、河道太宽，非常不利于建设。鉴于各方面的原因，京汉铁路开始向西迁移，迁移到了郑州境内。
随着京汉铁路的通车，郑州的地位迅速提高。尤其是京汉铁路和陇海铁路在郑州交汇以后，郑州成为了北方地区的交通枢纽之一。年，清朝灭亡以后，新上台的北洋*阀*权，撤销了州府一级行*区划。我国的行*区划变成了两级，由省直接管理各个县。在这样的大环境下，郑州被改名为郑县，其实这段历史的时间并不长。州府一级行*区划撤销以后，依靠省府机关根本无力管理那么多县。因此，全省又划分成了10个督察区。
当时，郑县、新郑县、荥阳县、密县、广武县、汜水县等地区，隶属于第一督察区。至于巩县和登封县，则隶属于第十督察区。一转眼到了抗战时期，当时的行*区划非常混乱。随着战争局势的发展，开封、郑州等地，被日本*队先后占领，洛阳则成为了河南省的战时省会，起到了阻击日本*队西进的作用。在这一阶段，日本*队扶持了一系列的伪*权。鉴于开封和郑州的实际情况，伪*权计划把省会迁移到郑州。不过，还没有开始实行，日本就已经战败投降了。
一转眼到了年，当时，北方大部分地区都已经解放。鉴于郑州便利的交通条件，从现在记载的资料来看，早在年，河南省就曾经计划把省会从开封迁移到郑州。由于局势还不稳定，这一计划被暂时搁置。但是，郑州的地位被进一步加强。年，巩县和登封县被划入了郑州市管理。从这个时候开始，两个县结束了被洛阳管理的历史。
进入50年份以后，河南省划分了一系列的专区，市和专区同时存在。年，鉴于各方面的局势已经稳定，河南省的省会从开封迁移到了郑州。与此同时，河南省各地的区划出现了很大的变化。河南省的省会迁移之后，郑州专区的管理机构，迁移到了开封，郑州专区改名为开封专区。至于郑州市、开封市的管辖区，仅仅包括了市区和郊区，管辖区面积并不大（除了西流湖、柿园，便属于荥阳县的控制区，荥阳县隶属于开封专区）。在五六十年代，巩县和登封县隶属于开封专区管理。
一转眼进入80年代前期，随着改革开放的推动，我国各地区的经济开始持续发展。为了更好的适应时代发展，沿海省份的很多地区，陆续改革成为了地级市。年，开封地区被撤销，郑州地级市、开封地级市建立。开封地区下辖的10个县，分别划入了郑州市和开封市。其中，密县、中牟县、荥阳县、新郑县、登封县和巩县，划入了郑州市。随着经济发展的需要，除了中牟县以外，其余的5个县，陆续改革成为了县级市。