1904年，郑州站始设立，为卢汉铁路（卢沟桥至汉口）的业务站。

1948年10月22日，中国人民解放军解放郑州，“中原陇海、平汉铁路郑州联合管理委员会”随后成立。中原临时人民政府交通部部长许子威兼任军事代表、党委书记。

1949年2月，更名为“中原陇海、平汉铁路联合管理局”。同年3月，“中国人民革命军事委员会铁道部郑州铁路管理局”成立。

1949年3月11日，郑州铁路管理局在河南省郑州市成立，就是今郑州铁路局的前身。

1983年，铁道部将武汉铁路局与西安铁路局以整体编制并入郑州铁路局。

2005年3月18日0时起，铁道部将全国15个铁路局所下辖的41个铁路分局全部裁撤。将原铁路分局所管辖的站段单位，划归铁路局直属管辖。郑州铁路局下辖的6个铁路分局：郑州铁路分局、洛阳铁路分局、西安铁路分局、安康铁路分局、武汉铁路分局、襄樊铁路分局被裁撤，分别更名为郑州铁路办事处、洛阳铁路办事处。原西安铁路分局、安康铁路分局合并成立新的西安铁路局；原武汉铁路分局、襄樊铁路分局合并成立新的武汉铁路局。

2008年末，按照铁道部确定的机构编制口径，郑州铁路局设置限额内职能部门22个：运输部、客运部、货运部、机务部、车辆部、工务部、电务部、安全监察室、办公室（同时称“郑州铁路局党委办公室”）、总工程师室、企业管理和法律事务处、计划统计处、财务处、审计处、收入稽查处、人事处（同时称“郑州铁路局党委组织部”）、劳动和卫生处、职工教育处、建设管理处、物资管理处、土地房产管理处、人民武装部（人防战备处），编制总数480人。限额外职能机构5个：调度所、社会保险管理处、多元经营管理委员会办公室、集体经济处、离退休管理处（老干部部、退休职工管理委员会办公室、关心下一代工作委员会办公室），编制总数472人。

路局派出机构2个：郑州铁路办事处、洛阳铁路办事处，编制总数140人。学、协会办事机构3个：河南省铁道学会秘书处、郑州铁路局企业管理协会秘书处、郑州铁路局财务会计学会秘书处，编制总数6人。部控附属机构27个：郑州铁路局机务检测所、郑州铁路局车辆检测所、郑州铁路局工务检测所、郑州铁路局电务检测所、郑州铁路局客票管理所、郑州铁路局机要通信室、郑州铁路局档案史志室、郑州铁路局法律服务所、郑州铁路局合资与地方铁路管理办公室、郑州铁路局客货运输统计所、郑州铁路局概预算审查所、郑州铁路局节能监测站、郑州铁路局资金结算所、郑州铁路局财务集中核算管理所、郑州铁路局收入稽查大队、郑州铁路局审计室、郑州铁路局劳动力调剂站、郑州铁路局职业技能鉴定指导站、郑州铁路卫生监督所、郑州铁路局人才交流站、郑州铁路局工程质量监督站、郑州铁路局函授站、郑州铁路局土地管理所、郑州铁路局房产管理所、河南省铁路林业局、郑州铁路局特种设备检测所、郑州铁路局民兵武器装备库，编制总数600人。其他附属机构6个：郑州铁路局企业自备车管理办公室、郑州铁路局代收款结算所、郑州住房公积金管理中心铁路分中心、郑州铁路局价格管理办公室、郑州铁路局职工集资建房管理办公室、郑州铁路局物资设备招标所、郑州铁路局设计所、郑州铁路局支线管理办公室、郑州铁路局工程管理所，编制总数143人。

截至2008年底，局党委设职能机构4个，有党委和行政合编的2个，即：局党委组织部，与局人事处合署办公；局党委办公室，与局办公室合署办公，同时挂保密办、机要办牌子。由党委列编的1个，即：局党委宣传部，与企业文化处合署办公，同时挂职工思想政治工作研究会、精神文明建设办公室、统战工作办公室牌子。由行政列编的1个，即：局人民武装部与局人防战备处合署办公。另设政法办（综治办）。有机关党委部门管理的附属部门1个，即局有线电视台。郑州铁路局党校（局干部学校）、中原铁道报社隶属局党委领导。

2017年11月4日，国家工商行政管理总局公告，中铁总旗下的郑州铁路局的名称变更已经通过核准，郑州铁路局更名为中国铁路郑州局集团有限公司。2018年，郑州铁路局实现净利润54·08亿元。

截止到2017年底，共有在职干部职工11万人，线路营业里程3939·2公里，共管辖单位65个，其中运输单位36个，非运输单位23个，运输辅助单位6个。

2019年9月，增开郑州至洛阳、安阳、开封、商丘、许昌、南阳等城市“古都游”列车。

2019年12月10日起，徐兰高铁郑西段、郑机城际、郑开城际9个车站正式实施“无纸化”电子客票乘车。郑州局集团公司计划于2019年年底前在管内高铁及动车组停靠站内全面推广应用电子客票。

2024年5月21日，国铁集团郑州局开行首趟豫鲁“郑日韩”铁海快线班列，国铁集团郑州局相继开行了郑州、洛阳、三门峡等地市至青岛港、连云港等沿海主要港口的铁海快线班列线路，铁海快线班列凭借方便、快捷、实惠的运输优势，实现了港口、边境口岸功能前移，为内陆地区提供了高效能、低成本的绿色物流通道。

2024年6月14日，首趟郑州至日照港铁海联运班列从国铁集团郑州局圃田站启程，搭载汽车配件、机械设备等70标准箱的货物一路向东，在日照港转海运发往东南亚地区。

2024年8月28日起，国铁集团郑州局开办“郑州+洛阳+开封”旅游计次票和郑阜高铁郑沈段、郑渝高铁郑邓段的30日定期票、20次/90天计次票、10次/90天计次票业务。10月1日至7日国庆假期，国铁集团郑州局累计发送的旅客量是568·5万人次，较2023年同期增加46·5万人次、增长9%；其中，连续7天单日发送旅客超73万人次；单日最高发送旅客89·7万人次，较2023年同比增长3%。

2025年1月5日0时起，中国铁路郑州局集团有限公司实行新的列车运行图，与全国铁路新的列车运行图同步调整。

2025年2月6日（农历正月初九），国铁集团郑州局预计发送旅客77·9万人，持续保持返程客流高位运行，计划开行旅客列车1735列，其中加开北京、上海、乌鲁木齐、杭州等方向临客列车289列；增开北京、广州、深圳等方向夜间高铁130列；首开邓州至北京、南阳至广州务工专列，努力满足旅客返程出行需求。自2月3日，国铁集团郑州局连续三天刷新春运单日旅客发送量纪录，其中2月3日、4日、5日分别发送旅客79·1万人、82·5万人、83·3万人，累计发送旅客244·9万人，其中，郑州站、郑州东站发送旅客83·35万人；洛阳站、洛阳龙门站发送旅客22·08万人；商丘站发送旅客11·83万人；南阳站、南阳东站发送旅客11·53万人。

2025年4月9日18时起，国铁集团郑州局实行新的货物列车运行图，与全国铁路实行新的货物列车运行图同步调整。

2025年6月7日0时起，中国铁路郑州局集团有限公司管内郑州站、郑州东站、郑州西站、郑州航空港站、新郑机场站、南阳寨站、洛阳龙门站、洛阳站、关林站、南阳站、南阳东站等11个火车站车票起售时间进行优化调整。具体车次起售时间点可通过铁路12306网站、客户端和车站公告等渠道查询，其他车站的车票起售时间点不变。6月26日起，中国铁路郑州局集团有限公司推出“北京+西安+洛阳”旅游计次票业务，助力旅客一票游三城，本次推出的“北京+西安+洛阳”旅游计次票包含“北京西至西安北、西安北至洛阳龙门、洛阳龙门至北京西”三段行程各1张高铁二等座车票，旅游计次票不仅价格上更优惠，在行程安排上也更为灵活。7月1日零时起，国铁集团郑州局启用新的列车运行图，与全国铁路新的列车运行图同步调整。国铁集团郑州局计划开行图定旅客列车1404列，较现图增加35列；开行货物列车141列，较现图增加3列。