郑州市第三十一高级中学始建于1965年8月。1965年9月1日招收第一届学生，只设初中班，共招学生6个班、300人。

1971年1月，与一墙之隔的郑州市第三十五中学合并，校名确定为“郑州市第三十一中学”。合并后学校设30个教学班，学生1500余人。

1979年，学校实行高中、初中分段教学，初中19个，高中12个。

1985年春，中共郑州市委、郑州市人民政府授予郑州市第三十一中学“文明单位”称号。

1993年，学校被定为郑州市教育科研试点学校，1995年被市教委命名为“全国千所学习指导实验研究学校郑州分校试点学校”。

2001年以来，学校连年被市教育局评为教育教学工作先进单位。

2004年底，郑州市人民政府授予我校“郑州市教育工作先进集体”荣誉称号。

2010年，中共郑州市委、郑州市人民政府命名郑州市第三十一中学为郑州市“文明单位”。（郑文〔2011〕136号命名）

2011年4月，市教育局对郑州市第三十一中学、郑州市第一〇三中学两校实施整合，两校教职工、教育教学资源统筹管理使用；初中学生全部安排在郑州市第一〇三中学、高中学生全体安排在郑州市第三十一中学开展教育教学。

2014年，中共郑州市委、郑州市人民政府再次授予郑州市第三十一中学“文明单位”称号（郑文〔2015〕68号命名）。2015年，郑州市第三十一中学被河南省委、省政府命名为河南省文明单位（豫文[2016]64号），2020年被河南省委、省政府命名为河南省文明校园（豫文[2020]43号），

2019年11月，为贯彻落实《郑州市人民政府办公厅关于印发郑州市调整理顺教育管理体制实施方案的通知》（郑政办〔2019〕61 号）精神，郑州市第三十一中学实行初中、高中分级管理，2020年正式更名为郑州市第三十一高级中学，开展普通高中教育；原初中部移交金水区政府管理。

2023年郑州市第三十一高级中学被河南省委、省政府命名为河南省文明校园标兵（豫文〔2023〕50号）。

2021年5月，根据《郑州市教育局关于印发 2021 年普通高中、普通中专、中等职业学校招生工作意见的通知》（郑教办〔2021〕19号），郑州市教育局将郑州市第三十一高级中学确定为郑州市中招第一批次录取学校。

近年来，我校荣获全国品质课程示范校、全国攀岩特色学校、全国青少年校园足球特色学校、河南省师德师风建设先进单位、河南省中小学德育工作先进集体、河南省中小学书香校园、河南省心理健康示范校、河南省语言文字工作示范校、河南省书法教育示范校、郑州市平安建设基层示范单位、郑州市健康细胞示范单位、郑州市卫生先进单位、郑州市智慧教育示范校等荣誉。