兖州市实验小学创建于民国20年（公历1931年，校庆日11月11日），当时是马广儒、郭子中、束保田等人出于“读书救国，建国兴邦”的愿望而筹建的，命名为“滋阳县惠民小学”（俗称“马王庙小学”），校址在今建设路中段路北。学校占地1750平方米。仙仲春为名誉校长，周晋之为主任教员。招收2个复式班（即一、二年级；三、四年级），学生40多人，教员2人。1937年，发展到4个班，学生160人，教员4人，单级上课。

1938年1月，日军侵占兖州，学校停办。同年11月复课，2个班，学生80余人。校名改为“滋阳县惠民镇初级小学校”。1942年学校扩建，增设高级班，改名“滋阳县惠民镇小学校”。1946年改为“惠民镇中心国民学校”。解放前夕有11个班，教员21人，学生700余人。

1948年7月，兖州解放后，仍为“滋阳县惠民小学”，有8个班，学生380余人，教师13人。1957年，有9个班，学生500余人，教师14人。兖州与曲阜合县后，1958年，称“曲阜县东风人民公社建设路小学”，1962年1月改为“兖州县城关人民公社惠民小学”。1965年上半年县政府将该校定为“兖州县实验小学”，有13个班，学生780人，教员26人。1968年下半年改名为“抗大五七红校”，并附设初中班。1973年改名为“兖州县建设路小学”，有19个班，学生1000余人，教师40人。1977年发展到21个班，学生1250人，教师50人。

1978年县政府再次将该校定名为“兖州县实验小学”，撤销了初中班，为兖州县重点小学。1980年改称“兖州县第一实验小学”。1984年扩大到34班，学生2137人，教职工99人，其中专任教师80人。学校占地面积11920·6平方米，校舍总间数189间，建筑面积4363平方米，操场有效面积2100平方米。同年，济宁市和兖州县人民政府拨专款，各单位集资，师生捐款，兴建教学楼一幢，建筑面积为3340平方米，可容纳26个教学班，1985年7月竣工。1985年，学校有29个班，学生2884人，教职工127人。1986年定名为“兖州县实验小学”。1991年建成建筑面积2192平方米的综合楼。1992年兖州撤县设市，更名为“兖州市实验小学”。1989年、1994年分别建成北、南宿舍楼两幢，建筑面积共4348平方米。

2000年，与龙口市实验小学结成友好学校。2001年，与上海市虹口区飞虹路小学结成友好学校。2002年，学校教学楼改造、接层，建筑面积增至5737·08平方米。

2005年5月，按照市委、市政府的部署，学校合并原铁路中学小学部，建立“兖州市实验小学东校区”。同年6月，与民办学校——兖州精华园学校联合建成全市首家公民办学校联合体——“兖州市实验小学、兖州精华园学校联合小学”。同年10月，建成了人造草坪运动场。2006年4月按照全国电化教育示范学校的标准开通了校园网，建成了高标准的多媒体教室63口。同年9月，学校共有63个教学班，学生4048名，教职工203名。

2008年9月，学校有67个教学班，学生4241人。

2013年兖州撤市为区，更名为“兖州区实验小学”。