1982—1984年，南雄县在全国第二次文物普查中，拍摄、登记和征集、发掘大量文物，收集近30万字的文史资料。

1985年，南雄县人民政府投入资金25万多元兴建了南雄市博物馆馆舍。

1985年9月，南雄市博物馆开馆，对外开放，首次展出南雄出土古生物化石和征集、出土的文物。

2002年底，南雄市博物馆馆址拆迁，在原址北侧新建一座三层仿古式馆舍。

2005年初，南雄市博物馆重新对外开放。

2022年10月，南雄市博物馆新馆试开放。