黄山市科学技术协会前身徽州专区科学技术协会于1961年4月建立。

1962年下半年在精简机构中被撤销，1963年恢复。1965年2月，召开地区科协第一次代表大会，李如杰当选区科协主席。“文革”期间科协活动停止。

1977年10月，恢复组建徽州地区科学技术协会，并与地区科学技术委员会合署办公。1981年地区科协分设，1983年10月再次同行署科委合并，期间地区科协名誉主席为徐楚生。

1985年5月，地区科协再次分设，秦以焜任地区科协主席。1988年4月，随着徽州地区撤销和黄山市成立，改为黄山市科学技术协会，秦以焜任市科协党组书记、主席。

1991年3月，市科协第一次代表大会召开，秦以焜当选主席。1993年，叶光立任市科协党组书记、主席。1996年11月，黄山市科协第二次代表大会召开，汪日东当选主席（党组书记）。1997年，余建明任市科协党组书记、主席。2002年6月，苏智仁任市科协主席，何义顺任党组书记、副主席。2004年9月20日-21日，市科协第三次代表大会召开，苏智仁当选市科协主席，刘英当选常务副主席（党组书记）。2008年2月至今，江近生任市科协主席，方元任市科协党组书记。2013年10月至今，李剑任市科协党组书记。