1928年，部分农工党创始人以“中华革命党”名义开展活动时，就打入阎锡山的司令部建立了“太原小组”；1930年秋，中国国民党临时行动委员会（中国农工民主党建党之初的名称，简称临委会）干部罗任一介绍陈柬之等五人在太原组成山西筹委会，并在阎锡山的绥靖公署吸收了一批成员；1931年春，在山西汾阳县隐居的冯玉祥曾派人与邓演达商谈合作反蒋事宜；1931年秋，章伯钧曾到汾阳县回访冯玉祥，并接受了冯玉祥对临委会的2万元资助。1935年加入临委会的朱程，1937年在山西参加抗战，后在襄垣加入八路军并任华北抗日民军司令员，指挥了著名的襄垣狮山伏击战，被誉为“铁军将才”。1952年李得光（1933年入党）、冯腾骧（1949年入党）分别到山西工作，1953年田刚（1953年入党）到山西工作。于1953年秋成立农工党中央直属太原小组，李得光任组长。后由于种种原因，农工党在山西早期的组织没有能够延续下来。

1983年3月建立中国农工民主党山西小组；同年7月成立了农工党山西省直属支部；1985年4月成立农工党山西省筹备组；1988年7月28日，中国农工民主党山西省委员会在省城太原成立。

2017年6月29日，农工党山西省第七次代表大会圆满完成各项议程，在太原胜利闭幕。大会期间，代表们审议通过了农工党山西省第六届委员会工作报告及相关决议，选举产生了中国农工民主党山西省第七届委员会与山西省出席中国农工民主党第十六次全国代表大会的代表。