山西、陕西商民经商历史很早，但作为影响全国经济的强大势力却是形成于明代。 明末崇祯十五年，开封遭受黄水浩劫，城市如墟，一片黄沙。至康熙年间，汴城始得逐渐复兴。当时商业，以农产品、布匹及日用货品充市为主，大多操在山西客商行帮之手。山西旅汴的客商，遂集资于老会馆街（龙亭东侧）建起一处山西旅汴同乡会馆，简称“山西会馆”。

清代乾隆三十年（公元1765年），改名为山陕会馆，并与新址重新修建。

清光绪末年，改名为山陕甘会馆。

1986年，河南省政府对山陕甘会馆的关帝庙建筑进行全面整修，并筹备小学的搬迁工作。整修工程由河南省古代建筑研究所等单位负责设计施工。由于水患的淤积，全院地坪下挖60厘米，起土2000立方米，恢复了清代的原地坪。

1988年10月24日，解放开封四十周年之际正式对外开放，成为开封旅游景点。

1995年4月，筹建艺术博物馆。

2001年6月，山陕甘会馆由国务院公布为第五批全国重点文物保护单位。