2004年12月9日，国家体育总局召开干部大会，中组部副部长兼人事部副部长沈跃跃宣布中央决定：四川省委常务副书记刘鹏任国家体育总局党组副书记、局长，袁伟民将不再担任国家体育总局党组副书记、局长职务。时任国务委员陈至立出席大会并讲话。袁伟民当时的年龄已过正部级干部的高线65岁，据体育总局有关人士介绍，在带领中国奥运代表团去雅典之前，袁伟民就向上面打了两次报告，请求从岗位上退下来。袁伟民卸任体育总局局长后还担任一些二线职务，例如中国奥委会主席、2008北京奥组委执行主席和中国排球协会主席等。

2005年2月，袁伟民当选为中国奥委会名誉主席。3月16日，2005中国十佳劳伦斯冠军奖在深圳揭晓，前国家体育总局局长袁伟民获得终身成就奖，时任女排主帅陈忠和代领奖杯。

2007年10月，袁伟民以优秀教练员身份入选美国排球名人堂，成为第二位入选的中国人，首位入选的郎平代其出席颁奖仪式。

2008年1月，由世界华人协会主办的“2008年度世界杰出华人奖暨美国西阿拉巴马州立大学荣誉博士学位颁奖典礼”在香港举行，袁伟民获得“世界杰出华人奖”。

2009年5月，中国排协第七次代表大会，袁伟民连任中国排协主席。

2014年1月，迟到10年的中国足协足代会在香河召开，担任中国足协主席22年之久的袁伟民卸任。