蒋经国任台湾「行政院」院长后,以亲信黎玉玺换下了年已90岁的「体协」理事长杨森。为照顾他的面子,给了他「体协」名誉理事长的头衔。杨森对此很不服气,他以90岁高龄再次登上玉山顶,并在山顶上题字、照相,一时轰动体育界人士,被认为是一大奇迹。台湾和外国记者为此撰写文章,还拍摄了一部杨森的体育运动与家庭生活纪录片。这样一来,更扩大了杨森在台湾体育界的声誉。
杨森结束官场生涯后,不愿居住在台北市,在台北县新店镇稻子园买了一座山,修建起别墅,在此度晚年。他喜好古玩、字画,收存各式武器。同时他还爱好写诗,有收藏手杖的癖好。
1972年2月20日,杨森九十大寿,蒋介石派人在「国防部」三军军官俱乐部为杨森布置寿堂。杨森喜气洋洋,尤其是听说许多人称他是传奇式人物,他更为高兴。他说:「我一生过得平凡而实在,如果岁月不会催人老,我将继续拿出我的力量,为人生而服务。」蒋介石亲书「贞固康强」的寿轴,杨森把它挂于寿堂正中央,以示炫耀。
参加祝寿的除了高级军政人员外,还有「宗亲会」、「同乡会」的各色人物,及杨森在美国的女儿等亲友,来宾达三四千人之多。杨森身着棕色条花西服,胸佩一朵大红花,坐在寿堂正中,神气十足地接受子孙们的叩拜和来宾们的祝贺。接着抬来一个直径3尺余,厚1尺余的大蛋糕,杨森煞有介事地举起日本式战刀,切开蛋糕分送来宾。