据说,南京被围之时,常升和常森都有后事的安排。比如,常升便将大儿子继宗送往怀远避难,二儿子继祖及胡氏夫人兵变战后则被流放云南临安。常森则想得更明白,好汉不吃眼前亏。逃亡是他们的第一选择。他与吴氏夫人及两个儿子常刚、常强趁乱北逃山西,后来在陕西米脂县陈家岔村定居。
据说,今天米脂县的常氏家族,即为常森的后裔。自明永乐年间迁至米脂以来,常氏家族历28世,在陕北的黄土地上生活了600余年。野史称,常森隐居米脂后,改名“常僧”,在永和寺做了道士。今米脂县忠武堂(据常遇春谥号而来)常氏家族则是其长子刚、次子强的后裔。即便是身居陕北,常森仍对朱棣心存忌惮。他将落户米脂的长子常刚列为七甲、次子常强列为十甲,这便有了米脂常氏的七甲、十甲之别。其中原因,也有着几种说法:一是传说朱棣曾派人到陕北追查常遇春后人,分甲一方面可以表明米脂常氏在此地落户已久,另一方面说明两甲常氏关系疏远,这就可以避免灭族的危险;二是说过去常氏人口较少且居住集中,分甲后可以确定同姓通婚的界限;三是说刚、强兄弟关系不睦,才造成了"一门分两甲"的局面。
常森去世之后,葬在陈家岔火神庙山上。其子常刚、常强二人则在定居的常石畔开荒种田,繁衍后代。今永和寺东南160米处,可能就是米脂忠武堂常氏最早的祖坟。当地老人讲,解放前后,常氏祖坟不光有墓群,周围还有十余根残存的石桩,占地30余亩。其中第二排墓前立有一方高1.5米、宽0.8米的石碑,遗憾是石碑为砂岩制成,加之年代久远,碑文已法辨识。常氏族人推断这是常刚、常强的坟地。米脂当地俗语中有“常一千,艾八百,高杜各占半道街”的说法,也是米脂四大名门望族最真实的写照。过去的米脂城中,不论经济实力还是社会威望,常氏绝对是第一大姓。如今,米脂的忠武堂常氏家族遍布全县,总人口超过四万,占米脂全县人口的16%。