明史说,洪武二十五年,即常茂“诈死”第二年,朱元璋封常遇春次子常升为开国公,圣旨中说“惟惜殁后无嗣,承袭仍须有人。兹遵兄终及弟之例制,封尔升为开国公”。按此说法,本来是应该封常茂的儿子的,可惜他没后人,只好封了他的弟弟。据信,常茂与冯氏夫人(冯胜女)曾有三个儿子,怎么就“无嗣”了呢?
有一种说法,比较有合理性。常茂“诈死”跑路之后,常茂和冯氏夫人经过周密安排,根据当时的政治大环境,常茂自己跑了,也妥善安排了冯氏夫人和儿子们,朱元璋杀人如麻的做派,肯定让他们极有顾虑,因此,策划躲起来,隐姓埋名、人间消失是最好的办法。再说,他们也有这样的条件。比如,洪武二十四年,开平王常遇春之妻蓝氏夫人还在世,她绝不会坐视不管,一定会千方百计地施以援手。其时,舅老爷凉国公蓝玉还在位(蓝玉案发生在一年之后),有职有权,他完全可以帮助其外甥和其儿子解围。依此观点的人,推测是大舅公蓝玉安排了常茂的儿子们去了山西从军为伍,等待机会东山再起。但是,一年后,蓝玉自己也出事了,而且株连了一万五千人之多,史称“蓝狱”。在这种恶劣的政治环境下,常茂的儿子们,谁还有胆出头露面?彻底人间消失,才是他们的唯一选择。
至于常茂本人,有一个说法是,洪武二十四年,常茂带着小妾李氏夫人逃了,逃至广西恭城县五排瑶(今恭城县观音乡白竹铺村)深山中隐居,数年后迁至常家村(今恭城县栗木镇常家村)定居,李氏生四子,长子常智、次子常慧、三子常贤、四子常良。常茂卒于永乐十一年(1413年),终年5 8岁,葬于栗木镇大合村,为防日后不测,采取深葬不修坟形,谨置白石一块为记。弘治年间,国家太平,年景颇佳,明孝宗朱佑樘,对开国元勋子孙被贬谪者,沦为庶民,“寸禄不享,实感不忍”,于弘治五年(1492年)三月八日下诏,复用功臣后裔。常茂子孙尚有余悸,不愿受禄封号而辞谢。