祖逖自身生活俭朴,不畜私产,其子弟与战士一样参加耕耘、背柴负薪。他还收葬枯骨,加以祭奠。因此,北伐军得到河南地区人民群众的拥护和爱戴。一次,祖逖摆下酒宴,招待当地的父老兄弟,一些老人流着眼泪说:“吾等老矣!更得父母,死将何恨”!乃在座上歌曰:“幸哉遗黎免俘虏,三辰既朗遇慈父。玄酒忘劳甘瓠脯,何以咏恩歌且舞”。
石勒不敢和祖逖纠缠。于是石勒派人修葺了祖逖的祖宗陵寝,同时还派遣使者向祖逖请求互市。祖逖虽然没有直接答应,但他也没有拒绝,对双方通商贸易睁一只眼闭一只眼。这一举措,使豫州的税收都达到了田赋的十倍。史称,“听互市,收利十倍,于是公私丰赡,士马日滋”。
其时匈奴刘耀与羯族石勒互相攻击,时机对晋朝很有利,但东晋内部迭起纠纷,对祖逖不支持,反而派都督戴渊相牵制。他因朝廷内明争暗斗国事日非而忧愤终日。321年,祖逖病死在雍丘(今河南杞县),终年五十六岁。
据史书记载,中原老百姓听到祖逖病逝的消息后,如丧考妣,万分悲痛,许多地方的民众为他建了纪念祠堂,表示了对这位北伐英雄的尊敬。宋人胡曾有首咏史诗,表达了对祖逖病亡的历史遗憾:“策马行行到豫州,祖生寂寞水空流。当时更有三年寿,石勒寻为阶下囚”。
1965年12月24日,毛泽东在73岁诞辰的前两天,由杭州来到南昌,想起了曾于此地“击楫”的祖逖,感物明志,写下《七律·洪都》:
到得洪都又一年,祖生击楫至今传。
闻鸡久听南天雨,立马曾挥北地鞭。
鬓雪飞来成废料,彩云长在有新天。
年年后浪推前浪,江草江花处处鲜。(刘继兴)