1910年6月1日,霍元甲在农劲荪等武术界同仁协助下,在上海创办了“中国精武体操会”(后改名精武体育会)。孙中山先生赞扬霍元甲“欲使国强,非人人习武不可”之信念和将霍家拳公诸于世的高风亮节,亲笔写下了“尚武精神”四个大字,惠赠精武体育会。1910年9月,日本柔道会会长率十余名技击高手与霍较艺,败在霍的手下。日本人奉以酒筵,席间见霍呛咳,荐日医为治,霍公一生坦直,不意中毒于9月14日身亡。终年42岁。
霍元甲逝世后,当时精武会弟子和上海武术界爱国人士为霍元甲举行了隆重葬礼,敬献了“成仁取义”挽联,安葬于上海北郊。转年,由弟子刘振声扶柩归里,迁葬于小南河村南。上海精武会由元甲之弟元卿、次子东阁任教。各地分会相继分起,十数年后,海内外精武分会达43处,会员逾40万之众。