1870年代，中国天津武风鼎盛，各门派常靠签下生死状的比武来显露各方的实力，其中包括修炼家族祖传的“霍家拳”的霍家。霍家少爷霍元甲打儿时起就不喜欢读书练字、反而好动喜武，但他的父亲、霍家掌门霍恩第却以他体弱多病为由，不准他参与任何有关练武之事。于一次擂台比武中，霍恩第因不愿痛下杀手而败给“赵家拳”掌门赵中强，霍元甲对此相当不解，与赵中强之子赵健较量，但技不如人的他却反被打惨。霍元甲从此发誓不会再败给任何人，借助他的好友农劲荪而抄一本霍家拳秘笈，立下做“津门第一”的志愿而开始背着父母苦习武艺。
三十年后，武艺精堪的霍元甲接过亡父之衣钵而天天与人比擂，不但击败赵健一雪前耻，更连胜天津的所有高手，仅除最后一位高手秦爷。但恃才而骄的元甲也逐渐变得自负、不近人情，甚至放纵还无自我约束的弟子们，以致家道日渐衰败。一晚，元甲的一位徒弟遭秦爷重伤，使他失控冲入秦爷中沽月酒楼举办的寿宴，向其发出生死状挑战。经营沽月楼的劲荪见元甲执迷不悟，失望之下与之决裂友情。清空整栋酒楼的客人后，两人在酒楼内拿大刀互劈乃至肉搏战，元甲用绝杀拳重击秦爷左胸至重伤，完胜后独自走出七零八落的酒楼，如愿以偿成为津门第一。
就在元甲陪弟子一醉方休时，秦爷却伤重不治身亡，而秦爷的义子对此打抱不平，屠杀元甲的年迈母亲与养女霍翠婷为父报仇。元甲清晨回家后目睹惨剧，悲痛之下冲入秦家准备手刃仇人，但秦爷义子决定独自承担罪行，在元甲面前自刎谢罪。一无所有的元甲陷入精神恍惚，甚至得知被打伤的徒弟是因调戏秦爷的小妾而咎由自取。连串的打击而失神的元甲从此远走他乡流浪，一次试图投河自尽丹被一位盲女月慈姑娘救上岸，被带回她居住的村庄。在月慈的奶奶孙婆婆的细心照料下，元甲开始认真修养，化名“阿牛”而和善良的村民相处，在这大自然的异地生活中开始走出过去阴霾，重新开始思考武术对于一个人与一个民族的真正意义，渐渐心智大开、悟得广大天地。数年后，元甲决定返乡探家而向月慈说出他的真实姓名，随后离开村庄返乡。
当时八国联军入侵中国，天津沦为各国殖民地。元甲回家重逢管家来福，烧毁自己积攒的所有生死状，来到父母和养女的坟前忏悔致歉，同时来到昔日劲敌秦爷的家烧香并与秦爷的家属致歉。一名前来中国挑战的美国大力士奥比音，当时已挫败数十名中国武师，甚至诋毁中国人是“东亚病夫”。元甲决定要靠武术来为国争光，求得老友劲荪原谅后得到他的资助。于上海跑马场的擂台激战中，元甲一举击败不可一世的奥比音，并因为救他一命而令他自愿服输。元甲因此一举打破中国人在洋人心中的蔑称，召集各大武术精英联合开办精武体操会以促进民族自强，而劲荪也以卖掉酒楼的钱来全力支持元甲现在的抱负。
精武体操会于1910年6月1日正式成立，元甲亲任会长以弘扬民族精神，收纳赵健以及一部分曾经的弟子加入行列。随着精武体操会的名声越来越大，引起上海洋商总会的四位代表注意，日本代表三田龙一决定挑战其声望，说服德、比、英三国共同派出最强高手举办一次擂台赛，要求霍元甲当天连续同四国高手竞技且必须全胜。由日方派出的高手田中安野于赛前和元甲的茶叙中，元甲字字句句显示他对武术和人品的高尚情操，让田中敬佩不已。比武当天，元甲于前三场比赛中皆顺利取胜，在最终场中拿三节棍对抗手操武士刀的田中。这对中日两大高手打的不相上下，第一回合以平手告一段落，但三田为了取胜而不惜派人在元甲的茶水里下毒，导致休息时喝下毒茶的元甲，于第二回合的肉搏战中突然吐血而中断比赛。田中见状原本劝说元甲停止比赛，霍元甲深感毒已攻心，依然决定带伤继续对打以捍卫“自强不息”的精神。
田中奉陪元甲搏斗至最后一刻，元甲靠他当年打死秦爷所用的绝杀拳，击向田中胸口前突然收拳，最后即七窍流血而不支倒地。田中感觉到元甲若不是中毒或是选择手下留情，其实可以靠这一拳赢得胜利，于是在全体观众面前扶持并宣布霍元甲是胜利者。全场观众高呼霍元甲的名字，劲荪等人立刻上前照看他。洋商总会代表里除了在霍元甲身上下注的法商以外其他人皆输，田中也认为他输的心服口服后离场，并将耍下三滥手段的三田称为“日本人的耻辱”。伤重的元甲送医后毒发身亡，终年四十二岁；但他最后出现在月慈姑娘想像的幻象中练武。