電影開始，一群日本京都大學學生在校門口抗議日本天皇和軍隊，見黑龍會來急忙散去。陳真（李連杰飾）和山田光子（中山忍飾）正在教室上課，黑龍會找上門要把陳真趕出日本，渡邊教授和學生阻攔遭毆打，陳真上前幫忙暴打黑龍會一夥人。渡邊教授急忙去找來黑龍會總教頭船越文夫（倉田保昭飾）才平息打鬥，船越文夫為手下們接骨醫傷，得知打傷他們的是上海精武門霍元甲的徒弟陳真，船越文夫告訴陳真自己剛收到從上海發來的電報說霍元甲在一場與黑龍會虹口道場的芥川龍一（樓學賢飾）比武中被打死了，陳真不敢相信，於是決定離開日本，踏上回中國的輪船查明事情原因。
陳真帶著行李剛回到上海，就被一群沿街乞討的小孩子們圍住要錢，遇到黃包車師傅把他們驅走。陳真坐上黃包車來到精武門，正遇上另外一家武館的倪師傅在霍元甲靈堂上找霍廷恩（錢小豪飾）挑戰，霍廷恩見陳真歸來，瞬間有了底氣，接受了倪師傅的挑戰，二人打了幾個回合後，倪師傅敗後離去。霍廷恩帶陳真來靈堂祭拜霍元甲，為陳真披上麻戴上孝，陳真摘下霍元甲親手寫的“忍”字牌匾，跪在師傅霍元甲靈前砸碎這塊牌匾，三叩頭之後脫下麻衣頭孝前去找虹口道場的芥川龍一，霍廷恩欲一趟前往，被精武門管家農勁蓀（秦沛飾）阻攔下，派阿倫和阿祥跟著陳真前去。
農勁蓀給租界巡捕解元魁打電話，說陳真去了虹口道場找芥川龍一，解元魁擔心陳真鬧出亂子，帶人前去虹口道場。虹口道場裡的人正在訓練，見陳真隻身前來，上前阻攔陳真禁止進入，幾十人一湧而上，被陳真一一打傷倒地。芥川龍一趕來，欲與陳真做一場公平的比武，任何後果輸贏雙方絕不追究。陳真脫下皮鞋放在門口，用和師傅霍元甲一樣的霍家拳跟芥川龍一打，幾招打鬥試探下來，陳真發現芥川龍一根本不是師傅霍元甲的對手，師傅的死肯定另有原因。陳真穿上皮鞋繫好鞋帶，轉身離開虹口道場，解元魁、阿倫和阿祥等人在門口等待陳真走出來。此時軍隊統領及日本第一高手藤田剛（周比利飾）和領事Lun（麥詠麟飾）帶一幫軍隊回到虹口道場。
陳真讓阿倫阿祥去精武門通知霍廷恩前去霍元甲墓地，準備開棺驗屍查找師傅的死因。霍廷恩眾人趕來墓地阻攔陳真，未果。一番檢測，大家確定霍元甲是死於中毒，
並非是比武之上，但是還不知道具體是哪種毒，需要一段時間化驗。回到精武門，大家分析到下毒的人一定是精武門內部的人，都在猜測是誰下的毒，鬧得人心惶惶。陳真每天帶領師兄弟們練武，教師兄弟練武技巧，地位很快超過精武門館主霍廷恩。於是每天都有人前來指名找陳真學武功，師兄弟們每天都圍著陳真練武，這讓霍廷恩和農勁蓀看在眼裡，很是不舒服。此後霍廷恩日漸消沉，經常去醉心樓找曉紅（蔡少芬飾）整晚不歸。
藤田剛開會，訓斥下屬和領事Lun的工作表現。芥川龍一醉酒前來，向藤田剛質問霍元甲下毒而死的原因，惹怒藤田剛，芥川龍一當場被藤田剛秒殺。
史密斯醫生的下毒化驗結果出來，霍元甲是被一種慢性的毒藥破壞了肺功能，從而導致比武中無法承受重擊而死，陳真斷定精武門一定有內奸。陳真的名氣越來越大，前來跟隨學武的人也越來越多。
藤田剛把黑龍會館主芥川龍一的死嫁禍給陳真，黑龍會一夥出發去精武門找陳真報仇，被領事Lun阻止未果。黑龍會一夥來到精武門索要陳真，陳真恰巧外出跑步練武，小惠忙派人去通知租界巡捕解元魁。一番廝打後，解元魁帶人敢來，雙方才停止打鬥。此時陳真跑步回來，為保護陳真，解元魁只好將陳真帶走調查。第二天陳真開庭審理，解元魁幫不上忙無能為力離去。直到山田光子前來出庭作證，謊稱芥川龍一死亡那晚，陳真一直和自己在一起，陳真才得以無罪釋放。
山田光子的謊言讓大家信以為真，也讓精武門眾兄弟對陳真大失所望。陳真把放棄一切來中國找他的山田光子帶回精武門，精武門眾人卻沒有一個人能接受山田光子這個日本人，霍廷恩讓陳真選擇離開山田光子或者是離開精武門，師兄弟開始內訌起來。霍廷恩見狀，決定以比武來決定誰當精武門館主，陳真被逼無奈接受比武。陳真贏了比武，卻無意當精武門館主，給霍元甲靈位三磕頭後，於是帶著山田光子離開精武門。
陳真帶著山田光子四處找住處，老闆看是日本人卻都不願讓他們住下，無奈之下，陳真帶著山田光子找到一處野外，搭建房子和為師傅霍元甲修建一座墓，過上了上班掙錢養家的生活。
霍廷恩一直不歸精武門，黑龍會的人來精武門下挑戰書，由黑龍會第一高手船越文夫挑戰精武門館主霍廷恩，農勁蓀四處派人外出尋找霍廷恩。曉紅不忍心見霍廷恩日漸消沉，開始迷上大煙，於是去精武門告訴農勁蓀，霍廷恩和她在一起。阿祥擔心廚師把自己是內奸的事洩露出去，將廚師殺人滅口，並製造出廚師是畏罪自殺的假象，讓大家認為廚師才是下毒的內奸。
農勁蓀帶人醉心樓接回憔悴的霍廷恩，霍廷恩決定接受十天後虹口道場黑龍會船越文夫的挑戰，並將曉紅贖身接回精武門生活。霍廷恩苦心練武，為比武做準備。不願捲入中日戰爭中的船越文夫得知是藤田剛為自己向精武門下的挑戰書，也不敢太過得罪藤田剛，接受了藤田剛替自己下的向陳真的比武。
船越文夫來到陳真和山田光子的住處，和陳真比武，一番較量後，兩人不分上下，打了平手。船越文夫告訴陳真現在虹口道場第一高手是被人稱為機器人的藤田剛，然後離去返回日本。
挑戰前一晚，霍廷恩找到陳真，深夜長聊，霍廷恩讓陳真把山田光子帶回精武門，陳真擔心精武門中師兄弟無法接受日本人的存在而拒絕。霍廷恩把霍家的迷蹤拳教給陳真，告訴陳真自己明天要去虹口道場比武，如果自己出了事，把這套迷蹤拳繼續傳下去，然後離開。山田光子擔心自己的存在影響陳真的取捨，決定離開返回日本。陳真也決定和霍廷恩一同前去虹口道場接受挑戰。
藤田剛得知船越文夫已回日本，甚是震怒，決定由自己來比武。陳真和霍廷恩來到虹口道場，藤田剛當面把精武門的內奸阿祥槍殺掉。霍廷恩不是藤田剛的對手，幾個回合下來已倒地不起。陳真與藤田剛激烈打鬥了9分鐘，藤田剛身亡。當陳真扶起霍廷恩將要離開時，被領事Lun帶來的軍隊包圍，解元魁和農勁蓀也帶領巡捕趕來，雙方持槍對峙，領事Lun急忙上前從中調解，Lun想要找個人頂罪好向日本軍部交待，為了阻止日本軍隊利用這次事件開戰，陳真留下自願犧牲。
最終，內奸阿祥做了替死鬼，讓Lun拿去給日本軍部做交待。陳真從此開離開上海......