張遂謀是廣西平南縣人，因眼近視，有人叫他張瞎子。太平天國乙榮五年（1855年）任殿左二十九檢點，守安徽舒城縣。丙辰六年（1856年）六月，已升任春官正丞相的張遂謀隨石達開到武昌，天京事變後，隨石達開回京。在事變期間，都在石達開左右，深得其信任，後封先天燕。丁巳（1857年）七年夏，石達開出走安慶。這時候，以曾國藩為首的湘軍，出動全部力量在江西全省進行分路反攻，拼命與太平天國爭奪江西戰場。
石達開在天京時沒有重大事情可作，志向得不得申張，張遂謀向石達開出謀獻策，叫石達開放棄江西統帶大軍遠征，取四川獨立：“王得軍心，何鬱郁受人制？中原不易圖，曷入川作劉玄德成鼎足之業？”石達開聽從了他的這個建議，於是棄太平天國而去，拆掉太平天國的臺。
隨後，翼王開府城中，因諸將的請求，量設官爵以酬庸，石達開改變了太平天國的”官制禮文”，標誌出分裂的行動，張遂謀當上了石達開的首相——元宰。位列在各位部將之上，僅位列在翼王一人之下。
不久，石達開部太平軍又重返回廣西，並在貴縣、南寧和百色等地與清軍進行了鬥爭，因“廣西貧瘠，糧秣為艱，將士枵腹，漸生嗟怨。諸將之從翼王遠征也，雖慕義而為，中心不能無從龍之望，而翼王奉天京正朔不改，多失意，有離心。”可張遂謀卻是獨自咬定要“矢志不移，”對有言及降清或者要回天京去的人進行者呵叱。
庚申（1860年）十年二月，被石達開拖到廣西慶遠的大軍覺醒了。在翼王石達開麾下的武衛軍打算離開這支太平軍，他們要求重新迴歸天京。張遂謀發現後，把領導武衛軍起義的宰輔蔡次賢殺害，妄圖阻擋這一批人“萬里回朝“。
但因人心各異，武衛軍大譁而去，沒有多久，有人留下來也有人散走去，張遂謀也遏制不止。此次石達開出走的分裂路線，張遂謀實為主謀。起義隊伍中有人指斥他為禍首，也是在情理之中。
四月，翼王棄慶遠，張遂謀力主西行，大家都非常之憤怒，半夜大聲呼喊說要殺死張遂謀，張遂謀聽到後，連夜潛逃，之後張遂謀不知所終。
石達開平時深得軍心，現在大家要殺的人是張遂謀，可張遂謀也已逃跑，因此軍中人心已不一，於是立赤白二幟在大營前說：“三軍隨吾跋涉良苦，至蜀則樂矣。如願入蜀者，立紅旗下，欲出江者，立白旗下。”大家都鬨然立白旗下。當時，汪海洋拔白旗大呼曰：“欲歸者隨吾行。”之後，跟從汪海洋的人有十餘萬，來到江西時，加入李秀成的部隊。汪海洋此時官職不過是一個檢點，後來才升至康天義。在金陵失陷後，汪洋海軍還有十萬人，而李遠繼、黃朋厚、賴世就、蕭三發等，都擁有了王號，因軍微而無法立足，於是大家都聽命於汪海洋。李世賢與大家商議：“海洋軍最盛，自擊敗左宗棠後，威名四播，今當錫之王號，使圖恢復。”於是才請加封汪海洋為康王。
自此之後，翼王殿沒有了元宰，也有人說，癸開十三年（1863年），曾經看見元宰李輔從李復遒走貴州，也有人說張遂謀改裝衣服化妝進入四川，投降到滿清四川總督駱秉章的麾下，後來設計獻策擒住翼王，可是駱秉章還沒有進入四川，但信者無幾。
因自太平天國失敗後，其文獻史料均被清王朝毀滅殆盡，現存少量太平天國的文獻是當時訪問過太平天國的外國人所流傳，或清廷文書中抄錄的部分，因此，石達開遠征軍中地位最僅次於石達開的最高級將領張遂謀，最後下落也沒有了任何蹤跡可尋。
更多精彩內容可點擊閱讀：
1、連城之戰：太平軍名將彭大順陰溝裡翻了船，49副棺材及陪葬品成謎
2、太平天國右軍主將“反骨韋十二”落葉不能歸根，老死繼續受罰
3、寶慶之戰：石達開數十萬軍圍攻邵陽城兩月，使鐵打的寶慶名揚天下
5、天京事變起因的各方史料記載：洪楊內訌到底是由什麼事件引起的？