四年後，曹操南下濡須口，與孫權相持月餘，見其「軍伍整肅」，歎而還師，留下張遼與樂進、李典等將領七千餘名兵士駐守合肥。次年──建安十九年，孫權率呂蒙等諸將親征皖城（今安徽潛山縣），張遼獲報立即領兵馳援，但行至夾石（今安徽桐城縣北）便聞皖城已失，只得引軍而回。
到了第二年，曹操攻打漢中張魯勢力，擔心江東會乘隙而動，便教薛悌擔任護軍，持自己親筆密信直至合肥，信封邊上署四字：「賊至乃發」。果然不久孫權在與劉備平分荊州之後，親統十萬之眾蜂擁而至，張遼會同諸將共啟曹操手書，內文：「若孫權至者，張、李將軍出戰，樂將軍守，護軍勿得與戰／倘若孫權來攻，張遼、李典二將軍出城應戰，樂進將軍守城，護軍薛悌不得參與（干預）戰事。」《資治通鑑‧獻帝建安二十年‧八月》寫到此事，胡三省注云：「（曹）操以（張）遼、（李）典勇銳，使之戰；樂進持重，使之守；薛悌文吏也，使勿得與戰。」正是量才而行，堪見曹操識人之獨到眼光。
然而畢竟敵我兵力懸殊，曹操卻指示開城出戰，更何況主帥張遼、李典二人還早有心結在先，帳下眾人看到密書如此安排後自然是驚疑萬分，但見張遼擺了擺手，朗聲說道：“曹公如今遠征在外，等到救兵發到，我等必定已是城破身死了。因此丞相這道諭令正是教我們趁敵人大軍初到、還未會整齊備之際，發動突襲，殺他個措手不及，挫動吳軍的銳氣，以安城中軍民之心，如此，這座城池才能挺住堅守下去。成敗關鍵便在此一戰，諸君又還有什麼好猜疑的呢？”
話說完，張遼轉過頭來直視李典。李典與張遼、樂進等將素來不睦，現今曹操要「張、李將軍出戰」，正在兩人痛處，可是李典聽得張遼一番慷慨陳詞，昔日的種種不愉快登時拋諸腦後，抬頭只見張遼凜然而澄明的目光，乃奮然起身道：「此國家大事，顧君計何如耳，吾可以私憾而忘公義乎！」張遼聞之大喜，遂與共商破敵之策。[13]
當晚，張遼於軍中招募敢死願從之士，得八百人，於是椎牛備酒犒饗將士[14]，準備明日拼死一戰。
第二天清晨，曙光乍露，張遼即披上甲冑、手執長戟，一馬當先衝進敵陣，尚在睡夢之中的吳軍不想張遼兵少竟還敢殺出城外，根本不及應變，讓張遼以狂風掃葉之勢立殺數十人並斬下二員吳將，然後振臂大呼自己名號，縱蹄長驅直入敵營重重護壘之內，一路突刺砍殺望孫權麾旗傘蓋下處而來。
孫權見狀大驚，掉轉馬頭望後便走，左右眾將一時間也慌了手腳，連忙護著孫權且戰且退、登上了一座大墳頂上[15]，擺出長戟陣式護住中央。張遼昂首厲聲叱喝，只教孫權下來決一死戰，孫權任他如何叫喊就是不敢輕動分毫，但望見張遼身邊兵將甚是稀少，趕緊以旗號連絡諸將部隊，調集人馬將張遼重重圍在垓心。張遼陷入敵軍人海之中，全無一點懼色，揮舞長戟領著部眾左衝右突，蕩開陣勢，尋至勢頭薄弱處，縱兵突進、集中火力連續猛擊，遂破開包圍圈，率麾下數十人衝出了重圍。張遼正欲揚鞭策馬而去，卻聽得身後遠遠傳來號呼：「將軍棄我乎！／將軍要丟下我們不管了嗎？！」方知尚有部屬仍未脫困，便即勒韁回馬，翻身又殺入重圍之中，與受困將士會合後，再度突圍而出。
張遼八百孤軍於敵營內外來往縱橫，如入無人之境，吳軍「人馬皆披靡，無敢當者」。這場激鬥自平明戰至中午，孫權手下大軍被張遼殺得幾無招架之力，以致銳氣盡奪、鬥志全消，只得捲旗收軍、閉守營寨；張遼勢單力孤亦不窮追，引人馬徐徐撤入城內。
回到城中，張遼立即下令將防禦工事加速修補完畢，並迅速整編部隊完成守備工作，這時眾人原本驚惶疑懼的心神才得以安穩平撫下來，由此對張遼的膽識與指揮能力更生欽佩與敬服。
孫權圍攻合肥，歷十餘日，見將士死傷日盛，而眼前之城卻始終屹立不搖，只得下令撤退。大軍開拔，張遼於城樓上遙望，見孫權麾蓋尚在岸北，並未隨軍而動，立即點起軍馬，開城突襲。此時張遼再度展現輕騎快速打擊之銳力，孫權只見前方塵頭大起，轉瞬間張遼便已殺至眼前，急忙傳令追還前軍救援，卻已經來不及了，回顧身旁僅有呂蒙、甘寧、淩統諸將及其本部兵馬，眾人只得緊緊護著孫權且戰且走；但張遼攻勢實在猛烈，偏將軍陳武「奮命戰死」，盪寇中郎將淩統身被數創、手下三百名親兵全數陣亡，宋謙、徐盛等將所部抵抗不住、四散奔逃。此時武猛校尉潘璋橫馬力斬宋謙、徐盛手下潰逃之兵士，甘寧又喝令鼓號部隊奮力奏起軍樂，激使全軍回身奮戰，才稍微穩住了局面。孫權賴將士齊力死戰得脫，來至逍遙津岸，上得津橋，才發現橋的南端已被拆毀，離岸尚有丈餘之遠，身側一近衛親兵、名喚谷利，此時說使孫權「持鞍緩控」，谷利則於後頭使力著鞭，那馬吃痛狂奔，一躍竟至對岸，此時奮武將軍賀齊領三千人馬亦已趕到，接應孫權脫離了險境。
《三國演義》說孫權生得碧眼紫髯，其所根據便是出於張遼的形容；孫權本傳注引《獻帝春秋》記載，逍遙津一役張遼與孫權曾打過照面，張遼抓來降兵問說：“適才遇到一位紫髯將軍，長上短下[16]，馬術熟練、弓法精準，可知此人是誰？”答曰：「是孫會稽。[17]」張遼聞言大叫一聲，驚知失之交臂、差點便擒得孫權。隨後遇到樂進時，張遼悵恨之情更是溢於言表，直說不早知道，以致今日縱虎歸山，若是當時率軍急追，孫權豈不成了囊中之物？此事傳開之後，魏軍上下亦無不歎扼、深以為憾。
逍遙津公園。逍遙津在今合肥市區東北隅；淝水古道津口早已湮沒不存，原地今已建起逍遙津公園，湖中小島上有張遼衣冠塚。
注釋
[13]此處《資治通鑑》與《三國志》張遼、李典本傳中的說法有些不同：
張遼曰：「公遠征在外，比救至，彼破我必矣。是以教指及其未合逆擊之，折其盛勢，以安眾心，然後可守也。」進等莫對。遼怒曰：「成敗之機，在此一戰。諸君若疑，遼將獨決之。」李典素與遼不睦，慨然曰：「此國家大事，顧君計何如耳，吾可以私憾而忘公義乎！請從君而出。
《三國演義‧第六十七回‧曹操平定漢中地 張遼威鎮消遙津》中寫作：
張遼將教帖與李典、樂進觀之。樂進曰：「將軍之意若何？」張遼曰：「主公遠征在外，吳兵以為破我必矣。今可發兵出迎，奮力與戰，折其鋒銳，以安眾心，然後可守也。」李典素與張遼不睦，聞遼此言，默然不答。樂進見李典不語，便道：「賊眾我寡，難以迎敵，不如堅守。」張遼曰：「公等皆是私意，不顧公事。吾今自出迎敵，決一死戰。」便教左右備馬。李典慨然而起曰：「將軍如此，典豈敢以私憾而忘公事乎？願聽指揮。」
看來便是以《通鑑》之說為底本改編而來。
[14]原文：「於是遼夜募敢從之士得八百人，椎牛饗將士，明日大戰。」
《後漢書‧卷十八‧吳漢傳》：「漢乃勃然裹創而起，椎牛饗士，令軍中曰：『……』於是軍士激怒，人倍其氣。」《史記‧卷一百二‧馮唐傳》：「唐對曰：『……今臣竊聞魏尚為雲中守，其軍市租盡以饗士卒，出私養錢，五日一椎牛，饗賓客軍吏舍人，是以匈奴遠避，不近雲中之塞。……』」司馬貞《索隱》：「椎，音直追反，擊也。」
可見「椎牛」，即是宰殺牛隻之意；從字面上看，最初是以鐵錘（錘尖）重擊牛額，後來改以一小錐，刺入牛耳後方，一擊斃命。另外也有用斧鉞斬殺，或以矛槍擊刺牛肋處，使牛氣絕而亡，今苗族山寨椎牛祭即是以標槍刺之。
[15]原文：「權大驚，眾不知所為，走登高冢，以長戟自守。」按《說文解字》，「冢」指「高墳」，段玉裁注云：「《土部》曰：『墳者，墓也。』墓之高者曰冢。」《史記‧卷八‧高祖本紀》：「項羽燒秦宮室，掘始皇帝冢。」
另按《爾雅‧釋山》：「山頂，冢。」《詩‧小雅‧十月之交》：「百川沸騰，山冢崒崩。」毛《傳》云：「山頂曰冢。」﹝晉﹞潘岳《射雉賦》：「鳴雄振羽，依于其冢。」
因此，「走登高冢」當在描述孫權及護衛部隊於慌忙應戰中，見附近有坐高高隆起的大墳塚丘，情急間顧不得冒犯死者的忌諱，乃登至墳頂之上，好利用地形的優勢，以長戟陣阻擋張遼騎兵攻勢的狼狽情景。
[16]《三國志》劉備本傳注引《山陽公載記》曰：
備還，謂左右曰：「孫車騎長上短下，其難為下，吾不可以再見之。」乃晝夜兼行。
古人認為上身長而下身短者，為公侯之相；﹝宋﹞龔聖與《宋江三十六贊》中即有贊「尺八腿劉唐」云：「將軍下短，貴稱侯王；汝豈非夫，腿尺八長。」（參見周密《癸辛雜識》）
[17]孫策攻破嚴白虎，平定江東後，自領會稽太守。《魏志‧華歆傳》注引胡沖《吳歷》：「孫策擊豫章，先遣虞翻說歆。歆答曰：『歆久在江表，常欲北歸；孫會稽來，吾便去也。』」孫策死後，孫權繼領其職，曹操納侍御史張紘之諫，拜權為討虜將軍、領會稽太守，是故亦稱「孫會稽」。