至於說到宋元話本《三國志平話》寫劉備入川後，冊封棟樑「五虎將」，以關羽為壽亭侯、張飛為西長侯、馬超為定遠侯、黃忠為定亂侯、趙雲為立國侯；到了羅貫中的《三國志通俗演義》，大筆刪去那些亂七八糟不符史實的爵稱，但仍保留了「五虎大將」的說法。「五虎將」雖是出於說書人、小說家的杜撰，但因《蜀志》將關羽、張飛、馬超、黃忠、趙雲並列於一傳之中，若說全無根據，倒也未必。此外在《魏志》中，則有張遼、樂進、于禁、張郃、徐晃，亦並列一傳，並且傳末評有「太祖建茲武功，而時之良將，五子為先。」因而後世乃有張、樂、于、張、徐乃魏「五虎將」之說；其中，張遼傳在「魏五虎將」之首，「蜀五虎將」則以關羽居先，而且張遼、關羽分別在兩國皆曾官拜「前將軍」武銜，在這個基礎上，張遼與關羽的關係於《演義》中因此有了史實之外的發展。

　　首先在第十八回，寫到張遼奉呂布之命引兵攻打小沛西門之時，「雲長在城上謂之曰：『公儀表非俗，何故失身于賊？』張遼低頭不語。雲長知此人有忠義之氣，更不以惡言相加，亦不出戰。遼引兵退至東門，張飛便出迎戰。早有人報知關公。關公急來東門看時，只見張飛方出城，張遼軍已退。飛欲追趕，關公急召入城。飛曰：『彼懼而退，何不追之。』關公曰：『此人武藝不在你我之下。因我以正言感之，頗有自悔之心，故不與我等戰耳。』飛乃悟……」便預先埋下引子；到了下一個章回，呂布兵敗、張遼被執，曹操遭張遼辱罵本待一劍斬了，卻被關羽出言救下──此處顯然與史不符，小說這般改寫，正是要以張遼的慷慨就義來突顯呂布的畏死求饒；然後來至第二十五回〈屯土山關公約三事　救白馬曹操解重圍〉，關羽中計失了下邳，被圍於城外一座土山之上，此時張遼隻身跑馬上山，關羽便問：「文遠莫非說關某乎？」張遼答曰：「不然，昔日蒙兄救弟，今日弟安得不救兄？」先呼應了第十九回中情節，然後再條陳「三罪」、「三便」分別指出關羽以死全節之誤以及降曹之利，於是才有了關羽言定「三約」而率眾投歸曹操之事。從此關羽「降漢不降曹」之佳話流傳後世、歷久而不衰，張遼前前後後居中協調，起著關鍵性的作用。

　　從第十八、十九、乃至二十五回，這一整段來龍去脈其實並不見於史傳之中──《三國志》只說曹操「禽關羽以歸」而無其他細節，《三國志平話》亦無隻字片語之相關描述，《演義》的「創作靈感」，主要還是來自於關漢卿的《關雲長千里獨行》劇情。

　　在這齣雜劇中，張遼擔任的角色乃是「說客」，從開場白：「筆頭掃出千條計，腹內包藏七字書。小官姓張名遼，字文遠。幼習儒業，頗看韜略之書。先曾在呂布之下為健將，後在於曹丞相手下為參謀。……」便可以了解到，劇作家為了情節的需要，將歷史上的張遼與劇中的張遼一開始便做了明顯的切割。然後演到劉備、張飛敗走，關羽被圍困於下邳城中，曹操擄來劉、關、張三房家小，以性命逼使關羽投降，張遼在城下說：「二將軍你見麼？你這三房頭家小，都在俺曹營。你若不降呵，這三房頭家小，怎生了也？」關羽回道：「張文遠，你說與你那曹丞相，他若依我三樁事，我便投降。」張遼云：「二將軍，你但言的事，俺丞相都依著。」關羽云：「我頭一樁，我雖然投降，我可不降你丞相，我是降漢不降曹；第二樁。我和俺哥哥兄弟家屬，一宅分兩院；第三樁，我若打聽的俺哥哥兄弟資訊，我便尋去，可不許您攔當。你說去。」這便是關羽「三約」的基本雛型了，對照《演義》的說法可以看得更清楚：「一者，吾與皇叔設誓，共扶漢室，吾今只降漢帝，不降曹操；二者，二嫂處請給皇叔俸祿養贍，一應上下人等，皆不許到門；三者，但知劉皇叔去向，不管千里萬里，便當辭去：三者缺一，斷不肯降。望文遠急急回報。」

　　不過戲中到了曹操驚知關羽掛印封金離去時，張遼上前獻計云：「我有三條妙計，丞相領兵趕上雲長，則推與他送行。丞相若見雲長，丞相先下馬，關雲長見丞相下馬，他必然也下馬來。若是雲長下馬來，叫許褚上前抱住雲長，著眾將下手。第二計，丞相與雲長遞一杯酒，酒裏面下上毒藥。第三計，丞相把那西川錦征袍，著許褚托在盤中。丞相贈與雲長。雲長見了，必然下馬來穿這袍。可叫許褚向前抱住，眾將下手。恁的方可擒的雲長。」結果關羽既不下馬、也不吃酒，只使刀斜挑取了盤上的袍子，反教曹操「顛倒丟了一領錦征袍」。這段劇情，到了《三國志平話》則成了這模樣：「曹相共眾官商議，有智囊先生張遼曰：『先使軍兵於霸陵橋兩勢埋伏。如關公至，丞相執盞與關公送路；關公但下馬，用九牛許褚將關公執之。如不下馬，丞相贈十樣錦袍；關公必下馬謝袍，九牛許褚可以執之。」曹操深喜。先於霸陵橋埋伏軍兵。曹操、許褚、張遼、都至霸陵橋上等侯。」刪了遞毒酒的「餿主意」，然後再到《三國演義》，便是眾所皆知的「灞橋挑袍」情節了[48]，先讓張遼追上關羽，然後再由曹操贈金送袍，張遼居中穿針引線，角色同樣吃重。

　　回到歷史記載，在關羽投降曹操後的次月，袁紹背襲東郡，太守劉延告急，曹操大軍先鋒關羽，以閃擊戰術擊潰袁軍，立下奇功。事後，按《三國志》關羽本傳所述，曹操雖然十分欣賞關羽為人，然則察其心神似乎並無久留之意，因而囑託張遼前去探問，關羽無奈嘆息說道：“曹公待我可說是十分禮遇，這點我非常明白，然而我過去深受劉備將軍厚恩，並曾宣誓同生共死，我絕不會背棄這層關係的。曹營終究非我久留之地，我會立下軍功、報答了曹公之後才離去。”張遼擔心若將此話報與曹操，關羽只怕會有殺身之禍，可是隱忍不發，則又非事君之道，乃嘳然歎息：「公，君父也；羽，兄弟耳。」還是將關羽所言一一據實秉告，結果曹操不但不引以為意，反而稱讚關羽：「事君不忘其本，天下義士也。」由此更加義重關羽。從上述可知，張遼在與關羽共事之時，兩人的私交其實是相當不錯的；但若據《蜀志‧關羽傳》引《蜀記》的內文，可以發現關羽和另一位曹營大將徐晃「宿相愛」，關羽對徐晃還以「大兄」稱之，《演義》在第二十七回開頭說的：「曹操部下諸將中，自張遼而外，只有徐晃與雲長交厚，其餘亦皆敬服；……」正是根據史實而來，然而徐晃在小說中的「待遇」卻不如張遼，原因便在於關羽北伐，其攻勢就是受挫於徐晃之手，而且徐晃還對關羽下格殺令：「得關雲長頭，賞金千斤。」以致原本因病而死的徐晃，被小說家硬生生拉至上庸城下，讓背叛關羽的孟達一箭射中額頭，給他個「報應」！

　　至於張遼，雖說史實上是因重病亡故的，可是《三國演義》第八十六回中，小說家把晉人張勃《吳錄》中記載的一段故事：

　　是冬魏文帝至廣陵，臨江觀兵，兵有十餘萬，旌旗彌數百里，有渡江之志。權嚴設固守。時大寒冰，舟不得入江。帝見波濤洶涌，歎曰：「嗟乎！固天所以隔南北也！」遂歸。孫韶又遣將高壽等率敢死之士五百人於徑路夜要之，帝大驚，壽等獲副車羽蓋以還。

改寫作一場歷史上不曾發生過的大戰。其中說張遼於亂軍中急忙拍馬迎敵，被吳將丁奉一箭射中腰部，讓徐晃救走，回到許昌，「箭瘡迸裂而亡」。《演義》作者如此安排，用意並不同於徐晃，倒與黃忠一致：史上的黃忠也是病死的，但小說中的黃忠卻是死於劉備伐吳時所受的箭傷，蓋以「馬革裹屍」才算得一代名將之歸宿也！而《三國演義》第一百零八回中有「丁奉雪中奮短兵」故事，丁奉可稱得上東吳的「末代戰將」，以張遼之死為其將來的出場預埋伏筆，也算是小說家精心安排的弦外之章了。