曹操が呂布を下[丕β]で破ると、曹操に降伏し、関内侯に封ぜられ、 後に裨将軍に命ぜられた。白馬の戦いでは関羽とともに顔良 を攻撃した。曹操は関羽が自分の元に留まらず、劉備のもとへ帰るであろうと察し、 交友があった張遼に命じて引き留めの説得を行わせた。 張遼は関羽と面会したが関羽の決心は固く、気持ちを変えることはできなかった。 官渡で袁紹に勝つと、張遼を魯に派遣して諸県を平定させた。 夏侯淵と共に東海国の昌[豕希]を包囲したが、 数ヵ月後兵糧が尽きたため退却することになった。張遼は曹操の命令と称して昌[豕希]を降伏させ、 家族の保護を約束した。曹操は昌[豕希]を帰らせた後に「これは大将のやり方ではないぞ」と張遼を咎めて言った。 張遼は「彼に今後禍を起こす勇気は無いと判断したからです。」と答えた。 (ちなみに昌[豕希]は後に再び背き、于禁に討たれている。)
黎陽で袁尚、袁譚らを打ち破り、 [業β]を包囲したが落ちず、曹操は帰還した。張遼は楽進と共に陰安を落とし、戻って[業β]を再び包囲した。 [業β]が落ちると北上して趙国と常山を落とし、周辺の山賊を帰順させ、黒山賊の孫軽を降伏させた。 袁譚の篭る南皮攻撃に参加し、そこが落ちると黄海海岸地帯を押え、 公孫度の部将の柳毅を下した。 [業β]に帰還すると湯寇将軍に昇進した。 別軍として荊州に進入し、江夏郡の諸県を平定して帰還した。河北に戻って柳城に篭る袁尚の攻撃に向かった。 突然烏丸の軍と遭遇したが、張遼は曹操に攻撃を進言した。意気盛んな張遼を見て曹操は自分の持っていた 指揮の旗を張遼に手渡した。張遼は先鋒として出陣して烏丸軍を打ち破り、[足搨]頓 を討ち取った。
陳蘭と梅成が反乱をおこすと張遼は 張[合β]と牛蓋を指揮して陳蘭を討伐した。 梅成は于禁に表向きに降伏した後、陳蘭と合流して天柱山に篭った。高く険しい山で道は細く危険であったため、 諸将は攻撃に気が進まなかったが張遼は「これは一人対一人の戦いである、勇者なら進むことができるはず！」 と部下を叱咤して陳蘭らを攻撃し、首を取った。この功績により加増され、仮節となった。
曹操が赤壁の戦いの後、張遼に楽進と李典を率いさせ、 兵七千と共に合肥に駐屯させた。曹操は張魯の討伐に向かったが、 護軍の薛悌を合肥に送り命令書を箱に入れて、「賊が来たら開け」と命じた。 孫権が十万の兵を率いて合肥を攻めたので、一同は命令書を開いた。それには 「もし孫権が来たら張遼と于禁は城を出て戦え。李典は薛悌を守って城を出るな。」と書いてあった。 将軍たちは皆ためらったが、張遼は「殿は外征に出ており援軍が着く頃には我々は敗れているに違いない。 だからこそ奴らの包囲網が完成しないうちに叩いておいて、皆を落ち着かせてから守りにつくべきだと 指示下さったのだ。事の成功はこれにかかっている。何をためらっておるのだ。」と論じた。李典も賛成した。 張遼は勇士800名を募り、翌朝孫権の陣に攻撃をかけ、将校を二人討ち取り、 大声で我が名を名乗りながら陣を破って孫権の将旗の下まで攻め寄せた。孫権は陣を捨てて小高い丘に登り、 長い槍を持って自分を守ろうとした。張遼は孫権に降りてきて戦えと怒鳴ったが、 孫権は張遼の軍勢が少ないのをみて包囲した。張遼は突撃して包囲を脱したが残された兵が 「将軍、我々を見捨てるのですが！？」と言うと包囲を再び破って引き返し、残りの兵を救い出した。 張遼は引き返して守りを固めたが、孫権軍の者は恐れをなして追撃できなかった。 十日あまり後、孫権は退却したが、張遼の追撃に遭い、命からがら逃げた。 曹操は張遼の武に感服し、征東将軍に昇進させた。
その後も張遼は揚州に駐屯して孫権の押えの役目を続け、昇進も続けた。 217年、合肥を攻撃した孫権軍に対して反撃を加えてこれを破ったが、 凌統、呂蒙らの奮戦に遮られて孫権を討つことはできなかった。 曹丕が即位すると前将軍・晋陽侯に取り立てた。曹丕は張遼の母のために邸宅を作り、 合肥で戦った勇士たちを虎賁(近衛兵)に取り立てた。 221年、孫権が再び反逆すると張遼は病気をおして曹休と共に船で海陵に向かい、 駐屯し呂範を打ち破った。 病気が悪化してその年に亡くなった。剛侯とおくり名された。張虎が後を継いだ。 (魏書・張遼伝)
合肥に攻め寄せた孫権軍は内応者を合肥城に入れて内外からの攻撃を試みたが、 張遼は「内応者はごく少数のはず、叫んで回っている者を捕らえよ。」と冷静に対処。 太史慈をおびき寄せて重傷を負わせ、これが元で太史慈は死亡した。 曹操が漢中を攻め取った後、孫権は再び合肥に攻め寄せる、このとき張遼、李典、楽進の不和が描かれる。 そして800騎での奇襲を行い孫権軍を震え上がらせる。曹操の援軍が到着し、大規模な戦いとなるが、 凌統、甘寧、周泰 らの活躍に阻まれて孫権を討つことはできなかった。
曹丕の時代となった224年、曹丕は呉討伐の軍を出したが、徐盛 がわら人形と紙で築いた偽城に驚いて退却する途中、 丁奉の矢を受けた張遼はその傷が元で許昌に戻って亡くなった。
とはいえ知略も兼ね備え孫権を揚州に釘付けにし続けた名将であり、 曹操配下の武将の中でも最も功績の高い武将であることは疑いの余地がありませんね。