建安十四年[公元二零九年]
庐江陈兰、梅成占据灊、六两个县作叛，曹操于遣于禁、臧霸等讨伐梅成，又命张辽督领张郃、牛盖等讨伐梅兰。当时梅成诈降于禁，于禁引军便还。不料梅成趁机会带其军众往投陈兰，二人转入灊山自守。灊山中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲登山进兵，诸将皆：“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却：“这正所谓“一与一，只有勇者可以前进。”于进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，：“登天山，履峻险，以取兰、成，荡寇将军张辽功也。”于增其邑，假节。
建安十八年[公元二一三年]
与臧霸同为征濡须口的前锋，遇上大雨，前锋大军先至，见江水增涨，敌船稍进，将士皆不安。张辽便欲退走，臧霸阻止张辽道：“主公（指曹操）明于利钝，怎会牺牲我们呢？”至明日，曹操果然发出撤军令。张辽以臧霸之言告诉曹操，曹操对臧霸加以赞扬，拜为扬威将军，假节。攻破孙权江西营，获孙权都督公孙阳。
曹操征孙权而还时，任命张辽与乐进、李典等部领七千馀人马屯守于合肥。（《通鉴》虽认为十四年，但《水经·河水注》引郭缘生《述征记》指出曹操征韩遂、马超时，道东原上，有李典营。李典之前从征关中；乐进破刘备置的讨临沮长杜普、旌阳长梁大，应该就刘备于十七年所讲的青泥之战；所以应该十八年征孙权还后才留他们三人屯合肥）
建安十九年[公元二一四年]
孙权大将吕蒙奇袭攻下卢江的皖城，张辽在增援途中得知皖城失守，无奈被迫退军。
建安二十年[公元二一五年]
曹操往征张鲁，先教护军薛悌，付其一书署名急函往合肥予张辽，上有字样云“贼至乃发”（贼军来到便拆信阅之）。不久孙权率领十万大军进围合肥，合肥诸守将乃共同拆信视曹操所教，信中言道：“若孙权军来到，张、李将军出战；乐将军守护军，不得与战。”诸将皆为此感到疑惑。此时张辽便：“曹公远征在外，待其救兵来时，敌军必定已攻破我们了。所以曹公教我等众将，待敌军未合便迎而击之，摧折敌军锋锐，以安众人之心，然后方可坚守。成败之机，在此一战，诸君何须疑惑？”而李典亦与张辽持相同意见。于张辽在夜间募集敢于逆击敌锐之士，共得八百人，于开剥牛支让将士饱食，准备明日大战。天尚未亮，张辽被甲持戟，独自先登直陷敌阵，立杀数十人，斩其二将，并于阵中大呼己名，然后突击冲入重垒，直至孙权麾旗之下。孙权见状大惊，其众手足无措，不知所为，只得走登于高丘之上，仅以长戟自守而已。张辽见敌军退避，便叱喝孙权，挑衅他下来对战，孙权惧而不敢动；及至望见张辽所领之兵原来甚少，于忽聚众军数重围困张辽。张辽于吴阵左右突围，直前急击，其围不禁冲撞而开，张辽将领麾下数十人得以脱出。
但阵中尚有馀众未出，皆号呼张辽道：“将军舍弃我们了吗！”张辽复又还入重围，救出被困馀众。孙权人马皆望风披靡，没有敢当张辽之将。自朝辰战至日中，吴军锐气为张辽所夺，魏军此时还城修业进行守备，众心方才安然下来，诸将对张辽所为均表叹服。孙权守击合肥十馀日，城不可拔，加上疫病，于还军退师。张辽观察得知，令军断桥，自率诸军乘势追击，围数重，差点擒获孙权。
曹操闻此，大壮张辽的表现，拜张辽为征东将军。
建安二十一年[公元二一八年]
曹操复征孙权。军到合肥，曹操循行视察昔日张辽作战的地方，赞叹良久。于增加张辽手下兵，多留驻军。
建安二十二年[公元二一七年]
曹操攻濡须口，孙权请降，留夏侯惇、曹仁、张辽等二十六军屯居巢。
建安二十四年[公元二一九年]
关羽围曹仁于樊城，适时孙权称藩于魏，不足为患，于曹操召张辽及诸军悉数回救曹仁。但张辽军尚未至，徐晃已破关羽，曹仁之围遂解。此时张辽与曹操会于摩陂。张辽军至时，曹操乘车辇视出慰劳张辽，张辽遂还屯陈郡。
延康元年[公元二二零年]
曹丕即位魏王时，张辽转封前将军。朝廷分封其兄张泛及一子列侯。不久孙权又再叛变，曹丕遣张辽还屯合肥，并进爵都乡侯。朝廷又给予张辽母亲舆车，派遣兵马送张辽家人到张辽军屯之处，当张辽母亲至时，张辽导领随从出迎。张辽所督的诸军将吏皆罗拜于道旁，看见此景的人均认为这十分荣耀的事。
魏文帝黄初元年[公元二二零年]
后来文帝践阼，张辽封晋阳侯，增邑千户，并前二千六百户。
黄初二年[公元二二一年]
张辽朝圣于洛阳皇宫，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。张辽述过后，曹丕向左右叹息道：“简直古代的召虎啊。（召虎即召公奭与方叔、尹吉甫、秦仲等齐名的东周大将。他因平淮夷所以被曹丕借作比喻。）”于为其建造第舍，又特为张辽母亲筑殿，当年跟从张辽突破吴军阵营、临时应募的一众步卒，皆为虎贲。
黄初三年[公元二二二年]
孙权又复称藩。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾，并令虎贲问其消息，道路上往来相继不绝。张辽之疾久未痊愈，曹丕命人迎接张辽就行在所，自己则车驾亲临，执张辽之手，赐以御衣，又使太官每日送给御食。待张辽之疾稍可，辽即回还屯之处。正当其时，孙权复叛，曹丕遣张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍勇不可当的，千万要谨慎在意！”同年，张辽与诸将同破吴将吕范。不久张辽病笃，竟逝于江都。曹丕为之流涕，谥曰刚侯。其子张虎嗣任其爵。
张辽曾经与护军武周不和，当胡质被扬州刺史温恢辟为州治后张辽想求见，但为他借词有疾而不见。张辽问：“仆委意于君，何以相辜如此？”胡质回答：“古人之交取多知其不贪，奔北知其不怯，闻流言而不信，故可终身为友。武周身为雅士尚为将军所不容，何况才薄的胡质，所以不愿相见。”张辽感言，复与武周和好。
黄初六年[公元二二五年]
曹丕追念张辽、李典在合肥之功，诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封辽、典邑各百户，赐一子爵关内侯。”
齐王正始四年[公元二四三年]
张辽得享从祀於曹操庙庭。