第三次大败，都是因为吕奉先。
刘备失去了立足之地，只得携张飞等人投奔曹操，并与曹操联合，而这个时候他也认识了他的老丈人夏侯渊。
作为幽州豪强出身的张翼德，他比刘玄德和关云长两个人更加能够和曹家夏侯家的人交融进去，所以很快就和这些曹氏宗室将领打成了一片，同时还真的学到了很多东西。
在许都的那段日子，刘玄德在府邸之中种菜，关云长和徐晃和张辽等人在喝酒，而只有这个家伙再和那群宗亲将领们探讨，如何带兵打仗，其中夏侯渊和曹纯两个人和他的关系最为莫逆。
当然，这是他在拐走了夏侯家的侄女夏侯娟之前的事情了，当他走的时候，夏侯渊惊奇的发现自己家的侄女被这个成天和自己称兄道弟的张翼德给拐跑了之后，他只是感觉，这个家伙的兵法越发的厉害了！
然后告诉追击的许褚，见到张翼德，麻烦许褚帮忙弄死他！
建安五年，因为征伐吕布有功的张翼德已经成为了中郎将了，此时因为衣带诏的事情发了，张翼德和关云长两个人再次跟随刘玄德开始了他的逃亡生涯。
（《三国志·先主传》：献帝舅车骑将军董承辞受帝衣带中密诏，当诛曹公。先主未发。是时曹公从容谓先主曰：“今天下英雄，唯使君与操耳。本初之徒，不足数也。”
先主方食，失匕箸，遂与承及长水校尉种辑、将军吴子兰、王子服等同谋。会见使，未发。事觉，承等皆伏诛。先主据下邳。灵等还，先主乃杀徐州刺史车胄，留关羽守下邳，而身还小沛。）
刘玄德直接回到了徐州，然后诈开成为，并且杀徐州刺史车胄，让关羽据守下邳，自己与张飞屯小沛。
这个时候的张翼德已经有了些许的本事了，曹操派刘岱、王忠前来攻打，被张飞、关羽击退。
不过刚刚猖狂起来的张翼德就碰到了亲自出马的曹孟德，然后刘备战败，关羽被擒，刘备与张飞逃奔袁绍。
（《三国志·刘备传》：曹公遣刘岱、王忠击之，不克。五年，曹公东征先主，先主败绩。）
（这个时候，张飞和刘玄德到底有没有失散暂且不能够完确定，因为对于这段历史之中的记载为数不多，能够说得上的也就是刘关张和赵这四个人的传记。
关羽的记载是确定被擒了，也就是斩颜良之前的那一段，但是刘备和张飞的记载之中都没有这个方面的记载。
《三国志·魏书一·武帝纪》载：建安五年八月”汝南降贼刘辟等叛应绍，略许下。绍使刘备助辟，公使曹仁击破之。“
这里面说的是刘辟龚都两个家伙之所以投降刘玄德，这很明显人家是因为袁绍，和刘玄德没有一点的关系，和张飞更是没有任何的关系。
《三国志·卷三十二·蜀书二·先主传第二》：五年，曹公东征先主，先主败绩。曹公尽收其众，虏先主妻子，并禽关羽以归。先主走青州。青州刺史袁谭，先主故茂才也，将步骑迎先主。先主随谭到平原，谭驰使白绍。绍遣将道路奉迎，身去邺二百里，与先主相见。驻月馀日，所失亡士卒稍稍来集。
至于先主传里面，也只是记载了这件事，那就是刘玄德跑了，张飞具体在哪里，还真的不清楚。
至于《云别传》倒是略微有些记载，《云别传》：先主就袁绍，云见于邺。先主与云同床眠卧，密遣云合募得数百人，皆称刘左将军部曲，绍不能知。
这里面赵云和刘玄德见面之后，变成了赵云和刘玄德“同床共枕”，没有张飞的记载，所以....或许张飞闹脾气走丢了？）
不过，在建安六年的时候，张飞和他们再次汇合，张飞与刘备在汝南联结刘辟、龚都等人扰乱曹操后方，许都以南纷纷响应，曹操派蔡阳前来攻打，但被刘备所杀，后刘备被曹仁击败，张飞随刘备投奔荆州刘表