加上秦国使者的有意离间，导致魏无忌屡受魏王猜忌，即便他曾多次击败秦军，但最终还是被夺取兵权。此后，心灰意冷的信陵君每日沉迷酒色，结果在秦王政四年（前243年）便已经去世了。

虽然信陵君已经去世，但刘邦却并没有就此灰心返乡。毕竟，在那个交通不发达的年代，背井离乡来到大梁，实在不容易，更何况刘邦既然下定决心想要谋取一条出路，又岂能甘心就这么灰头土脸的回去。

于是，刘邦便又在大梁又滞留了一段时间，到处打听是否有人招揽门客。一番打探下来，刘邦得知外黄县令张耳在招揽门客，便又离开大梁，前往外黄寻求机会。

张耳年少时，曾是信陵君的座上常客，后因故脱籍隐姓埋名流亡外黄。外黄有个富家女长得极为漂亮，原本已经嫁人，后因丧夫便又回到了娘家，她父亲的门客的便建议她，“如果想要找个好丈夫，那就嫁给张耳吧。”于是，富家女子便嫁给了张耳，而张耳则在老丈人的资助下，也学着当年信陵君那样礼贤下士，大肆招揽门客，很快便得以扬名在外，并成为了魏国的外黄县令。

刘邦前往外黄拜见张耳后，两人一见如故，张耳并未以门客看待刘邦，而是将之当成朋友相待。如此，刘邦便在张耳处客居数月，这才心满意足的返回家乡。

自此之后，刘邦多次前往外黄拜访张耳，经常一住便是数月之久。这段经历，不仅增长了刘邦的见识，对于刘邦此后的人生走向，也产生了极大的影响。

秦王政二十二年（前225年），秦国大将王贲率兵攻魏，包围魏都大梁，引黄河水灌城，三月后魏王假出降，魏国灭亡。

魏国灭亡后，张耳便散尽门客闲居外黄。数年后，秦始皇听说张耳及其朋友陈馀乃魏国名士，在当地极有影响力，因此悬赏千金捉拿张耳，悬赏五百金捉拿陈馀，张耳和陈馀只好改名换姓逃至陈县，充当看守里门的小卒谋生。

张耳潜逃之后，他的门客尽皆散去，而刘邦也回到了家乡。