穷困不仅影响仕途，对婚姻也是一样，百里奚直到而立之年才娶妻生子。他的妻子杜氏是个明晓事理的女人，深知夫君有雄才大略，便鼓励他周游列国，寻找出人头地的机会。临别那天，妻子想为丈夫饯行，可家里已经揭不开锅，只好到邻居家借来一碗米，把家里仅有的一只下蛋母鸡杀了，又把门闩劈了当柴烧，算是吃了一顿离别饭。
百里奚告别妻子，一路长途跋涉，却仍四处碰壁，分别遭到齐国、宋国的白眼，都没有得到重用。后来只落得靠乞讨度日。在流浪途中，百里奚终于遇到了他生命中的第一个“贵人”蹇叔。两人一见如故，相谈甚欢，大有相见恨晚之意。后来他又回到虞国，遇到了他生命中的第二个贵人虞国大臣宫之奇。在宫之奇的举荐下，他当上了虞国的大夫。但虞国国君生性贪婪，不听宫之奇的劝告，在收了晋国的“垂棘之壁”、“屈产之乘”等厚礼后，就答应借道给晋国，让晋国途径虞国去征讨自己的邻国虢国，也是虞国的同姓兼同盟国。果不出所料，晋国在灭掉虢国后，在回来的途中顺便把虞国也灭了。这就是历史上著名的“假虞灭虢”“唇亡齿寒”的故事。虞国被灭掉后，百里奚和虞国国君一起作了晋军的俘虏。
晋献公是一个爱惜人才的人，他想重用百里奚，提拔他到朝中为官。但被百里奚严词拒绝。公元前655年，秦晋两家成为友好邦邻，晋献公把女儿嫁到秦国，百里奚被作为陪嫁奴仆一同前往。在迎亲途中，他乘人不备逃到楚国。为了谋生，他以一件由五张羊皮缝制的皮袄的价格卖身为奴，为楚国人养牛。由于他养的牛膘肥体壮，拉起犁来毫不费力，因此出名并被楚王赏识，招来百里奚问道：“饲牛有道乎？”（养牛有秘诀吗？）
百里奚对答：“时其时，恤其力，心与牛而为一。”（按其成长的不同阶段而采取相应的对措，顾及它的体力不要过度使用它，摸透并依照牛的习性来使用它。）
楚王说：“善哉，子之言！非独牛也，可通于马。”（您说得好哇！不单是牛，这也适于养马。）就又让百里奚为其养马。
秦穆公是个贤明的国君，听说百里奚是个人才，就迫不及待地想把他从楚国挖来。起初打算用重金去将百里奚赎回来，秦穆公的谋臣公子絷说：“楚成王一定是不知道百里奚的才能，才让百里奚养马。若用重金赎，那不就等于告诉人家百里奚是千载难遇的人才吗？”
秦穆公问：“那我该怎么样才能得到百里奚？”
公子絷说：“可以贵物贱买，用一个奴隶的市价来赎百里奚。那样楚成王就一定不会怀疑了。”
秦穆公听从了公子絷的话，按一般奴隶的价格，用也是五张公羊皮把百里奚从楚国赎了回来。
但到了朝中，秦穆公看到百里奚已是满头白发，便有点失望。问：“年几何？”（多大年纪？）
百里奚答“七十岁。”
秦穆公叹道：“惜乎老也！”（可惜太老了！）
百里奚回答：“使奚逐飞鸟，博猛兽，则臣已老。若使臣坐而策国事，臣尚少也。昔吕尚年八十，钓与渭滨，文王载之以归，拜为尚父，卒定周鼎。臣今日遇君，较吕尚不更早十年乎？”（如果让我去追鸟捕兽，那臣是已经老了。如果让我参谋国家大事，臣还年轻呢。当初姜子牙八十岁时在渭水边钓鱼，周文王用车接他回来，尊为尚父，终于奠定周王朝政权。我现在遇到国君您，比姜子牙不还早十年了吗？）
秦穆公就留下百里奚，与他长谈有关治国的方略及与邻国的外交关系等等，这一谈就是三天三夜。谈话结束后，秦穆公就拜百里奚为上大夫，并打算把秦国的军政大权都交给了他。但百里奚坚辞不受，而是向秦穆公推荐好友蹇叔：“蹇叔之贤，岂惟君未之闻，虽齐、宋之人，亦莫之闻也。然而臣独知之。臣尝出游于齐，欲委质于公子无知，蹇叔止臣曰：‘不可。’臣因去齐，得脱无知之祸。嗣游于周，欲委质于王子颓，蹇叔复止臣曰：‘不可。’臣复去周，得脱子颓之祸。后臣归虞，欲委质于虞公，蹇叔又止臣曰：‘不可。’臣时贫甚，利其爵禄，姑且留事，遂为晋俘。夫再用其言，以脱于祸，一不用其言，几至杀身，此其智胜于中人远矣。今隐于宋之鸣鹿村，宜速召之。”（蹇叔的才能，不仅您没听说过，就是齐、宋两国也不知道。但我却最清楚。我曾到齐国想投奔公子无知，蹇叔阻止了我，于是我脱过了无知那场祸患；我又曾到周王朝想投奔王子颓，蹇叔又阻止了我，于是我又脱过了子颓那场祸患；再后来我回到虞国，为虞公做事，蹇叔还是阻止我，然而那时我太贫困了，得依靠那些俸禄过活，没听他的，结果就成了晋国的俘虏。可见我多次听他的话都能脱离祸患，就一次没听却几乎没命，说明此人的智慧胜过我太多了。他现在隐居在宋国的鸣鹿村，您应该速去召请。）
于是秦穆公派公子絷召来蹇叔拜为右庶长，拜百里奚为左庶长。因百里奚是秦穆公用五张黑公羊皮换回来的，故世人称百里奚为“五羊大夫”。
百里奚拜相以后，一夜间荣华富贵。但他并没有忘记自己的糟糠之妻，一边忙于朝政，一边派人四处寻找妻子和儿子的下落，结果都没有找到。他以为他们母子已经不在人世，悲伤之余，在厅堂为他们立了牌位，且每日在灵前焚香、祭奠，从无间断。
其实，百里奚的妻子杜氏尚在人间。虞国灭亡后，她不想作亡国奴，便带着儿子四处逃难，后来辗转来到秦国，靠给人洗衣度日。儿子孟明也已长大成人，每天和一群年轻人习武打猎，练得一身好武艺，也只是英雄无用武之地。
一天，儿子孟明在外面听人说：“秦穆公用五张羊皮换回一个叫百里奚的相国……”回家后，就把这件事告诉了母亲。杜氏深信这个百里奚就是自己的夫君，却苦于没有相认的机会。
后来，杜氏借相府需要一名洗衣仆人的机会进了相府。一天夜里，杜氏在园子里听到隐隐约约的哭声，便循着哭声一路找来，竟来到厅堂前，她爬在窗户上往里一看，只见一人跪于堂前，低声咽泣，屋内香烟缭绕，桌子上摆放着一大一小两个牌位。从举止形态，她已经认出，此人就是自己的夫君。不知为何，杜氏却并没有马上进去与百里奚相认，只是转身消失在夜幕中……
后来，秦国在百里奚的辅佐下，国泰民安，一片升平。相国府也是笙歌笑语，欢乐无限。一次，百里奚在相府宴请百官，杜氏借机要求唱了一支曲，词为：
百里奚，五羊皮。忆别时，烹伏雌，炊扊扅，今日富贵忘我为?
百里奚，五羊皮！父粱肉，子啼饥，夫文绣，妻浣衣，嗟乎，富贵忘我为？
百里奚，五羊皮！昔之日，君行而我啼，今之日，君坐而我立。嗟乎，富贵忘我为？
听到这凄婉悲伤的歌声，百里奚震惊不已，跑过来仔细辨认，正是自己失散多年的老妻。想当年自己离家时，妻子还是一头秀发，如今却是两鬓斑白，不禁悲从中来，老泪纵横。夫妻二人抱头痛哭，在场的百官，也是唏嘘不已。
在百里奚相秦期间，他劳不坐乘，暑不张盖，内修国政，教化于民，礼贤下士，恩施于众。在他死后，“秦国男女流涕，童子不歌谣，舂者不相杵。”
