1935年，一名妓女对着37岁的张伯驹扑通跪下：“我是清白之身，求你带我走！”张伯驹也有此意，随即掏出一沓钱来，老鸨见了，冷笑一声道：“想带她走，没门！后张伯驹才得知是臧卓在老鸨处花了钱打了招呼。

妓女名号“潘妃”，原名潘素。她原出生于一个官宦之家，先辈潘世恩曾做过宰相。然而，因为她父亲败家，家中光景一年不如一年。
潘素的母亲是大家闺秀，见管不住丈夫，便全身心都投入了女儿的教导当中。在她的教育下，潘素自小习得琴棋书画，不仅弹得一手好琵琶，还对画画也产生了浓厚的兴趣。
就在潘素13岁那年，家母因病去世，父亲又给她娶了个继母，潘素的苦日子也因此到来了。15岁时，她被继母卖到了“天香阁”挣钱，而父亲竟然不加阻拦。

潘素纵使伤心，也只能拼了命在天香阁生活，因为她善于弹琵琶，又顶着前朝宰相后人的名号，潘素凭着才艺很快成了名扬上海的“潘妃”。
很多富商、世家公子常一掷千金，只为见潘素一面。其中有个叫臧卓的当地官员尤是如此，为表诚意，他还特意主动跟潘素定下了婚约。
潘素推说自己不愿这么快嫁人，臧卓竟然愿意等她。

一日，张伯驹到上海为家族查账，听说了“潘妃”的往事后，跟着朋友到了“天香阁”。
一曲弹奏后，张伯驹看着眼前的潘素不由得心神荡漾，提笔写下：“潘步掌中轻，十步香尘生罗袜；妃弹塞上曲，千秋胡语入琵琶。”
张伯驹是河南都督张镇芳之子，是袁世凯的表侄，父亲为了让他早承“家业”，在他15岁那年就给他娶了老婆，并安排他进入银行工作。
可张伯驹却不爱抽烟喝酒金钱名利，偏偏喜好诗书文章，还特别喜欢收藏文物。母亲为他担忧：“什么事都不想做，什么官也不想当，就知道花钱买画。”
在这个爱好的驱使下，张伯驹不但会写诗，还会熟练的英文，一副谦谦君子的模样，而他在天香阁写下的那首诗，短短几句将潘素勾画得入木三分，也一下子收获了潘素的芳心。

随着两人不断了解，张伯驹发现潘素不但会弹琵琶，还喜欢画画，且对画很有鉴赏能力。回想潘素的身世，他不禁对潘素多了几分怜惜之意。
这天，潘素得知张伯驹即将离开上海，想到从此天人相隔，她不禁悲从中来。随后，她鼓足勇气跪地求张伯驹带她走。
张伯驹正有此意，然而当他拿出赎身钱时，老鸨却冷笑道：“你是带不走她的！”

原来，臧卓虽没有要求强行娶了潘素，但也在老鸨处花了钱打了招呼，碍于臧卓的权势，老鸨怎么也不肯放走潘素。
臧卓听说潘素结识了张伯驹后，一气之下竟然将潘素关了起来。在朋友的帮助下，张伯驹买通了臧卓的看守，带着潘素跑到了北京。
张伯驹和潘素在一起后，出钱出力安排她学习绘画。有着共同爱好的二人，从此更加如胶似漆。为了和潘素长相厮守，张伯驹遣散了自己家中的一妻两妾。

1940年时，潘素已经在绘画上有了很高的造诣，成了有名的画家。
她感念张伯驹的爱重，一生都敬他爱他。抗战时期，张伯驹为防止文物落入日军之手，多次耗巨资购置书画，潘素每每都很支持他。
一次，张伯驹被人绑票，绑匪传信要求张家拿出300万赎回张伯驹。此时的张家因为张伯驹不停购画已经拿不出那么多钱，友人们劝潘素拿文物《平复帖》去卖了换钱。
潘素淡然道：“他不会同意的。”
后来，他们托人去狱中询问，张伯驹断然道：“我死了不要紧，但家里的《平复帖》不能动。”
有人劝潘素：“此时救他的命要紧，你还是做主卖了《平复帖》吧！”
没想到，潘素很是坚持，她说：“我不能让他生不如死。”事后，潘素卖了一些宅院，竭力凑了一部分钱后，在众人的斡旋之下，张伯驹才捡了一条性命。
获救后，张伯驹听说潘素按照他的嘱咐不卖《平复帖》后，动情地说：“还是她懂我！”

1956年，张伯驹和潘素夫妻，向故宫博物馆捐赠了22件精品书画，却均拒绝领取故宫发放的20万奖金。他们各自的愿望竟都是：好好保存这些画就够了。
1982年时，张伯驹去世。十年后，由于忧思先夫，潘素也随他去了。
有人说张伯驹成就了潘素，而潘素也令张伯驹得以更加纯粹。