1935年，37岁的张伯驹面前跪着一个青楼女子，对方说自己是清白

然后恳求他收留。最终，张伯驹冒险救下了她，让她变成了自己的四姨太，从此两人开启了一段坎坷的爱情经历。那么，当年究竟发生了什么事情呢？
故事中的青楼女子，名叫潘素，原本是当地的大家闺秀，祖父曾担任宰相，遗憾的是，潘素的父亲后来染上了鸦片，家境很快败落，潘素自己也被继母送进了妓院。无奈之下，潘素只好在青楼谋生。
琴棋书画样样精通的潘素，她的到来，引来了很多富家子弟。很多人为了能够见她一面，出手阔绰。为了能够与潘素共度良宵，价格由潘素随便提。但是，潘素是一个有道德底线的人，只卖艺不卖身，如果拒绝不了，就以死相逼。老鸨虽有不满，但也无可奈何。
当地有一个大官，知晓潘素的艳名，直接跑过来，看了她一眼，就想娶她为妻。潘素却心无此意，直接拒绝了对方，对方不死心，一直考虑用什么方式让潘素就范。当然，除了本地这些人以外，还有一些从上海跑过来的大人物，他们也想看一下潘素有何惊艳之处。
其中有一位大人物也是慕名前来，他就是大名鼎鼎的袁世凯的表侄张伯驹。此人37岁，此时的潘素年仅20岁。年龄相差17岁，一般人可能会有代沟，但两人一见面，一见钟情，随着两人的进一步交流，彼此之间已经有了爱的基础。
如同古代小说中描述的情节一样，一个是贵公子，另一个是落魄的妓女，但有了爱，相处不久，彼此互许芳心。看到时机成熟，潘素赶紧跪在爱人面前，希望对方收下她。看到潘素哭了，张先生心软，当即掏出一叠银票，要马上带走潘素。
结果老鸨一看，笑着说，就这点小钱，不可能带走我们家的潘素，她可是头牌。按理说这银票已经不少了，为何老鸨不放人呢？其实，是有人从中作梗，经了解，原来是那个一直追求潘素但被拒绝的大官。
大官得知张先生的身份后，虽然不敢硬碰硬，但决定用小人之术：先将潘素囚禁，然后生米煮成熟饭，到时候潘素失了身，估计张先生就不感兴趣了，自己就可以直接娶潘素。但没有想到的是，在关键的时候，张先生冲了进去，将潘素救了出来。最终，潘素成了张府的四姨太，由妓女变成小妾。
1937年，张伯驹突然对书画收藏很感兴趣，为了将西晋陆机的《平复帖》弄到手，他扔进去一半的家产，甚至潘素的首饰也被他拿去当了，终于如愿以偿。但没有想到的是，意外发生了，张先生被匪徒绑架了，对方只有一个要求：拿《平复帖》来交换。
为了张先生的安全，全家人都让潘素赶紧将字帖交给绑匪。但一向温婉的潘素却拒绝了，坚决不给。8个月后，张先生被放回来了，据说潘素将自己所有的首饰都当了，然后再找朋友借款，东挪西借，凑够了40根金条给了对方才换回丈夫。
对于潘素的做法，张先生不仅没有责怪她，反而很欣慰妻子没有交出这件国宝。解放后，潘素与张先生结为夫妻，过着幸福快乐的生活，潘素则变成了画家，每天以画画为乐。1956年，两人带着22年珍藏的书画送给了北京博物馆，当工作人员要给他们补偿时，他们拒绝了，表示这些文物都是国家的，自己不要任何回报。
1982年，张先生去世，十年后，潘素也随他而去。由妓女变成画家，并且得到一份甜蜜的爱情，对于潘素来说，这算是传奇的一生了。