唐代进士、诗人崔护于清明节在长安郊游，路过一户桃树绕宅的人家，崔因口渴叩门求水，一女子以杯水予之，两人一见倾心，别时依依不舍。次年清明，崔护故地重游，但那户人家已人去屋空，不知去向，只有桃花依旧。崔护于是题诗于左侧之门，不胜慨叹和感念：“去年今日此门中，人面桃花相映红。人面不知何处去，桃花依旧笑春风。”
后人遂用“人面桃花”或“桃花人面”来形容男子怀念一见钟情而不能再度相见的女子。如石孝友《谒金门》词：“纵收香藏镜，他年重到，人面桃花在否？”黄遵宪《不忍池晚游诗》之七：“鸦背斜阳闪闪红，桃花人面薄纱笼。”日久天长，“人面桃花”便成为了成语。
从上述故事看，这个成语涉及了丰富的心理活动，其中最主要的是人的情绪记忆。什么叫情绪记忆呢？它通常以情绪、情感为记忆的内容，也以情绪和带有情绪色彩的材料记忆得最牢。此种记忆使人能牢牢地记住自己所体验的情感，尤其是那些富有情感色彩并曾激起自己情感的事物。
情绪记忆是人类记忆的一种。任何记忆都由记与忆两个环节或阶段组成，而记又包括识记与保持，忆又包括再认与再现。崔护邂逅美女的情景，即“人面桃花相映红”一下子就被他识记住并保存下来了，印象是那么深刻，想抹也抹不去。第二年他再去那里，认出那是去年见过的“此门”和“桃花”，这便是再认。所谓“再认”，就是当以往接触过的事物出现在眼前时，人们能够把它们认出来。现在那位漂亮的姑娘不在崔护眼前，而往日的情景却历历在目，这便是再现。所谓再现，就是当过去接触过的事物不在眼前时，人们能够把它们重新表现即回想起来。可见，“人面桃花”是一种典型的情绪记忆。
