LLM+客服的真实案例
文/王子威@零售威观察
横空出世的大语言模型(LLM)给商业带来无限暇想,看起来,客服这种人力密集、高流失率的行业似乎是LLM非常好的落地场景。
但是,在真正落地时,可能并没有想象中的容易,我们不妨来看看知名消费品牌丝芙兰(Sephora)是如何一步步调整自己的客服机器人,以及一个没有调整好的客服机器人是如何疯狂翻车的。
11月末,丝芙兰分享了它在智能客服领域的实践路径,图片来自其分享PPT。
第一版,丝芙兰直接将LLM接入客服,其优势在于开发便捷,消费者只要开始提问就可以激活LLM。问题也非常显著,那就是大模型的幻觉(Halluciation),而且也无法将商品推荐限定于丝芙兰的产品。
第一版可以理解为“套壳”的逻辑,在享受LLM的自然语言理解能力以后,就要面对LLM胡说八道的问题了。
第二版就要解决问题了,丝芙兰选择了检索增强生成技术(RAG),相当于为LLM外挂了一个丝芙兰的产品库、产品知识库。
从操作角度看,消费者的提问不是直接进入LLM,而是先进入相关产品检索,然后系统会将消费者的问题和对应产品一起发给LLM,这就使得LLM可以聚焦于相关产品。
第二版确实解决了第一版的问题,不过也出现了几个挑战:
首先,系统可能会出现遗忘问题,即检索只会回复最近的问题,而忘记之前的沟通历史;
其次,部分回复可能会有问题,例如你问A1产品的问题,但是系统可能回复你A2产品的信息,主要是因为这两个产品的关键字可能非常接近;
再次,在消费者眼中,系统总是在推荐产品,这可能带来不好的体验。
第三版又在第二版上进行了更新,增加了一个预处理器,也就是说,消费者的提问先进入预处理器,由LLM判断是否需要商品推荐,如果需要,才将信息推送到RAG,不然就直接进行回复。
第三版更新除了继承了第二版的全部优点以外,也出现了一个新挑战,那就是有时候需要LLM直接进行回复,这就会出现第一版的一些问题。
第四版增加了后置处理器(Post-Processor),也就是在第三版的基础上,所有要输出给消费者的回答都会经过后置处理器的处理,和预处理器类似,后置处理器也包括启发式逻辑和LLM智能体,通过这两个体系来处理各类信息。
系统变复杂后,就会产生新的问题,例如当大量消费者进行沟通时,系统的回复会被拖慢:在可靠性提升的同时,系统已经不再简单便捷了。
还有一位用户也拿雪佛兰的客服开起了玩笑,他让智能客服帮自己算价格,不用说,做数学题这种事情是LLM最不擅长的了……对,即使是GPT-4也算不明白。
如果说不会算数是LLM的通病,那么雪佛兰的客服还曾经给客户推荐了竞品车……用户要求客服提供“一款可靠的,不会贬值的品牌”,要求雪佛兰客服推荐一个厂商,于是雪佛兰客服洋洋洒洒写一篇,推荐了丰田、本田和斯巴鲁——就是没有推荐自己。
联系客服