大模型对搜推技术产生了深远的影响,极大地推动了搜推技术的演进趋势,使得搜推更加的智能化和个性化,然而在搜推中引入大模型时同样面临一系列的挑战,例如商品知识的幻觉,复杂查询的理解,个性化商品推荐,隐私和安全等问题。
京东零售技术总监翟周伟,基于对电商场景的深刻理解和洞察,从实际问题分析出发,结合京东搜推业务在大模型上的相关创新性实践来解决这些痛点问题,阐述在电商大模型的技术探索。本文为整个演讲的内容文稿,期望对大家有所启发。
作者介绍:翟周伟,京东集团技术总监,负责京东零售搜推电商大模型技术以及在 AI 助手搜推等领域的应用探索和实践。
1. 电商行业的发展和技术演进
1.1 电商行业发展
过去十年,实物商品网上零售额实现了高速增长,电商模式也经历了显著的演变。从以货架电商为主的传统模式,发展到如今货架电商与内容电商并存的多元格局,这一变化不仅反映了市场需求的多样化,也展示了技术进步对零售行业的深远影响。
货架电商,如阿里巴巴、京东和拼多多等平台,通过建立庞大的商品数据库和高效的物流体系,为消费者提供了便捷的购物体验。这些平台依托强大的技术基础,优化了供应链管理,降低了商品流通成本,使得消费者能够以更低的价格购买到更丰富的商品。
与此同时,内容电商如抖音、快手和小红书等平台的崛起,标志着电商模式的进一步创新。这些平台通过短视频、直播等内容形式,将商品展示与娱乐体验相结合,吸引了大量用户的关注。内容电商不仅丰富了消费者的购物体验,还通过社交互动和用户生成内容,增强了用户粘性和购买欲望。
本质上,无论是货架电商还是内容电商,都是通过技术驱动,大幅降低了商品流通成本,显著提升了零售效率。可以说,电商模式的发展变化,是技术演进的直接结果。未来,随着技术的不断进步,电商模式将继续创新,进一步满足消费者多样化、个性化的需求。
1.2 电商场景问题分析
从电商用户的消费决策链出发,用户从需求的产生到最终决策下单,可以拆解为购前、购中、购后这三个阶段。在这一链条中,不同类型的平台扮演着不同的角色,各自发挥着独特的功能。
首先,以抖音、快手和小红书等为代表的内容分发平台,作为当前的新兴内容电商平台,主要处于消费链路的上游阶段。在购前阶段,这些平台通过丰富多样的短视频、直播和用户生成内容,激发用户的购物需求。内容电商平台通过生动的商品展示和互动性强的内容,能够有效地吸引用户的注意力,促进潜在需求的产生和转化。用户在这些平台上获取灵感、发现新产品,并逐渐形成购买意向。
而以阿里巴巴、京东和拼多多为代表的商品分发平台,作为当前的货架电商平台,主要处于消费链路的中下游阶段。在购中阶段,这些平台承担着用户需求与商品供给的高效匹配任务。当用户在内容平台上产生购买需求后,他们通常会转向这些电商平台进行搜索,以寻找具体的商品并进行比价和决策。电商平台通过庞大的商品库、精准的推荐算法和高效的物流服务,确保用户能够快速找到所需商品并顺利完成购买。
在消费决策链路中,用户购买需求产生后的搜索环节是决策的关键。电商搜索的核心在于基于用户需求的商品分发,其主要目标是提升商品分发效率,优化的关键指标是 GMV(商品交易总额)和 UCVR(用户转化率)。与一般的信息搜索(如百度)不同,电商搜索不仅要提供相关性高的搜索结果,还需要考虑商品的库存、价格、物流等多方面因素,确保用户能够获得最佳的购物体验。
1.3 关键问题和技术挑战
作为国内领先的电商平台,京东在移动端 APP,小程序以及 PC 端等多种产品形态中,为用户提供了全方位的购物体验。京东的宏观目标是实现更低的成本、更高的效率以及更好的用户体验。然而,在实现这些宏观目标的过程中,京东面临着一系列关键问题和技术挑战。
这种多样化的产品形态要求平台在各个终端上提供一致且优质的用户体验。同时不同终端的用户行为和需求也存在差异,这就需要平台在设计和优化用户界面、功能以及交互体验时,充分考虑各终端的特点和用户习惯。
宏观目标可以总结为:更低的成本、更高的效率和更好的体验。
-
更低的成本:降低成本不仅涉及商品采销和库存管理,还包括物流成本和平台运营成本。通过智能化的供应链管理和 AI 技术,京东可以优化库存配置,减少商品滞销和库存积压,从而降低成本。
-
更高的效率:提高效率主要体现在物流配送和订单处理上。京东通过建设智能物流系统和自动化仓储设施,实现了从订单生成到商品配送的全流程高效运作。同时,通过精准的用户画像和个性化推荐,京东能够在用户浏览和搜索时,更快地匹配到合适的商品,提高用户购物效率。
-
更好的体验:用户体验的提升不仅依赖于界面设计和功能优化,更需要在售前、售中和售后各个环节提供优质的服务。京东通过优化搜索算法、提升客服质量和完善售后服务体系,全面提升用户的购物体验。
在实现宏观目标的过程中,我们需要解决的关键问题可以归结为 GMV(商品交易总额)的问题。GMV 可以通过公式描述为:GMV = UV(独立访客数) * UCVR(用户转化率) * 客单价
-
UV(独立访客数):增加 UV 需要通过多种渠道吸引新用户和保留老用户。京东通过多样化的营销活动、社交媒体推广和内容合作,吸引更多用户访问平台。
-
UCVR(用户转化率):提高 UCVR 需要优化用户的购物路径,减少购买障碍。京东通过改进搜索和推荐系统,提供个性化的商品展示,提升用户的购买意愿。此外,简化支付流程和提供多种支付方式,也有助于提高用户转化率。
-
客单价:提升客单价可以通过增加商品的附加值和鼓励用户购买更多商品来实现。京东通过推出高品质的自有品牌商品和组合销售策略,提升客单价。
在解决上述关键问题时,京东面临着多项技术挑战,这些技术挑战包括但不限于以下四个方面:
-
交互引流
-
提升交互效率同时考虑激发用户需求:在提升用户交互效率的同时,需要设计能够激发用户需求的交互方式。
-
时效性问题:确保信息和商品推荐的实时性,以满足用户的即时需求。
-
丰富性问题:提供多样化的内容和商品选择,满足用户的不同需求。
-
-
意图理解
-
复杂用户需求理解:准确理解用户的复杂需求,提供相应的商品和服务供给。
-
数千数万商品属性和类目精准识别:对海量商品的属性和类目进行精准识别和分类,从而提升检索效率。
-
用户画像等复杂上下文:利用用户画像和上下文信息,提供个性化的商品推荐和服务。
-
-
商品召回
-
多维度召回和融合:从多个维度进行商品召回,确保推荐结果的全面性和准确性。
-
商品和库存等动态变化:实时跟踪商品和库存的动态变化,确保推荐的商品有货且可购买。
-
个性化和多样性问题:在个性化推荐的同时,确保推荐结果的多样性,避免推荐的单一化。
-
-
相关性
-
文本 + 图像多模态匹配:通过文本和图像的多模态匹配,提升推荐结果的相关性。
-
动态价格、促销、物流等:考虑商品的动态价格、促销活动和物流情况,提供更具吸引力的推荐。
-
权衡 UCVR 和长期 GMV:在提升用户转化率的同时,兼顾长期 GMV 的增长。
-
宏观流量调控和反作弊:进行宏观流量调控,防止作弊行为,确保平台的公平性和用户体验。
-
1.4 技术演进洞察
电商行业的快速发展离不开技术的不断创新。技术的演进不仅是为了追求技术本身的突破,更是为了实现更低的成本、更高的效率和更好的用户体验。本节将探讨电商搜索技术的演进历程,从文本检索阶段到当前正在经历的大模型阶段,以及未来的 AGI 导购助手。
文本检索阶段
在电商搜索技术的初期,主要依赖于基础的文本检索技术和规则引擎。这个阶段的核心在于通过关键词匹配实现用户与商品的连接。
-
规则引擎的应用:利用预定义的规则和逻辑,初步实现用户搜索需求与商品信息的匹配。
-
基础文本检索技术:通过简单的文本匹配算法,检索出与用户搜索词相关的商品。
-
关键词的人货匹配:基于关键词的匹配技术,初步实现用户需求与商品的对接。
机器学习阶段
随着数据量的增加和计算能力的提升,电商搜索技术进入了机器学习阶段。这一阶段的核心是通过统计 NLP 和机器学习模型,提升用户意图理解和商品匹配的准确性。
-
用户意图理解和商品理解:通过统计自然语言处理技术,更加精准地理解用户的搜索意图和商品属性。
-
基于 ML 的 CTR/CVR 建模:利用机器学习模型预测点击率(CTR)和转化率(CVR),优化搜索结果的排序。
-
LTR