领英工程VP:如何用 AI 消除 AI 偏见,打造高级人才推荐系统

AI Conference 北京站

自从 2014 年进入中国以来,五年间,领英的用户数就从 400 万增长到了 4700 万。手握如此大规模的用户群体,领英也在不断进行升级,充分利用大数据与人工智能两件利器,打造一站式职业发展平台。

在 6 月 20 日 O'Reilly AI Conference 北京站会议中,领英工程副总裁 Maria Zhang 对领英在人工智能方向的最新进展做了介绍。

互联网行业发展已经进入新的篇章,随着流量红利的减弱,大数据和人工智能的重要性越发显著,数据驱动下的互联网产品创新已成为各大公司的发展趋势和动力。

作为面向全球的职业社交网站,领英(LinkedIn)也在大数据时代中积极探索大数据、人工智能在实际场景中的应用,希望通过数据的研究与测算,为个人、企业和社会提供洞察,为全球近 30 亿劳动力创造更多机会。

640?wx_fmt=jpeg

Maria Zhang 的演讲得到现场观众的一致认可

在 6 月 20 日 O’Reilly AI Conference 北京站的 Keynote 环节,领英工程副总裁 Maria Zhang(张仁辉) 作了题为《人工智能对未来招聘和人才市场的影响》的演讲,就领英目前在人工智能方向的最新应用做了介绍。

职场人才有哪些不会被机器替代的核心因素

在电影中,我们总会看到机器人崛起,取代了人类的场景,但是在 Maria Zhang 看来,「有一些核心的因素,是今天以及未来的职场人才,不能被人工智能或者机器所替代的。」

这些核心因素包括三点:同理心,创新能力和道德感。

比如,就同理心来说,人工智能工具可以帮助面试官去查看、筛选简历并安排面试,但是它不能和面试者握手,倾听面试者的故事、和他交流。

此外,人们都喜欢艺术以及它为我们带来的享受,是因为这些艺术的创新、原创性,会给我们惊喜感、新鲜感。

而人工智能是模仿一个已经运转良好的解决方案,我们用数据训练它,它也只是在现有数据中寻找规律,而不会像人类一样不断去尝试新的事情。

接着,通过一次亲身经历,Maria Zhang 强调了道德感的重要性。

在无人便利店刚面世之时,她非常兴奋地走进西雅图街头的一家店去体验。但是,完全自主的购物过程带来的良好体验没有持续多久,在自主付款之后,手机延迟发送的收款票据,让等待中的她有一种内疚感,「感觉好像没有付款就拿走了东西一样。」

640?wx_fmt=jpeg

西雅图的无人便利店,缺少了传统便利店收银员一环

也许会让人产生未付款的错觉

这让她觉得,虽然这个产品中,人工智能的算法非常棒,但是缺少一个核心维度,即道德维度。

她认为,一个强的团队,一个成功的公司,一个好的社会,都需要这个维度。

同时,一个好的产品,必定是具备原创性、创新性与个性化体验的,要做到这些,公司和团队就需要多元化

然而,在追求这些核心品质的过程中,因为种种因素,人工智能不可避免地会遇到偏见问题。作为一个全球人才聚集平台,领英对这个问题十分重视 ,他们已经尝试利用大数据与人工智能尝试去解决,并取得了很好的成果。

利用深度学习,消除 AI 偏见

人工智能带有偏见的案例并不少见,比如在一些人脸识别系统在识别深肤色和浅肤色人脸时,精确度往往不高,原因是用于训练该系统的深肤色人脸数据远远不足。

640?wx_fmt=jpeg

某人脸识别系统,对于不同肤色的人脸识别准确度差异较大

人工智能本应是客观的,但是为什么会带有偏见呢?

一方面,是因为偏见原本就存在,它会有意识或无意识地出现,造成带有偏见的训练数据;另一方面,训练团队的组成缺少多元化(如果某自动驾驶的训练团队都是男性,训练的驾驶习惯就会与男性驾驶习惯更相似),也会将人类的偏见带入训练系统,并被人工智能进一步扩大。

在领英的应用场景中,对于职场人才的偏见最初也是存在的。比如,在某企业 HR 搜索「机械工程师」时,结果可能会优先出现男性工程师,或者,男性工程师的数量会远远多于女性。Maria Zhang 介绍了领英是如何借助人工智能去消除这些偏见的。

领英的职位推荐系统,针对大部分自然语言处理和计算机视觉任务,采用三大类深度学习方法:即 LSTM、CNN 和序列到序列模型。对于某些指导性学习任务,还会在必要时采用典型多层感知器。

进一步地,领英还建立了一个 Deep & Wide 模型,其中整合了深度学习,树状结构模型,以及 GLMix(Generalized Linear Mixed Model)

640?wx_fmt=jpeg

GLMix 模型

此外,为了能够实时更新上百亿的用户参数和工作参数,领英建立了一个基于 Spark 的运算平台,这极大地提升了用户体验。

基于以上的技术与平台,领英的推荐系统实现了深度的个性化,能够非常灵活地进行实时搜索与推荐,并根据自动收集用户的反馈、自动训练,把模型结果上传至线上。

在深度个性化的基础上,为消除偏见,系统会对搜索结果进行「再造性排序」,比如搜索「机械工程师」,会在页面显示与该职位相匹配的 50% 的男性与 50% 的女性工程师,从而对公司招聘人才的多元化产生积极影响。

发挥大数据优势,构建领英知识图谱

面对复杂的人力资源管理场景,不仅仅是消除偏见,更是要为每个人才匹配到最适合的职位,发挥其最大优势。而拥有 6.3 亿用户的领英,如何实现个性化职位推荐的呢 ?

640?wx_fmt=jpeg

领英(LinkedIn) 成立于 2002 年,2011 年在美上市

据介绍,领英知识图谱( LinkedIn Knowledge Graph )是其完成这项艰巨任务的利器。公司应用超过 10 亿个数据点(职位、技能、公司、会员等等)来构建该图谱。

通过自然语言处理、机器学习等技术手段,将原本零散的信息标准化、系统化后,形成能够实时更新、快速映射的复杂图谱。其中,标准化的用户数据是构建领英知识图谱的基础。

640?wx_fmt=jpeg

领英的知识图谱基于其平台上「实体」构建的大型知识库

这些图谱中形成超过 500 亿个关系纽带。这些标准化数据在领英模型和产品中得到应用,为客户和会员定制他们每一步的使用体验。

通过知识图谱,即使用户上传的信息中有某部分的缺失,领英依然能够通过复杂映射网络、相似用户数据分析(如参考同一行业用户的擅长技能等),向用户提供精准的职位、文章推荐等服务。

人工智能在领英,氧气般的存在

如今,对于领英来说,人工智能如今是氧气般的存在,而「数据驱动是领英的核心文化和 DNA。

作为最早提出「数据科学」概念并定义「数据科学家」职业的公司之一,领英数据团队从早期的一两百人,已经成长到现在的 1300 余人。

640?wx_fmt=jpeg

要成为领英的数据科学家,需要经历层层面试的考验

高度结构化的数据集,是领英特有的优势。而人工智能算法,让他们充分利用这些优势,更多地发挥出其价值,将原本艰辛的求职变得温暖而人性化。

在演讲的最后,Maria Zhang 表达了对人工智能未来的美好愿景:「人工智能会解放我们,帮我们去做危险的重复性的工作,让我们有更多时间去更好地自由地表达自己,让我们更好的相互关联,让这个世界更加美好。」

而我们也相信,人工智能时代,每个人都会在技术力量支持下,更高效地工作,创造更多的价值。

关于 Maria Zhang

LinkedIn 工程副总裁,曾任 Tinder 首席技术官,她在 Tinder 建立了一个世界级的工程师团队,并扩大了该应用程序的规模,以服务迅速增长的全球用户基础;曾任雅虎移动工程副总裁;管理微软、Zillow 和 NetIQ 的团队;创建了一个类似的移动本地推荐应用程序(被雅虎收购)。

她于 1992 年就读清华大学,学习计算机科学,之后获得东密歇根大学学士和硕士学位。

640?wx_fmt=jpeg

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值