领英工程VP：如何用 AI 消除 AI 偏见，打造高级人才推荐系统

AI Conference 北京站

自从 2014 年进入中国以来，五年间，领英的用户数就从 400 万增长到了 4700 万。手握如此大规模的用户群体，领英也在不断进行升级，充分利用大数据与人工智能两件利器，打造一站式职业发展平台。

在 6 月 20 日 O'Reilly AI Conference 北京站会议中，领英工程副总裁 Maria Zhang 对领英在人工智能方向的最新进展做了介绍。

互联网行业发展已经进入新的篇章，随着流量红利的减弱，大数据和人工智能的重要性越发显著，数据驱动下的互联网产品创新已成为各大公司的发展趋势和动力。

作为面向全球的职业社交网站，领英（LinkedIn）也在大数据时代中积极探索大数据、人工智能在实际场景中的应用，希望通过数据的研究与测算，为个人、企业和社会提供洞察，为全球近 30 亿劳动力创造更多机会。

Maria Zhang 的演讲得到现场观众的一致认可

在 6 月 20 日 O’Reilly AI Conference 北京站的 Keynote 环节，领英工程副总裁 Maria Zhang（张仁辉） 作了题为《人工智能对未来招聘和人才市场的影响》的演讲，就领英目前在人工智能方向的最新应用做了介绍。

职场人才有哪些不会被机器替代的核心因素

在电影中，我们总会看到机器人崛起，取代了人类的场景，但是在 Maria Zhang 看来，「有一些核心的因素，是今天以及未来的职场人才，不能被人工智能或者机器所替代的。」

这些核心因素包括三点：同理心，创新能力和道德感。

比如，就同理心来说，人工智能工具可以帮助面试官去查看、筛选简历并安排面试，但是它不能和面试者握手，倾听面试者的故事、和他交流。

此外，人们都喜欢艺术以及它为我们带来的享受，是因为这些艺术的创新、原创性，会给我们惊喜感、新鲜感。

而人工智能是模仿一个已经运转良好的解决方案，我们用数据训练它，它也只是在现有数据中寻找规律，而不会像人类一样不断去尝试新的事情。

接着，通过一次亲身经历，Maria Zhang 强调了道德感的重要性。

在无人便利店刚面世之时，她非常兴奋地走进西雅图街头的一家店去体验。但是，完全自主的购物过程带来的良好体验没有持续多久，在自主付款之后，手机延迟发送的收款票据，让等待中的她有一种内疚感，「感觉好像没有付款就拿走了东西一样。」

西雅图的无人便利店，缺少了传统便利店收银员一环

也许会让人产生未付款的错觉

这让她觉得，虽然这个产品中，人工智能的算法非常棒，但是缺少一个核心维度，即道德维度。

她认为，一个强的团队，一个成功的公司，一个好的社会，都需要这个维度。

同时，一个好的产品，必定是具备原创性、创新性与个性化体验的，要做到这些，公司和团队就需要多元化。

然而，在追求这些核心品质的过程中，因为种种因素，人工智能不可避免地会遇到偏见问题。作为一个全球人才聚集平台，领英对这个问题十分重视 ，他们已经尝试利用大数据与人工智能尝试去解决，并取得了很好的成果。

利用深度学习，消除 AI 偏见

人工智能带有偏见的案例并不少见，比如在一些人脸识别系统在识别深肤色和浅肤色人脸时，精确度往往不高，原因是用于训练该系统的深肤色人脸数据远远不足。

某人脸识别系统，对于不同肤色的人脸识别准确度差异较大

人工智能本应是客观的，但是为什么会带有偏见呢？

一方面，是因为偏见原本就存在，它会有意识或无意识地出现，造成带有偏见的训练数据；另一方面，训练团队的组成缺少多元化（如果某自动驾驶的训练团队都是男性，训练的驾驶习惯就会与男性驾驶习惯更相似），也会将人类的偏见带入训练系统，并被人工智能进一步扩大。

在领英的应用场景中，对于职场人才的偏见最初也是存在的。比如，在某企业 HR 搜索「机械工程师」时，结果可能会优先出现男性工程师，或者，男性工程师的数量会远远多于女性。Maria Zhang 介绍了领英是如何借助人工智能去消除这些偏见的。

领英的职位推荐系统，针对大部分自然语言处理和计算机视觉任务，采用三大类深度学习方法：即 LSTM、CNN 和序列到序列模型。对于某些指导性学习任务，还会在必要时采用典型多层感知器。

进一步地，领英还建立了一个 Deep & Wide 模型，其中整合了深度学习，树状结构模型，以及 GLMix（Generalized Linear Mixed Model）。

GLMix 模型

此外，为了能够实时更新上百亿的用户参数和工作参数，领英建立了一个基于 Spark 的运算平台，这极大地提升了用户体验。

基于以上的技术与平台，领英的推荐系统实现了深度的个性化，能够非常灵活地进行实时搜索与推荐，并根据自动收集用户的反馈、自动训练，把模型结果上传至线上。

在深度个性化的基础上，为消除偏见，系统会对搜索结果进行「再造性排序」，比如搜索「机械工程师」，会在页面显示与该职位相匹配的 50% 的男性与 50% 的女性工程师，从而对公司招聘人才的多元化产生积极影响。

发挥大数据优势，构建领英知识图谱

面对复杂的人力资源管理场景，不仅仅是消除偏见，更是要为每个人才匹配到最适合的职位，发挥其最大优势。而拥有 6.3 亿用户的领英，如何实现个性化职位推荐的呢 ？

领英（LinkedIn） 成立于 2002 年，2011 年在美上市

据介绍，领英知识图谱( LinkedIn Knowledge Graph )是其完成这项艰巨任务的利器。公司应用超过 10 亿个数据点（职位、技能、公司、会员等等）来构建该图谱。

通过自然语言处理、机器学习等技术手段，将原本零散的信息标准化、系统化后，形成能够实时更新、快速映射的复杂图谱。其中，标准化的用户数据是构建领英知识图谱的基础。

领英的知识图谱基于其平台上「实体」构建的大型知识库

这些图谱中形成超过 500 亿个关系纽带。这些标准化数据在领英模型和产品中得到应用，为客户和会员定制他们每一步的使用体验。

通过知识图谱，即使用户上传的信息中有某部分的缺失，领英依然能够通过复杂映射网络、相似用户数据分析（如参考同一行业用户的擅长技能等），向用户提供精准的职位、文章推荐等服务。

人工智能在领英，氧气般的存在

如今，对于领英来说，人工智能如今是氧气般的存在，而「数据驱动」是领英的核心文化和 DNA。

作为最早提出「数据科学」概念并定义「数据科学家」职业的公司之一，领英数据团队从早期的一两百人，已经成长到现在的 1300 余人。

要成为领英的数据科学家，需要经历层层面试的考验

高度结构化的数据集，是领英特有的优势。而人工智能算法，让他们充分利用这些优势，更多地发挥出其价值，将原本艰辛的求职变得温暖而人性化。

在演讲的最后，Maria Zhang 表达了对人工智能未来的美好愿景：「人工智能会解放我们，帮我们去做危险的重复性的工作，让我们有更多时间去更好地自由地表达自己，让我们更好的相互关联，让这个世界更加美好。」

而我们也相信，人工智能时代，每个人都会在技术力量支持下，更高效地工作，创造更多的价值。

关于 Maria Zhang

LinkedIn 工程副总裁，曾任 Tinder 首席技术官，她在 Tinder 建立了一个世界级的工程师团队，并扩大了该应用程序的规模，以服务迅速增长的全球用户基础;曾任雅虎移动工程副总裁；管理微软、Zillow 和 NetIQ 的团队；创建了一个类似的移动本地推荐应用程序(被雅虎收购)。

她于 1992 年就读清华大学，学习计算机科学，之后获得东密歇根大学学士和硕士学位。