面试网易大模型算法岗，强度拉满！

今天分享我们一位星球成员面试网易大模型算法实习面经：

一面

时间：9.12 时长：1h

code：统计岛屿数量、最大岛屿面积，DFS方法解了

然后介绍实习项目，面试官非常耐心地听，没有打断

八股

• bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）
• 训练/微调一个LLM的流程？
• 实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）
• 了解强化学习吗，跟SFT有什么区别？
• 反问：业务，对岗位的期望

评价： 有点紧张，算法题有一个小失误没注意到

二面

时间：9.14 时长：1h

八股

1. 写一下 attention 公式（代码实现了下）
2. 训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗
3. transformer和传统seq2seq模型有什么区别？
4. 计算attention时为什么要除以d_k，这个d_k的含义是？
5. attention计算时还有哪些scale处理？
6. attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？
7. 解释数值上溢、下溢问题
8. 讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt
9. 讲一下SFT，会对哪部分计算loss？为什么？
10. 讲一下deepspeed
11. 训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？
12. 训练模型时用了几张卡，有遇到什么异常中断问题吗？

反问： 在乎候选人什么能力？对面试表现有哪些改进意见？

评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。

（完）

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。