全栈型选手显然更吃香。作为从业者,从实用主义角度,说说工作中的一些思考吧:
大模型时代的新问题
1、亟待跑出来能赚钱的落地场景。大模型能力虽强,但是在复杂系统、特定要求下给出的结果往往是不及预期的,需要不断探索和优化,以找到真正能商业化的落地场景。
2、成本问题格外敏感。大模型的训练和应用需要大量的计算资源和数据支持,这更加增加了大模型在应用层商业化落地的难度。
3、开发范式的改变。通用模型能力的大幅度提升导致上层应用的开发过程大为简化。
模式从过去每个公司都需要投入大量资源来构建和训练小模型,到在通用预训练模型的基础上针对特定的任务或数据集进行小幅度的调整,甚至直接基于通用模型进行应用开发。
4、团队角色与职责的模糊性。现阶段大家都是摸着石头过河,经验都不足,常常会出现诸如“这活该谁干”的模糊地带。比如产品经理可能也没有足够的经验来清晰地拆解业务指标;再比如当没有专门的prompt工程师的情况下,prompt归谁写的问题。
5、模型选择的多样化。各种模型层出不穷,这为解决问题提供了更多的可能性,但也增加了选择的难度。
6、开源与闭源技术的并行发展。开源闭源两条技术路线泾渭分明,各种框架不断冒头,但是又都不够成熟稳定。
对算法工程师的新要求
实际上,当前的大模型生态发展阶段,有点像从各个饭馆请大厨起锅做私房菜,到中央厨房统一配送半成品预制菜的转型阶段。“大厨”之间竞争的点和过去不一样了。
1、从卷技术、卷论文到卷落地、卷赚钱
如何将中央厨房统一配送的半成品预制菜巧妙地加工成符合自家餐馆顾客口味的佳肴——这就是落地问题。
面对琳琅满目的预训练模型,
如何平衡业务需求场景、模型性能、成本和生态,选择合适的进行微调?
如何针对具体任务对模型进行优化?
如何综合考虑技术的可靠性、易用性以及团队的实际情况等因素选择技术路线?
这些看似“琐碎”的落地问题,实际上蕴含了极高的复杂度和策略性。算法工程师有足够丰富的项目经验、足够强的落地能力,比追求技术的极致和理论的创新更吃香。
2、全面拥抱大模型
从社会生产提效的角度来讲,变化是势不可挡的。算法工程师需要不断更新自己的知识库,以应对这种变化。全面拥抱大模型,才是把握未来、提升竞争力的关键。
大模型知识涉及广泛,包括大模型的训练、微调、部署等核心技能,以及对市面上常见大模型特征、模型结构的深入理解。此外,还需掌握大模型的评测标准,以及使用通用大模型相关工具和库的能力。在模型应用开发的道路上,精通开闭源技术栈与prompt工程更是不可或缺。
3、从以模型为中心转变为以数据为中心
通用模型能力的提升和开发过程的简化,导致算法工程师的工作重点逐渐从以模型为中心转变为以数据为中心。算法工程师需要重视和加强的语料数据收集能力、深入理解数据和特征工程。
4、“老手艺”+新范式=开挂
业务方面的积累
一句话,解决问题的工具变高效了,但是现实中业务问题的复杂度一直没有变。像搜索推荐之类的强业务类型的算法工程师,单从业务复杂度来说,就是很深的护城河。
解决问题的方法论
业务抽象、技术建模、程序设计思想、设计模式等高度抽象的方法论,是算法工程师在工作中不可或缺的底层逻辑。这些方法论是不变的。
带着这些老手艺去拥抱大模型,相当于“鸟枪换炮”,不仅提升了工程师的工作效率,更有可能做出创新。
5、人均“全栈”,打破职责边界
由于技术领域太新,一个大模型应用开发的团队内部常常会出现职责划分不清晰的问题。作为算法工程师,你需要更主动地了解业务,和产品经理密切配合,大家一起扛目标,逐步优化和迭代。这一点从一定程度上来讲也是机遇。有想法、跑得快的工程师,很容易拿到话语权,甚至成为项目的主导者。
6、提升工程能力
在实际应用中,很少有公司训练千亿规模的大模型,但是百亿量级的大模型,在实际的业务场景中还是很多用到的。因此,对有大模型部署经验的工程师的需求大大提高。
总结
大模型是数据、算法和算力的完美实践,是科研、工程和组织的优雅艺术。大模型时代的算法工程师,视野应当更加广阔,技能树应当更加枝繁叶茂、更加平衡。
从整个社会生产效率的角度来说,“中央厨房预制菜”模式势不可挡。既然如此,那些沉溺于自怨自艾、慨叹“世风日下”的厨子,注定将被市场边缘化。
而那些有着扎实烹饪技艺,同时积极适应标准化的配菜流程、勇于探索烹饪工艺创新、在预制菜品二次加工、顾客口味洞察、团队合作以及品控等方面迅速补全能力的厨子,必将在更加广阔的舞台上大放异彩。
免费资料包
另外还有免费的AI大模型学习资料包,供你学习。点击下面的卡片就可以免费领,具体有:
👉AI大模型学习路线汇总👈
👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓