2023移动端技术探索

1. 行业背景

过去的2022年对大家来说都是困难的一年，难在疫情影响，难在宏观环境的增长放缓。没有增长带来的就是痛苦的体验，对于互联网行业，21年的主题是“反996”，到了22年风向就变成了“降本增效”、“业务搜索”以及“裁员”。再细化动移动端，经过十年的发展，它已经步入“成熟期”，各行各业都被改造差不多了，技术上该有的轮子都有了，基础的服务也搭建差不多了，似乎真正到达瓶颈了，存量时代的小修小补对人力的需求已经是对半砍了。脉脉《抢滩数字时代·人才迁徙报告2023》报告显示：2022年企业招聘总职位数量同比减少21.67%，纯互联网职位量同比减少50.4%。

又到了制定新一年OKR的时候了，大家都在发愁技术项目的规划，不知道在技术上去做哪些探索和突破。InfoQ发布的《中国软件技术发展洞察和趋势预测研究报告2023》第三条核心结论显示：2022年技术服务理念转变，从技术先进到业务赋能，IT部门公司定位逐渐由成本部门转向业务赋能部门，技术也更被边缘化了，个人职业发展屏障出现，这个时候我们不禁对前途迷茫甚至产生质疑。再细化到移动端，《中国软件技术发展洞察和趋势预测研究报告2023》展示的“中国技术成熟度评估曲线”中前沿和早期推广项目貌似都与移动端没有太大关系。

本文尝试从各个方面探索移动端可以发展的方向，最大程度的“压榨”可能的技术方向（有些只是抛出问题，而不是最终答案）。

2. 近两年大厂探索方向与成果

在挖掘之前先看看大厂（可能是某个领域有所建树）这些年在做什么，看看有没有直接可以抄的作业。

2.1 21年初调研结果

21年初写OKR时对几个大厂做了调研，下面分别看看阿里、美团、京东做了什么，准备做什么：

阿里移动端技术全景图

阿里移动端发展趋势

美团移动端技术全景图

京东移动端技术全景图

京东移动端未来远景图

看起来都大同小异，可能各个规模的公司都在建设或者建设完成。

2.2 22年产出

再看看22年大厂的输出，这里主要来自于企业技术公众号输出内容。

2.2.1 阿里

阿里推出的《2022技术人的百宝黑皮书》总结了2022年阿里年度精选终端技术栈的内容：

2.2.2 美团

下面内容摘自美团技术发布的《2022年美团技术年货-合辑》：

2.2.3 百度

百度App技术公众号发布2022精选文章：

2.2.4 分析

从上面三家企业对外输出的文章看，在移动端的动作不外乎几个方向：

1. 跨端/低代码

2. 性能优化

3. 自动化测试

4. 开发平台/平台化能力

5. AI

3. 移动端主要方向分析

结合上面整理出来的，我们看看移动端“可以”有哪些方向。

3.1 业务开发

业务开发还是主流的市场需求，这块会占大部分的比例，IT部门从成本部门转为赋能部门后，主要的工作量就是支持业务。

3.2 跨端/低代码

在降本增效的背景下，跨端还会持续搞，但是也不是新东西了。H5、React、Flutter、小程序，这些都各有利弊，不同场景用不同技术，像小程序这种更适合平台化的超级APP，规模不够大的话，性价比不高。

3.3 性能优化

同样的，性能优化也是需要持续做的事情，但是也不是新东西了，一些技术手段都比较成熟了，没有太多可挖掘的空间了。

3.4 架构方向

架构管理方向随着规模的收缩，很难出现机会了。

3.5 开发平台建设

在公司内部，类似于蚂蚁的mPaas开发平台在业务快速成长期对提效会有很大的帮助，这个时候随着业务的裂变，推出各种APP，开发平台可以避免很多重复的工作，助力应用快速上线和运营，但是在收缩期再去建设就有点不划算了。

单点的平台能力，比如监控、埋点之类的或者用第三方或者也自建完成了，对缺失的个别能力，可以根据业务需求点滴建设。

3.6 系统应用/Framework/驱动开发

随着AI、Iot、新能源的发展与兴起，释放出一些系统开发的诉求，相对于之前，嵌入式驱动开发的薪资也有所增长，也算是一个方向，但是也要记住，比起手机，电视、汽车毕竟是少数，如果纯转嵌入式的话可能沾Iot的光规模更大些，不过比起芯片，这也是比较成熟的技术，可挖掘方向不大，只是多了个写业务的战场。

3.7 XR

目前比较成熟的是VR，但是VR在端上展示主要基于H5，采集会有单独硬件，有些也支持了手机采集，但是还是那句话，市场需求不大。至于AR、元宇宙更多的是AI的综合应用了，我们也不讨论了。

3.8 音视频

音视频一直是移动端比较大和前沿的一块方向，但是现在也已趋于成熟，下面看看主要的几个方向：

• 点播：播放器的事情，主要涉及多解码期、预加载秒开，剩下的交给系统播放器都可以完成的很好了；

• 录制：系统录制工具，或者基于系统采集、编码、封装封装一套；

• 视频编辑和特效处理：编辑主要是解复用--->解码--->逐帧处理--->编码--->复用的过程，逐帧处理用到视频上主要设计合成、滤镜等；音频主要是变声、声音融合，都是通用的技术，稍微体现差异的就是特效处理中与AI的结合，比如美颜、带眼镜等会用到图像检测，但是都不是门槛，也谈不上前沿探讨；

• 直播：直播也同样有成熟的结局方案：采集推流，开源服务端以及成熟CDN，播放ijk，秒开之类的都是参数优化了；

• 实时音视频：实时音视频开发成本比较高，主要的挑战是弱网对抗，3A处理等，由于不是通用协议，没有CDN，自己搭建机房成本高，而且不见得效果比第三方好，所以也是一件性价比比较低的事情。

• 编解码：目前主流的还是H264，VP8，H264甚至都没有推开，限制编解码算法的主要是推广和兼容性，所以编解码器都是一些组织去搞，一个公司贸然去开发，风险很大。

3.9 AI

人类一直在追求更智能的机器，AI是未来，所以即使现在不够好，并且没有找到太多的落地场景，但是很多公司还在搞，尤其是ChatGPT的能力让大家惊讶，但是它仍然不是真正的“像人类一样”的智能。目前通用的AI主要有一下几个方向：

1. 语音方向

   1. 前端信号处理

   2. 唤醒

   3. 语音识别

   4. 声纹

   5. TTS

   6. 作曲：抖音之前分享有过这方面实践和应用

   7. 基于特征的语音编码：比如谷歌推出的的lyra和SoundStream，Lyra的设计工作速率为3kbps，听力测试表明，在该比特率下，Lyra的性能优于任何其他编解码器，并优于Opus的8kbps，因此实现了60%以上的带宽削减。但是正如上面说的，编解码器的瓶颈主要还是在于标准的推广。

2. 图像方向

   1. 检测

   2. 识别

   3. 图像比较（应用于UI自动化测试）

3. 自然语言处理

   1. 智能问答

   2. 意图识别

4. 风控

5. 推荐

6. 用户画像

7. 元宇宙/数字人：数字人更像是一个AI的综合应用。

还有些特殊的特殊业务场景的特殊用户，比如房产领域：

1. 户型解读（基于图像的特殊特征）

2. 训练场

对于AI，移动端可以做哪些探索？回答这个问题先要搞明白哪些场景适配放在端上来做。Android官方给了一个决策的标准：

上面提到的特别需要在端上应用的主要有：

1. 唤醒

2. 图像检测

3. 语音编解码

可以放在端上应用的：

1. ASR

2. TTS

3. 图像标签

基于这些场景端上的主要工作量是什么呢？模型训练大部分还是放在云端，端上就是加载模型，输入数据，展示输出结果，还有可能就是对引擎，框架做些优化：

4. 总结

整体来看，整个移动端技术的发展可以说到了“山穷水尽”的地步，可挖掘的创新型内容不是很多了，大部分都是在现有体系维护和迭代。整体来看业务支撑还是主要的需求来源，车机、Iot也释放出一些机会，跨端、开发平台、性能优化、VR已趋于成熟，端智能落地的还是语音、图像这些通用的方向，深度结合业务的还有待挖掘。目前的AI解决的还是“决策”问题，从现在生成式到未来创造式通用的、”人类水平“的“智能”还有很长的路要走，谁也不能打包票说雷·库兹韦尔提出的奇点理论的“奇点”能不能到来，什么时候到来，智能的进化不止是算法层面的，还会收到算力的影响，像《流浪地球》系列中的MOSS机器人是因为量子计算机算力快的加成。