开年旗舰的al新玩法：我很平凡，凡尔赛的凡 | 雷峰网-亚博电竞网

高通一改往年习惯，在2020年12月2日发布了骁龙888。作为2021年旗舰标配的移动平台，骁龙888最新的x1构架带来了25%的cpu性能提升，adreno 660也给出高通gpu史上最大的35%性能提升。

不过近几年来，高通旗舰平台提升幅度最大的，一直都是它的ai性能。高通产品管理副总裁ziad asghar曾经表示，ai性能大幅提升的主要来自客户的需求，他们期待看到ai在新领域实现应用，比如视频、游戏、安全等。

但终端用户依旧不太了解ai的实际用途和影响，ai硬件的发展与大众观念的普及之间有明显的脱节。这次我们以首批搭载骁龙888的小米11和iqoo 7为例，看看移动ai能干什么，以及2021年旗舰的ai新玩法。

最强、出货量最大的移动ai计算平台

移动ai的核心，是各种用到神经网络/深度学习等ai算法。它们在图像、音频等领域有远超传统算法的效果，但需要专门的ai硬件加速器才能高效地工作。

而高通是首个将终端侧ai sdk商用化的公司，如今全球有超过5亿台安卓终端，在使用高通神经网络处理sdk提供ai功能。而高通的ai性能，从骁龙835时代就开始倍数增长，骁龙845是3tops，骁龙855是7tops，骁龙865是15tops。ai算力达到这个量级，本以为增长会明显放缓，结果骁龙888又把算力记录提升到26tops。

骁龙888上的是高通第六代aie，其最核心的hexagon 780 dsp，把以前hexagon 600系列中的标量，张量（hexagon tensor accelerator）和向量（hexagon vector extensions）模块，融合成整体式ip，共享内存增加整整16倍。在每瓦性能提升3倍的基础上，hexagon 780 dsp标量执行能力提高50％，张量执行吞吐量翻倍，核心切换时间比以前快1000倍。

骁龙888在机器学习基准测试mlperf中，最高提升4倍，暴涨后的内存池可以让神经网络在hexagon 780内部运行，无需占用额外内存，也能运行更大的机器学习推理模型。

类似arm平台“大小核搭配”的传统艺能，高通为了平衡性能和功耗，在骁龙888的第二代传感器中枢里，增加了专用的低功耗ai处理器。在功耗不到1ma的情况下，让ai性能提升5倍。

传感器中枢集成的ai处理器，负责低功耗、无需唤起的全天候语音响应、环境感知等场景的ai待命，宣称能分担hexagon 780 80%的工作负载。需要ai的人眼识别亮屏、语音助手应答、汽笛声/婴儿哭声等语音事件检测功能的功耗也更低。

另外，它可以从不同的核心收集和解密5g、wifi、蓝牙、位置流的连接数据，并创建全天候和带上下文感知的用例，例如手机识别周围声音自动调整铃声音量、在没信号停车场实时构建地图并追踪停车位置等情境感知功能。

不同厂商对ai的理解与应用

在骁龙888这一代，高通推出更加开放的ai engine direct，开发者现在可以用统一的api直接访问hexagon 780、kryo cpu和adreno gpu等的硬件，并有更多的框架的支持。软硬件的提升，可以更好地支撑不同厂商，让厂商能根据各自对ai理解，做出不同的ai应用。

在首批搭载骁龙888的小米11和iqoo 7上，因为有更加强大的ai性能支撑，一大批下渗到日常场景，很接地气的ai应用，就是教科书式的“我很平凡，凡尔赛的凡”。

在小米手机上，运动健康领域mace micro ai引擎，使用深度学习算法提高数据准确精度并降低能耗，一整天的耗电量小于1%（24小时耗电量 9.6mah）。

而dnn-hmm框架深度学习算法，被小米用在相机ai声控上，在拍照场景的音频流中，进行多指令词实时检测。而小爱同学语音助手的asr语音识别、nlp自然语言处理、tts语音合成，以及一系列的端侧ai功能，因为有骁龙888的支持，在小米11上的响应速度更快，但功耗却更低。

gvoice & voip杂音比例对比

而iqoo的ai应用，自然是和游戏相关的。在iqoo联合腾讯开发的游戏gvoice语音功能中，使用骁龙888的ai引擎和传感器中枢作为新的硬件载体，gvoice算法负责ai的回声消除和噪音抑制（ecns），厂商与游戏端定制通信协议，适配客制化音频通路。

在提供更好的声音还原度和噪声抑制效果时，运行在hexagon dsp的gvoice语音，可以让整机耗电下降20ma/s，其所占的cpu资源在原有基础上减少约30%。

另外，高通与nlp自然语言处理方案的头部厂商hugging face合作，为第六代高通ai引擎提供强大的nlp库。打字时的本地自动补全建议、ai语音助手对用户提问的理解、终端侧的实时ai翻译等功能，都将直接受益。

把单摄玩出花的google，之前就用预训练的神经网络做到背景虚化、全景、motion动图（类似ios平台的live photo）、ar实时追踪贴图、超分辨率放大、超级夜景等多种功能。snapchat通过aimet量化其ai镜头模型，提高实时滤镜流畅度并增加滤镜多样化。

而增加对循环神经网络（rnn）和长短时记忆神经网络（lstm）支持的ai模型增效工具包，被开发者做成了“手机拍照就能扫描皮肤健康”的应用。德国的trinamix公司则是用红外光谱分析材料反光，以此做皮肤检测，甚至是垃圾分类。

ai拍照的新玩法

影像是ai最重要的用途之一，而最能看出不同厂商对ai的不同看法的，也是影像部分。小米11的夜景模式新增的夜景拍摄视频，利用ai大幅提升夜景视频的画面亮度和降噪表现。夜景视频可理解为每秒拍摄超过24张超级夜景照片，是isp和ai算力暴力提升的直接效果。

小米11在相册自带了证件照功能，自拍之后，交给ai一键抠图，选定规格和背景就能搞定，不需要跑照相馆，也不需要动用电脑。类似的还有ai智能去线、智能去人等功能。

之前的ai魔法换天功能，在小米11直接被玩出花来了。其提供了晴空、雨云、彩虹、夕阳、晚霞、星空、月亮、闪电、银河等几十种可选内容，现在天空上的云朵能像现实一样随机变化。小米甚至还搞出“焰火版魔法换天”，烟火能实时“炸出”自定义的骚气祝福语。

而对ai算力要求最高的，是多人物共存的魔法分身视频功能。其用法虽然很简单，而且无需三脚架，但背后结合了ai视频目标检测、实时slam场景建模、ai 视频实时人像分割三大算法，而且还要对视频实时逐帧对齐拼接。

相比小米11的趣味性，iqoo 7对ai拍摄的着眼点，要加实用化一些。iqoo 7使用自研raw域ai空域降噪模型，对单帧raw图进行空域降噪，用ai学习识别画面高中低频区域，再0.01lux分段处理的噪声模型标定，分别使用不同程度的降噪，有效提升画面纯净度，并保留画面中不同的明暗细节。

而iqoo的黑光夜视2.0是更加极限的ai算法，其做到了3倍iso、远超人眼极限的“夜视仪”效果。针对拍照时的翻车操作，iqoo 7的相册有纯净度改善和处理人像模糊问题的后期修复能力。

老照片修复上色

褪色照/黑白照ai上色，是以前就有云端方案，但因为隐私、收费和处理时长问题，一直铺不开。在骁龙888的ai算力支持下，iqoo 7也引入情怀向的ai旧照修复、黑白照上色功能，同样是在相册里的一键操作。

ai 希区柯克变焦

视频方面，iqoo7做出了一键vlog模板。里面最骚气的希区柯克变焦模板，使用ai进行目标检测、背景拉伸，缩放，完成以前需要多摄像头/变焦协同和人力移动的效果。

ai滤镜风格迁移

常规的图片滤镜只能在给出的滤镜风格里选择，但ai已经能做到滤镜风格迁移，用ai识别和抽象化提取指定照片（甚至电影截图）的风格，自动生成全新的模板。

虹软“傻瓜相机”

骁龙888上，高通首次将ai引入自动对焦、自动曝光和自动白平衡的3a算法。基于显著性特征分析的自动对焦和自动曝光的神经网络，提供前所未有的准确度之余，还有实物运动跟踪能力。

虹软 “傻瓜相机”功能，在全自动的3a之外，还能自动跟踪目标和自动缩放，连取景和构图都“傻瓜化”了。

视频实时分隔与融合

4k 30fps的实时背景抠图

在高通ai engine的支持下，cv-isp硬件计算视觉加速器也能提供60fps实时景深识别的人像、背景分割、替换、人体追踪、物体识别/追踪的效果。 

高通ai引擎运行和加速的tetras.ai超级电影应用里，骁龙888可以做到4k 30fps的视频实时背景抠图、分割和融合，然后还能用不同的形象代替视频中的角色，与里面的其他人物/角色进行互动，而且取景框上就能实时预览最终效果。

总结

数年间，高通的ai引擎已经发展到第六代，异构化和第二代传感器中枢，已经能让人眼识别亮屏、语音助手应答、语音事件检测、情景上下文感知等ai功能可以低功耗地全天候工作。

而小米11和iqoo 7，在相机上的超级夜景视频、抠图、魔法换天、旧照恢复、希区柯克变焦模板、自由滤镜等更加重度的ai新玩法，也在刷新我们对ai拍照的理解。一边是下沉渗入到日常使用的传统功能ai化，一边是新发掘的非线性、散点出现的ai新玩法。

但 “真正的科技就是让你感觉不到它的存在”，大众对移动ai实际用途的感知割裂，或许正是ai已经深入生活的注脚。当被新旗舰玩出花的ai功能，从点连成线、连成面之后，就是真的“我很平凡，凡尔赛的凡”了。

雷锋网文章，转载雷锋网文章请联系雷锋网