根据不完全统计，现在全球每周上线的基于 AI 的手机应用高达上千款。在 2022 年 11 月 ChatGPT 发布后，AI 的发展迎来了新纪元：生成式 AI 从幕后走到台前，通过用户友好型界面和大众产生直接联系。
现如今，如果手机上不安装几款 AI 应用，似乎都不好意思说自己用的是“智能”手机。这些应用可以是基于生成式 AI 的 ChatBox（聊天机器人），或者是 AI 加持下的语言学习软件、图片生成类应用等等。
如果你以为生成式 AI 只能嵌入进手机，那真的小看了科技公司的想象力。2024 年 1 月 9 日，CES 2024 在美国拉斯维加斯盛大开幕，高通展示了其先进的 AI 实力。利用业界领先的 AI 硬件和软件解决方案，骁龙数字底盘平台推动汽车领域人工智能向前发展。现在，骁龙座舱平台已经具备支持生成式 AI 的能力。
彷佛一晃之间，AI 已经走入普通消费者这个“寻常百姓家”。
然而，这种变化不是一蹴而就的。
终端侧部署的 AI 更了解用户需求
2023 年 2 月 23 日，也就是 ChatGPT 发布后的 3 个月，高通成功在搭载了骁龙芯片的安卓手机上运行了 Stable Diffusion，这是一款风靡全球的从文本生成图片的应用。对于手机用户而言，安装一款应用仅仅是点击几下屏幕，但这背后是相当复杂的配置。Stable Diffusion 模型参数超过 10 亿个，此前只能在云端运行。
还有 ChatGPT，登录网页依然是主流的使用方式。由此我们不禁要问，为何一定要在移动端部署 AI？用更专业的说法，为何要在终端侧部署 AI？这里的终端侧可以指手机、平板电脑、可穿戴设备、智能汽车等等。
首先，把 AI 部署在本地可以更好的获知用户需求。 本地 AI 通过捕获用户的行为数据和位置信息，提供更加个性化的服务。与此同时，终端侧设备的使用方式也经历了转变，不再局限于单一应用的简单操作。以发送短信为例，当我提到参与某个活动并遇到另一个人时，如果之前与这个人拍了照片，AI 将立即给予提示，导航至相册并识别出相关照片，使用户体验更为无缝。这种智能手机与 AI 的协同工作，不仅提升了用户体验，也为移动设备带来了更广泛的功能。生成式 AI 在此背景下发挥作用，协同工作于所有应用之间。
高通现任 CEO 安蒙（Cristiano Amon）曾在一次公开演讲中说，“真正有趣的地方在于让生成式 AI 在智能手机本地运行，而不是云端”。 在 CES2024 上，安蒙再次强调，“生成式 AI 的变革意义在于终端上的信息能够帮助 AI 成为无处不在的个人助手……”
图：高通公司总裁兼 CEO 安蒙 | 来源：高通公司
其次，这关系到用户隐私、安全性和网络通畅性。 请读者来设想一种情景，当你在和一款 AI 机器人沟通一些关于自己的私密问题，聊天记录是备份在本地更安全，还是云端更安全？如果用户是一家企业，这其中涉及到的诸多商业机密，想必不会上传云端。这就是终端侧部署 AI 的好处之一。
另一方面则是网络通畅性，虽然目前 5G 已经快速部署，但相比于 AI 产生的海量数据，网络传输速度似乎并不能满足需求。一架波音 787 每秒钟产生 5GB 数据，全球每时每刻正在飞行民航飞机何止几千架。高通发布的白皮书《混合 AI 是 AI 的未来》指出，相较于传统方式，生成式 AI 的搜索成本增加了 10 倍，全球每天产生超过 100 亿次的搜索查询量。
所以，最优的解决方案是混合式 AI：即在终端侧部署 AI，一部分 AI 计算在终端运行，一部分在云端运行，混合搭配，这会极大的减轻运营压力，降低算力成本和能耗，同时提升了安全性与用户体验。
终端侧 AI 的愿景：万物互联、分布式计算
在媒体一轮又一轮的普及和展望之下，大众对“万物互联”的概念不陌生。然而，由于现实体验和“未来展望”的差距，相当多的用户以为万物互联就是“蓝牙连接”，更先进一些的，是智能家居之间通过同一个 Wi-Fi 网络的数据交互。
然后真正的万物互联并非如此。 笔者认为，万物互联的基础首先是万物智能化，智能化之后的互联才更有意义。而“万物智能化”需要在终端设备上部署 AI，这便是终端侧 AI 的愿景。 当你手中的每一款终端都具备了 AI 能力、强大的算力，会产生一些神奇的应用场景。
比如推动科学进步，乃至造福社会和人类。
我们以 Folding@home 项目（也称 FAH）为例做一下展望。 这是一个分布式计算项目，科学家通过模式计算的方式研究蛋白质动力学，包括蛋白质折叠的过程和蛋白质运动。这个项目的意义在于，其研究成果可以用在一系列难以攻克的疾病上，比如老年痴呆、癌症、亨廷顿病等等。这个处在科学前沿的研究项目需要极大的计算量，或者说，计算速度越快，这项研究就能更早突破。
于是，研究人员想到了一个使用大众“富余算力”的办法，志愿者可以让自己的设备，如电脑参与到科学计算当中。比如，当用户处于夜间睡眠状态时，手机可能正在充电并置于 Wi-Fi 网络下，此时它便可以承担一些科学计算任务，最终这些结果汇总到一起，从而大大加速整个科研进程。目前 FAH 已经是全球最快的计算系统之一，它是全球第一个“亿亿次计算系统”。据称，该项目的模拟结果也与实验非常吻合。
这与十多年前互联网田园时代的 BT（Bit Torrent）下载十分相似，越多人参与，下载（计算）速度越快。
这或许是未来终端侧 AI 的一个重要应用：贡献 AI 能力和算力。在某种程度上，部署了 AI 的终端就是一台微型分布式计算终端。这或许能给用户带来经济上的收益。
这样“出售算力”的平台在全球范围内已经出现。比如 LoadTeam，这是一个利用用户闲置算力和内存“挖矿”的平台，根据用户终端的运行速度和贡献值分成。另一个海外平台叫 Golem， 其愿景描述 就是“出租您的数字资源，包括闲置计算能力”，“您可以成为去中心化网络生态中的一部分”。
虽然一些应用的细节还在展望，并没有实际走进我们日常生活。但这些变化是可预见的。对于终端用户来说，部署 AI 成为了一种赋能，而这种赋能不论是转化为用户体验，或者是保障安全性，还是用这种能力换取金钱，用户都将受益。
首个专为生成式 AI 打造的平台，如何赋能 AI 体验？
生成式 AI 浪潮到来之后，高通加速了其产品对 AI 的支持力度。2023 年 10 月 24 日，第三代骁龙 8 移动平台发布。作为高通技术公司首个专为生成式 AI 打造的平台，第三代骁龙 8 带来了影像、游戏体验和专业品质的全面提升。
图：第三代骁龙 8 移动平台 | 来源：高通公司
ChatGPT 之后，各个手机厂商推出了各自的生成式 AI 应用，这些基于 AI 能力开发的产品，需要一款更先进，更具备 AI 基因的移动平台搭载。第三代骁龙 8 发布后，已经在全球 OEM 厂商和智能手机品牌的终端得到广泛采用，这其中包括大家耳熟能详的小米、荣耀、甚至以往的汽车厂商蔚来等品牌。
比如在近期推出的小米 14 系列手机中，通过引入本地 AI 大模型，让手机具备了一系列强大功能——AI 扩图、AI 写真等。AI 扩图可以对构图比较拘谨的照片进行新增画面生成扩充，而 AI 写真可以让用户和指定的背景合影，即便没有去过。这些都仅仅通过端侧 AI 计算便可实现，无需云端的参与。最新发布的荣耀 Magic6 系列带来的基于魔法大模型的“任意门”功能同样是终端侧 AI 应用的一个典型代表。
我们在上文提到，在年初的 MWC2023 上，高通展示了在第二代骁龙 8 智能手机上运行 Stable Diffusion，10 亿参数模型，能够在仅 15 秒内完成 20 步推理，将文字提示转化为图像。 这样的表现已经十分惊人，而现在，在第三代骁龙 8 上，高通 AI 引擎的核心 Hexagon NPU 进一步升级了全新的微架构，性能再度提升了 98%，能效提升了 40%。
依靠强大的 Hexagon NPU，微切片推理单元，性能有加强的张量/标量/矢量单元，同时所有单元共享 2 倍带宽的大容量共享内存，此前第二代骁龙 8 运行的是 10 亿参数模型，第三代骁龙 8 发布时已经能够运行高达 100 亿参数的生成式 AI 模型，并且以 20 tokens/s 的速度运行大语言模型。
这样的性能提升速度，意味着手机（也包括其它终端）用户很快就能流畅的在手机上体验各项 AI 应用。
高通一直以来给公众的印象就是“手机芯片”，一定程度上已经成为了手机芯片的代名词。除了芯片，高通实际上是 AI 的“原生玩家”。2009 年，谷歌刚开始秘密研发无人驾驶汽车，2010 年，“数据科学家”还是一个新兴职业，而高通在 2007 年就已经投入研发 AI 了。
图：高通的 AI 研发之路丨来源：《混合 AI 是 AI 的未来》白皮书
从 2007 年至今，高通在 AI 领域的一些突破推动了整个行业的进步。 2016 年，一款重磅产品横空出世，高通骁龙神经处理引擎工具包（Snapdragon Neural Processing Engine SDK）正式发布。这一软件开发工具包（SDK）使得原始设备制造商（OEM）能够在骁龙 820 设备上，包括智能手机、安全摄像头、汽车和无人机等各种设备上，运行他们自己的神经网络模型，而无需连接到云端。这意味着下游厂商能够个性化地开发场景检测、文本识别、对象跟踪与规避、手势识别、人脸识别以及自然语言处理等功能。
2022 年 6 月 AI Stack（高通 AI 软件栈）发布，解决了困扰行业多年的重复开发问题。此前，AI 开发人员需要针对同一个功能，不同终端做重复开发，而 AI Stack 的出现真正实现了“一次开发，全平台通用”，把开发人员从重复性劳动中解放了出来，让他们把更多精力投入到创新性活动中。
回看高通在推动 AI 行业发展中取得的成绩，与其说赋能终端侧 AI 是战略，不如说是一种必然，它是目前各个子领域发展至今的最优解。
AI 时代的到来势不可挡，这是人类社会的发展趋势，我们只能拥抱它，而不能逃避 AI。旗舰移动平台第三代骁龙 8 发布后，高通又在 2023 年 11 月推出了第三代骁龙 7，将非旗舰移动平台上的卓越使用体验和 AI 支持带给更广泛的用户群体。由此覆盖了中、高端用户和普惠用户。