11月7日，第九届进博会现场，高通公司AI产品技术中国区负责人万卫星围绕终端侧AI的最新进展作了分享。他认为，经过3至4年的发展，终端侧AI正迎来一个重要的变化节点：从解决一个个具体任务的单点应用，走向更杂的智能体体验。

高通公司AI产品技术中国区负责人万卫星

万卫星介绍，终端侧AI并非从大模型起步，影像是较早落地的领域之一，如今已拓展到问答、图像生成、文本处理、语音转录、实时翻译等多模态应用。但目前多数应用，如语音识别、文本摘要、图片处理，仍偏向单点功能。若要让终端完成意图理解、任务编排、实时操作目标App等系统级任务，就需要更强的端侧模型能力。

在他看来，端侧并非要取代云端。高通强调“计算连续体”和“端侧优先”：云端承接需要更强智能和算力的任务，端侧则发挥实时、稳定、隐私和个性化优势，并减少对网络的依赖。他打了个比方，云端像“通用知识库”，端侧则掌握更多属于用户个人的“专业化知识”，可结合用户身份、位置、行为和环境预判需求，这正是“主动式AI服务”的基础。

那么，如何让端侧模型更聪明？万卫星认为，目前主流做法通常只能在端侧运行20亿至30亿参数规模的模型，足以胜任单点任务，但应对复杂的规划类任务时，完成度和准确度仍有提升空间。MoE（混合专家模型）提供了新思路：它将参数划分为多个“专家”模块，执行任务时只调用其中一部分，例如20个专家中调用2至3个，从而减少单次推理实际运行的参数量。

他用厨师作比：Dense模型像一位厨师包揽所有菜系，MoE则像多位擅长不同菜系的厨师，点什么菜就由谁掌勺。在手机、PC等内存和功耗受限的设备上，这为部署更高智能水平的模型打开了空间。

这一思路也体现在高通此次的进博会展示中。万卫星称，MoE模型体量较大，端侧运行需要提前预测所需专家模块，并快速从存储中调用。该演示由高通与Infris AI、江波龙、阶跃星辰共同完成：阶跃星辰提升模型智能，Infris AI负责专家模块的预测与预取，江波龙优化从UFS到内存的加载效率，高通则围绕芯片平台和软件栈优化路由与缓存预测。他强调，这展示的不只是一个模型，而是模型、推理、存储和芯片平台的系统性优化。

万卫星表示，终端侧AI的比拼已不止于单个模型或单颗芯片，生态协作愈发关键：模型厂商提供智能，终端厂商掌握用户入口，开发者解决应用长尾，高通则提供能力底座。他预计，随着技术成熟，现场展示的意图理解、任务编排等能力，有望走向手机、汽车、PC、眼镜等更多终端。（心月）