【天极网条记本频道】继《夹杂AI是AI的将来》白皮书之后，高通近日再度公布了一部无关AI的白皮书——《经过NPU以及异构较量争论开启终端侧天生式AI》。前者具体论述了高通关于将来AI倒退的猜度——终端侧AI以及夹杂AI开启天生式AI的将来，并展现了高通正在推进夹杂AI规模化方面的劣势;后者则为咱们进一步关上了视野——高通迅速地判别天生式AI改革曾经到来，研发专为天生式AI定制的较量争论架构是必定。基于异构较量争论理念，高通Hexagon NPU与高通AI引擎的代价愈加浮现。

  此前，高通正在仲春举办的巴塞罗那世界挪动通讯年夜会(MWC)上公布了公司AI畛域的最新停顿。包罗但没有限于全新高通AI Hub、AI前沿钻研打破和AI赋能的商用终端展现。从MWC 2024全新AI白皮书的公布咱们没有好看出，身处行业下游的高通不只仅正在为开发者赋能，同时也正在推进手艺落地、向上游浸透，而且改革由骁龙以及高通平台支持的宽泛终端品类上的用户体验。

  咱们为何需求NPU以及异构较量争论

  天生式AI进入端侧曾经是年夜势所趋，而咱们起首需求明白的一点是，天生式AI多样化的较量争论需要需求没有同的解决器来餍足。正在端侧的详细应用场景中，CPU以及GPU城市累赘一局部AI运算。此中CPU次要应答程序管制以及立地性运算，实用于需求低时延的使用场景;GPU善于面向高精度格局的并行数据流解决，比方对画质要求十分高的图象和视频解决;而NPU则更善于与AI运算间接联系关系的标量、向量以及张量数学运算，可用于外围AI工作负载。正所谓“业余的人做业余的事”，没有同的AI运算运转正在适宜的芯片上时能力够最年夜化效率。优秀的NPU设计可以为解决这些AI工作负载做出正确的设计抉择，这与AI行业标的目的放弃高度分歧。

  当下，要餍足天生式AI的多样化要乞降较量争论需要，整合没有同的解决器的算力是必定。高通的NPU并不是是自力存正在的，而是与CPU、GPU独特形成了异构较量争论体系。高通AI引擎包罗高通Hexagon NPU，它是高通AI引擎中的要害解决器，经过定制设计NPU和管制指令集架构(ISA)，高通可以疾速进行设计演进以及扩大，处理瓶颈成绩并优化功能。

  别的，高通AI引擎还包罗高通Adreno GPU、高通 Kryo或高通 Oryon CPU、高通传感器中枢以及内存子零碎。这些解决器为完成协同工作而设计，可以正在终端侧疾速且高效地运转AI使用。正在四年夜外围模块的通力合作下，高通异构较量争论可以完成最好使用功能、能效以及电池续航，完成天生式AI终端功能的最年夜化。

  劣势显著 高通NPU以质取胜

  从2007年起，高通就开端正在NPU方面进行研发测验考试并继续投入。2015年，骁龙820集成为了首个高通AI引擎;2018年，高通正在骁龙855中为Hexagon NPU添加了Hexagon张量减速器。2020年，高通对Hexagon NPU进行了架构改革交融，AI减速器架构为高通将来的NPU架构打下了松软的根底。2023年，第三代骁龙8的微切片推理进一步晋级，正在升高内存带宽占用;Hexagon 张量减速器添加了自力的电源传输轨道，年夜同享内存的带宽也添加了一倍。基于以上晋升以及INT4硬件减速，Hexagon NPU成了面向终端侧天生式AI年夜模子推理的抢先解决器。

  今朝，Hexagon NPU能够完成正在终端侧运转高达100亿参数的模子，正在首个token的天生速率以及每一秒天生token速度方面业界抢先。MWC 2024时期，高通展现了正在第三代骁龙8挪动平台上运转的首个年夜言语以及视觉助理年夜模子(LLaVA)，可以基于图象输出解答用户的相干成绩。

  除了了手机端，高通正在AI PC方面的树立一样注目。高通正在去年末公布了专为AI PC打造的骁龙X Elite平台，它能支持正在终端侧运转超越130亿参数的天生式AI模子，AI解决速率是竞品的4.5倍。基于骁龙X Elite，高通也展现了寰球首个正在终端侧运转的超越70亿参数的年夜型多模态言语模子(LMM)，可承受文本以及音频输出(如音乐、交通环境音频等)，并基于音频内容天生多轮对话。该模子通过优化，可以完成超卓的功能以及能效，并齐全正在终端侧运转，充沛施展骁龙X Elite的弱小才能。

  从业余手艺的角度来看，咱们能够经过TOPS、也就是Tera Operations Per Second进行算力示意，1TOPS代表解决器每一秒钟可进行一万亿次(1012)操作。然而详细到实际应用的场景中，NPU功能比拟“难以感知”，AI功能也是一个比拟没有太好量化的数据，生产者很难对没有同设施的AI功能进行等同前提下的测试。

  咱们如今可以见到的对AI算力进行量化的软件以鲁巨匠AIMark以及AITuTu测试为代表。起首来看第三代骁龙8以及三款Android和iOS平台竞品的比照。正在安兔兔AITuTu基准测试中，第三代骁龙8可以达到竞品B的6.3倍。而正在鲁巨匠AIMark V4.3基准测试中，第三代骁龙8可以抢先竞品6-8倍。正在MLCo妹妹on MLPerf推理的没有同子项中，例如图象分类、言语了解和超等分辩率等名目中，第三代骁龙8都放弃抢先。

  正在PC端AI功能方面，骁龙X Elite与其余X86架构竞品一样劣势显著，正在面向Windows的UL Procyon AI推理基准测试中，骁龙X Elite正在ResNet-50、DeeplabV3等测试中都放弃着年夜幅抢先，基准测试总分相较于X86架构竞品最年夜抢先可达8.6倍。能够说，无论是正在手机端仍是PC端，骁龙平台正在AI方面都具有突出的抢先劣势。正在被称作“AI PC”元年的2024年，搭载骁龙X Elite的产物值患上等待。

  开发者获益 高通打造业余对象库

  “工欲善其事，必先利其器。”身处行业下游的高通十分分明，AI行业的倒退离没有了开发者的支持。开发者是行业生态的根基，假如不针对开发者的相干对象使用，想要激起开发者的创作兴味、疾速欠缺行业生态只是幻想。

  全新的高通AI Hub恰是高通为开发者预备的“利器”。刚刚于MWC 2024上推出的高通AI Hub蕴含预优化AI模子库，支持正在搭载骁龙以及高通平台的终端上进行无缝部署。

  该模子库为开发者提供了超越75个支流的AI以及天生式AI模子，比方Whisper、ControlNet、Stable Diffusion以及Baichuan-7B，可正在没有同执行环境(runtime)中打包，正在没有同形状终端中完成超卓的终端侧AI功能、升高内存占用并晋升能效。高通针对一切模子进行了优化，使它们能够充沛行使高通AI引擎内一切外围(NPU、CPU以及GPU)的硬件减速才能，年夜幅晋升推理速率。

  值患上一提的是AI模子库可以主动解决从源框架到支流执行环境的模子转换，间接与高通AI引擎Direct SDK协同工作，而且使用硬件感知优化。开发者可将这些模子无缝集成进使用顺序，延宕产物上市工夫，施展终端侧AI部署的立地性、牢靠性、隐衷、共性化以及老本劣势。

  此前高通也曾经推出了高通AI软件栈(AI Stack)。从智能手机到PC、物联网终端、汽车，这一软件栈横跨高通一切没有同产物线，关于开发者来讲，只要开发一次就能将使用规模化扩大到没有同类型的终端。高通AI软件栈不只支持支流AI框架(如TensorFlow、PyTorch、ONNX以及Keras)以及runtime(如TensorFlow Lite、TensorFlow Lite Micro、ExecuTorch以及 ONNXruntime)，还集成为了面向Android、Linux以及Windows没有同零碎的用于推理的高通神经网络解决SDK。别的，关于采纳没有同操作零碎的跨平台产物，高通AI软件栈也都进行了支持，乃至连部署以及监控的根底设备也不落下。

  写正在最初

  终端侧AI是年夜势所趋。很不言而喻的是，终端侧AI正在老本以及能效方面具有突出劣势。天生式AI使用的扩大下，AI模子的规模也会愈来愈年夜，用户规模一样会一直添加，云端解决的老本成绩会限度天生式AI的倒退，而用户正在终端侧猎取这些模子简直没有需求用度。正在可继续性方面，年夜规模用户拜访云端模子将孕育发生年夜量的能耗。运转GPU、散热所耗费的动力将是地理数字。而正在终端侧运转年夜模子的能效劣势就很显著了，高通的Hexagon NPU和异构较量争论体系可以支持正在终端侧以最高效的形式运转AI模子，让生产者正在端侧感触到AI带来的便当。

  AI生态的构建并不是朝夕所能成。经过多年规划，高通从底层到生态一砖一瓦构建了异构较量争论架构，它不只带来了Hexagon NPU，为智能手机、PC等泛滥平台推出了第三代骁龙八、骁龙X Elite等顶尖算力支持，同时为开发者设计了包罗高通AI软件栈(Qualco妹妹 AI Stack)以及AI Hub正在内的泛滥开发套件以及对象库，助力开发者的同时也是正在减速生态欠缺，终极使最宽广生产者获益。

  现阶段，尽管AI终端市场的倒退还处正在初期阶段，但高通曾经经过AI为没有同产物息争决计划带来了明显的改良，AI抵消费者的首要性也正在一直添加，将来无论教育、医学仍是养老等各个畛域，AI的作用将愈发凸显。高通必将将持续欠缺AI较量争论架构，推出更弱小的较量争论平台，而且减速端侧天生式AI浸透并改革寰球用户工作生存的形式，让一切人都能享用到天生式AI带来的便当。