首先，基于高通AI模型增效工具包AIMET，对训练后的Stable Diffusion模型进行量化何三勇最新大盘分析。AIMET中包含一些高通之前的量化钻研算法如AdaRound等，能将模型精度从FP32压缩到INT8，降低功耗的同时确保模型运作效果；

接下来，团队基于高通的AI引擎Direct框架，对这一模型进行软硬件协同优化，让它能更好地运作在AI计算专用的Hexagon处理器上，提升性能的同时最小化内存溢出；

最终，高通也运用了最新公布的第二代骁龙8移动平台，支持一项名叫微切片推理（Micro Inferencing）的技术，能通过在时间轴上对网络层进行切分，从而让处理器始终处于高效运转情况，提升效率。

不止是Stable Diffusion，其他生成式AI算法同样如此何三勇最新大盘分析。

高通还展示了相比其他GPU和CPU，Hexagon处理器在移动端跑人脸生成算法的效率：

至于搭载Hexagon处理器的第二代骁龙8移动平台，跑超分辨率（RDN）、背景虚化（DeeplabV3+）、人脸识别（FaceNet）和自然语言处理（MobileBERT）等算法上，性能同样高出同行3~4倍：

而这也正是高通一直强调的“端侧AI算力”性能何三勇最新大盘分析。

据高通介绍，在这波生成式AI浪潮下，相比单纯借助云端算力处理AI模型，端侧的计算能力也同样能被加以利用。

端侧算力加快生成式AI落地

随着这波大模型爆火，云端计算已经成为不少人受关心的技术何三勇最新大盘分析。

然而，作为AI技术最直接的落地领域之一，同样能提供算力的移动端，是否同样会对这波生成式AI浪潮造成影响？

对此，高通技术公司产品治理高级副总裁兼AI负责人Ziad Asghar分享了他的看法。

Ziad Asghar认为，让大模型这类生成式AI纯粹在云端运作，存有几个问题何三勇最新大盘分析。

一方面，像网络搜查这样的算法，生成式AI的查询效果虽然比传统方法更好，但单次查询成本也会更高。

随着用户数量的不断增加，仅仅依靠云端算力，可能无法支持愈来愈多的生成式AI应用同时运作：

另一方面，虽然云端计算能力更大，但不少AI模型应用到端侧时，在推理时还会面对处理用户数据等涉及隐私安全方面的问题何三勇最新大盘分析。

就拿个人搜查来说，要想使用AI算法更智能地搜查手机上的数据、同时又不上传到云端处理，那么模型最终就得部署到端侧，而非将用户数据“联网”上传。

因此，要想让生成式AI规模化落地，移动端也要从计算方式和应用途径上作出对应的预备。

而这还是高通提出混合AI概念的原因，将一些AI模型放到终端侧进行处理何三勇最新大盘分析。

Ziad Asghar还表达，随着移动端AI处理能力的不断提升，将来几个月内，人们就能看到100亿参数的大模型在移动端运作：

到那个时候，或许手机上的AI助手就真能做到“专人定制”了何三勇最新大盘分析。

参考链接：[1]https://mp.weixin.qq.com/s/Llqc6Elz1xY1ukN77EJFxw[2]https://www.youtube.com/shorts/Dd8bfblL9H0[3]https://www.youtube.com/watch?v=-pnHnlgcPfM[4]https://www.youtube.com/watch?v=VJ_MBN2DavM[5]https://mp.weixin.qq.com/s/J1RFNa0F1wpOvgqUxKc51w

— 完 —