作者： 方闻千|
发布时间：Mon, 17 Feb 2025 00:00:00 GMT
山西证券计算机行业快报：UltraMem架构为推理降本，AI应用全面落地可期
摘要
2月12日，字节豆包大模型团队发布了全新的稀疏模型架构UltraMem，该架构有效解决了当前主流MoE架构在推理时的高额访存问题，推理速度提升2-6倍，推理成本最高可降低83%。这一技术进步将加速AI应用的全面落地，并推动应用从云端向端侧场景拓展。
正文
UltraMem架构的技术突破
UltraMem在**PKM（ProductKeyMemory）**架构的基础上，对模型结构、value检索方式、稀疏参数进行了优化，从而在保证模型性能的同时大幅提升推理效率。具体优化措施包括：
- 优化模型结构：将PKM的单个内存层拆分成多个内存层，均匀嵌入Transformer层中，使模型能够并行执行访存和Transformer层计算操作。
- 优化value检索方式：在推理时以TDQKR的乘法方法替代简单的行列加权方法，选出得分最高的多个value，使模型能够精准检索到与输入相关的value。
- 隐式扩展稀疏参数：引入数倍于physical memory的virtual memory，在不提高模型部署复杂度的情况下提升模型性能。
根据实验结果，训练规模达2000万value的UltraMem模型，在同等计算资源下可同时实现业界领先的推理速度和模型性能。
推理成本降低，加速AI应用生态繁荣
根据Semianalysis数据，随着算法持续进步，截至2024年底，以GPT-3质量的输出为标准，模型推理价格下降了1200倍。进入2025年，在推理技术优化下，DeepSeek模型的使用成本不到o1模型的1/25，而字节最新发布的UltraMem架构将使主流稀疏模型的推理成本大幅下降。
我们认为，模型调用价格是用户选择模型运行应用的重要考量因素。各大模型厂商及科技大厂将持续竞相推动推理成本下降，从而带动上层AI应用的加速落地，并有望促进应用从云端场景向端侧场景拓展。
投资建议
UltraMem架构的模型推理成本大幅下降，将加速AI应用落地，并推动应用向端侧渗透，进而刺激推理算力需求。建议重点关注以下领域：
- AI应用相关标的：包括企业服务领域的金蝶国际、泛微网络、致远互联，用友网络等，办公领域的金山办公、福昕软件等，多模态领域的万兴科技、美图公司等，金融领域的新致软件、同花顺等，教育领域的科大讯飞、佳发教育等，医疗领域的润达医疗、卫宁健康等，以及其他领域的彩讯股份、金桥信息、焦点科技等。
- 国产算力芯片厂商：包括海光信息、寒武纪等。
- AI服务器厂商：包括四川长虹、神州数码、拓维信息、浪潮信息、中科曙光、华勤技术等。
- 算力云厂商：包括青云科技、优刻得、并行科技等。
- 端侧硬件厂商：包括美格智能、移远通信、广和通、乐鑫科技、中科蓝讯、恒玄科技等。
风险提示
- AI产品落地不及预期
- 行业竞争加剧风险
- 技术研发进展不及预期
通过UltraMem架构的技术突破，AI应用的全面落地可期，未来将迎来更多创新和商业机会
。
延伸阅读
研报PDF原文链接