小米大模型上线新模式 推理速度突破1000 tokens/s
6月8日晚，小米型上线新小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式，大模在通用GPU上推理速度突破1000 tokens/s。模式
MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的推理突破全链路工程能力优化，在不降低模型能力前提下，速度首次把推理速度提升至1000 tokens/s，小米型上线新且无需定制芯片、大模只使用通用GPU即可达成。模式这一突破打破了“快、推理突破强、速度通用 GPU无法兼得”的小米型上线新行业不可能三角。
小米MiMo技术团队表示，大模该突破是模式基于Xiaomi MiMo-V2.5 Pro的SWA架构，叠加了FP4 Experts、推理突破DFlash解码以及TileRT团队的速度执行系统Co‑design，从模型到推理引擎再到GPU执行路径进行了全链路优化。
即日起至6月23日，MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放，通过申请的用户可接入API 进行体验。
自4月底以来，小米AI在模型能力、推理成本和推理效率三个维度接连取得突破：4月23日， MiMo-V2.5-Pro在全球权威大模型测评平台Artificial Analysis上，获得综合智能指数与Agent指数全球开源模型并列第一；5月27日，Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%，并同步调整Token Plan计费体系。6月8日，MiMo-V2.5-Pro-UltraSpeed以1000 tokens/s创下万亿参数旗舰模型推理速度新纪录。
本文地址：http://pkgmcppm.whitepumpkinseeds.com.cn/html/29d69799273.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。