[微软研究团队提出 LLM 加速器 LLMA]金色财经报道,微软的一组研究人员提出 LLM 加速器 LLMA。据悉。这种带有参考文献的推理解码技术可以在许多现实世界的环境中,通过利用 LLM 的输出和参考文献之间的重叠来加快 LLM 的推理速度。LLMA 的运作方式是从参考文献中选择一个文本跨度,将其标记复制到 LLM 解码器中,然后根据输出的标记概率进行有效的并行检查。
郑重声明: 微软研究团队提出 LLM 加速器 LLMA版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。