3倍生成速度还降内存成本,超越Medusa2的高效解码框架终于来了
机器之心报道编辑:亚鹂高效解码n-token序列,CLLMs+Jacobi解码框架。传统上,大型语言模型被认为是顺序解码器,逐个解码每个token。来自上海交通大学、加...
机器之心报道编辑:亚鹂高效解码n-token序列,CLLMs+Jacobi解码框架。传统上,大型语言模型被认为是顺序解码器,逐个解码每个token。来自上海交通大学、加...
NEXAAI团队在今年四月份初推出备受瞩目的OctopusV2,该模型在函数调用性能上超越了GPT-4,减少了95%的推理时所需的文本量,为端侧AI应用带来了新的可能性。Oct...
明敏发自凹非寺量子位|公众号QbitAI最新国产开源MoE大模型DeepSeek-V2一经发布,立马引发不小讨论。性能超越一众开源模型,和GPT-4-Turbo、文心4....
最近,Meta开源了Llama3系列模型,引发了开源社区的热议。同时,有人唱衰国产大模型,认为Llama3的开源将给国产大模型带来新的突破。但是,真的是这样吗?根据智东西的报道...
过去几年来,视频理解技术一直是计算机视觉研究的热点之一。从循环神经网络到Transformer模型,每一次技术的进步都为我们对视频数据的理解和应用带来了新的可能性。然而,随着视频数...
前几天,世超在冲浪的时候,偶然发现了一些令人惊叹的AI视频片段。这些片段中,大船驶来的压迫感、被风吹起的发丝和丝巾,以及太空人直接走进现实菜园的场景,让他目瞪口呆。这些画面的真实度...
数学应用题求解一直是小型语言模型(SLM)面临的挑战之一。以往的研究表明,要在GSM8K基准测试中实现80%以上的准确度,需要一个庞大的模型,拥有340亿个参数。为了在较小的模型...
近日,MicrosoftResearch的研究人员提出了一种名为LongRoPE的新方法,成功将LLM的上下文窗口扩展至200万个token,仅需简单微调即可实现与短上下文窗口相...
大模型在许多任务上表现出色,但更新知识成本高。为了解决这一问题,科学家们提出了RA-ISF方法,通过迭代自反馈检索增强,让大模型能够更好地学习和理解新知识。这一方法包括自我知识、文...
在视频生成领域,OpenAISora模型被誉为视频生成的GPT时刻,具有代际碾压的能力。Sora的核心负责人由三位才华横溢的年轻研究者组成,他们分别是TimBrooks、Wil...