谁说大象不能起舞！最近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程在大语言模型上的应用，提出了一个全新的视角：高效重编程大语言模型进行通用时序预测。他们的 Time-LLM 框架让大语言模型在处理跨模态的时间序列数据时展现出色，就像大象起舞一般！
近期，受到大语言模型在通用智能领域的启发，「大模型 + 时序 / 时空数据」这个新方向迸发出了许多相关进展。当前的 LLMs 有潜力彻底改变时序 / 时空数据挖掘方式，从而促进城市、能源、交通、遥感等典型复杂系统的决策高效制定，并朝着更普遍的时序 / 时空分析智能形式迈进。
大模型，例如语言和其他相关的基础模型，既可以训练，也可以巧妙地重新调整其用途，以处理一系列通用任务和专用领域应用中的时间序列和时空数据。最近的研究将大型语言模型从处理自然语言拓展到时间序列和时空任务领域，催生了许多相关进展，例如 LLMTime 直接利用 LLMs 进行零样本时序预测推理。尽管 LLMs 具备强大的学习和表示能力，能够有效地捕捉文本序列数据中的复杂模式和长期依赖关系，但作为专注于处理自然语言的「黑匣子」，LLMs 在时间序列与时空任务中的应用仍面临挑战。相较于传统的时间序列模型如 TimesNet，TimeMixer 等，LLMs 以其庞大的参数和规模可与「大象」相提并论。
如何「驯服」这种在自然语言领域训练的 LLMs，使其能够处理跨越文本模态的数值型序列数据，在时间序列和时空任务中发挥出强大的推理预测能力，已成为当前研究的关键焦点。为此，需要进行更深入的理论分析，以探索语言和时序数据之间潜在的模式相似性，并有效地将其运用于特定的时间序列和时空任务。
在这项工作中，作者提出了 Time-LLM，它是一个通用的大语言模型重编程框架，将 LLM 轻松用于一般时间序列预测，而无需对大语言模型本身做任何训练。Time-LLM 首先使用文本原型对输入的时序数据进行重编程，通过使用自然语言表征来表示时序数据的语义信息，进而对齐两种不同的数据模态，使大语言模型无需任何修改即可理解另一个数据模态背后的信息。为了进一步增强 LLM 对输入时序数据和对应任务的理解，作者提出了提示做前缀的范式，通过在时序数据表征前添加额外的上下文提示与任务指令，充分激活 LLM 在时序任务上的处理能力。在这项工作中，作者在主流的时序基准数据集上进行了充分的实验，结果表明 Time-LLM 能够在绝大多数情况下超越传统的时序模型，并在少样本与零样本学习任务上获得了大幅提升。
这项工作的主要贡献包括提出了通过重编程大型语言模型用于时序分析的全新概念，无需对主干语言模型做任何修改；提出了一个通用语言模型重编程框架 Time-LLM，为多模态时序基础模型的发展提供了坚实的基础；以及在主流预测任务中的表现始终超过现有最好的模型性能，尤其在少样本和零样本场景中展现出非凡的预测效果。
通过这项工作，我们期望让大型语言模型如同灵活起舞的大象，在更广阔的应用场景中展现其强大的能力。如果你对这个领域感兴趣，不妨阅读论文或访问项目页面了解更多内容。