Mistral 于 10 月 15 日发布 Timestral,推出了一系列用于预测随时间变化的数据的模型。
四个版本涵盖 500 万至 2.09 亿参数。其预期输入包括传感器读数、能源需求和商业活动——在这些场景中,有用的输出是带有不确定性的数值预测。
学习信号之间的关系
Timestral 支持多变量预测,使相关测量值可以一起建模。它还可以纳入过去可获得或预测期之前已知的额外信息。
以工厂的电力需求为例。历史用电量提供了起点,而计划中的生产班次调整则提供了关于明天将发生何种变化的信息。将这一排程作为输入,有助于区分预期中的增长与意外偏差。
这说明了预测任务;并非已报告的部署结果。
该模型为每个预测步骤生成 21 个分位数。这些分位数描述了预测分布中的不同位置,为用户提供比单一中心估计更多的信息。
更小的模型,务实的部署选择
Mistral 报告称在 GIFT-Eval、TIME 和 fev-bench 上取得了强劲结果,比较重点是在未进行任务特定训练的情况下评估的预训练模型。
官方代码库提供在 CPU 或 GPU 上的独立推理,并支持最多 32,768 个时间步的上下文。这些是序列中的观测值,而不是语言模型 token;其日历覆盖范围取决于数据记录的频率。
因此,在模型规模之间做选择,既可能反映运营需求,也可能反映准确性。跨多个数据流的频繁预测可能对延迟的重视程度不同于偶尔进行的规划工作。
预测只是决策的一部分
Mistral 还介绍了通过 Forge 进行适配。推理代码采用 Apache 2.0 许可证,而模型权重采用单独的 Modified MIT 许可证。
AIYXL 视角:预测通过其所支持的行动而变得有用。高估需求可能造成库存过剩;低估需求则可能造成产能不足。评估应反映这些不对等的成本,与现有方法进行比较,并检查预测的不确定性是否与观察到的结果相符。
对 Timestral 而言,下一个问题是其通用预测能力在转移到不完整、随时间变化或行为与公开基准不同的数据时表现如何。