-
全球首次:时序大模型突破十亿参数,华人团队 Time-MoE 预训练数据达 3000 亿个时间点
Time-MoE采用了创新的混合专家架构,能以较低的计算成本实现高精度预测。研发团队还发布了Time-300B数据集,为时序分析提供了丰富的训练资源,为各行各业的时间序列预测任务带来了新的解决方案。在当今以数据为驱动的时代,时序预测已成为众多领域不可或缺的核心组成。然而,构建一个兼具强大性能与高效运算的大规模时序预测模型始终是一个巨大的挑战。此外,高质量的大型公共时间序列数据库的匮乏进一步加剧了这74 0 2024-10-23 22:54
-
OpenCity 大模型预测交通路况:零样本下表现出色,来自港大百度
长时间交通状况预测,可以用大模型实现了。香港大学联合华南理工大学和百度,推出了长时间城市交通预测模型——OpenCity。而且泛化能力极强,可有效应用于广泛的交通预测场景。为了解决传统交通预测模型泛化性及长期预测能力不足的问题,研究团队新的基础模型OpenCity。OpenCity结合了Transformer架构和图神经网络,用以模拟交通数据中复杂的时空依赖关系。通过在大规模、异质性交通数据集上进121 0 2024-08-31 12:45
-
全面超越 Transformer:清华蚂蚁推出纯 MLP 架构,长短程时序预测大幅提升
Transformer很强,Transformer很好,但Transformer在处理时序数据时存在一定的局限性。如计算复杂度高、对长序列数据处理不够高效等问题。而在数据驱动的时代,时序预测成为许多领域中不可或缺的一部分。于是乎,蚂蚁同清华联合推出一种纯MLP架构的模型TimeMixer,在时序预测上的性能和效能两方面全面超越了Transformer模型。他们结合对时序趋势周期特性的分解以及多尺度136 0 2024-06-11 23:18
-
OpenAI 前员工预测 2027 年 AGI 降临:GPT 智商飙升,4 年从幼儿园蹿到高中生
最近,OpenAI的一位前员工发表了一篇165页的超长博文,对AI发展的未来做出了一系列预测。文章的核心观点可以概括成一句话:人类很可能在2027年实现AGI。AGI到底是科技公司画的大饼,还是可预测的未来?几天前,Anthropic一名25岁的高管在博客上发文,表示自己已经准备好了3年后退休,让AI取代自己的工作。最近,OpenAI前员工的一篇博客文章也有类似的观点。他不仅认为AGI很可能实现,153 0 2024-06-05 23:42
-
MIT 等首次深度研究「集成 LLM」预测能力:可媲美人类群体准确率
针对31个问题,基于12个各式各样LLM,两项研究结果表明,LLM群体优于单纯的无信息基线模型,并且在统计上与人类群体没有差异。在实践中,人类预测的准确性依赖于「群体智慧」(wisdomofthecrowd)效应,即通过聚集一群个体预测者,对未来事件的预测准确率会显著提高。过去关于大型语言模型(LLMs)预测能力的工作表明,即便是最强大的LLM也仍然比不过人类的群体智慧。最近,来自伦敦政治经济学院173 0 2024-04-12 23:46
-
GPT-4V 都搞不明白的未来推理有解法了!来自华科大 & 上科大
多模态大语言模型展现了强大的图像理解和推理能力。但要让它们基于当前观测来对未来事件进行预测推理仍然非常困难。即便是当前最强大的GPT-4V(如下图所示),也无法很好地解决这一问题。△GPT-4V的错误案例现在,华科大和上科大团队提出了一个赋予多模态大语言模型前瞻性思维的学习范式,并基于这一范式构建了多模态大语言模型Merlin(梅林)。Merlin(梅林)是亚瑟王传说中的一个传奇人物,以其强大的魔168 0 2023-12-18 00:22
-
计算机视觉 GPT 时刻:UC 伯克利三巨头祭出首个纯 CV 大模型,推理惊现 AGI 火花
UC伯克利的CV三巨头推出首个无自然语言的纯视觉大模型,第一次证明纯CV模型也是可扩展的。更令人震惊的是,LVM竟然也能做对图形推理题,AGI火花再次出现了?计算机视觉的GPT时刻,来了!最近,来自UC伯克利的计算机视觉「三巨头」联手推出了第一个无自然语言的纯视觉大模型(LargeVisionModels),并且第一次证明了纯视觉模型本身也是可扩展的(scalability)。除此之外,研究人员还189 0 2023-12-04 16:11
-
英特尔用 ViT 做密集预测效果超越卷积:性能提高 28%,在线可玩
用全卷积网络做密集预测 (denseprediction),优点很多。但现在,你可以试试VisionTransformer了——英特尔最近用它搞了一个密集预测模型,结果是相比全卷积,该模型在单目深度估计应用任务上,性能提高了28%。其中,它的结果更具细粒度和全局一致性。在语义分割任务上,该模型更是在ADE20K数据集上以49.02%的mIoU创造了新的SOTA。这次,Transforme464 0 2021-10-04 14:30