感谢IT之家网友刺客的线索投递！一觉醒来，超越Transformer和Mamba的新架构诞生了？斯坦福、UCSD、UC伯克利和Meta的研究人员提出了一种全新架构，用机器学习模型取代RNN的隐藏状态。论文地址：https://arxiv.org/abs/2407.04620这个模型通过对输入token进行梯度下降来压缩上下文，这种方法被称为“测试时间训练层（Test-Time-Trainingla
102 0 2024-07-09 14:48
