近年来，人工智能发展迅速，尤其是像ChatGPT这样的基础大模型，在对话、上下文理解和代码生成等方面表现出色，能够为多种任务提供解决方案。但在特定领域任务上，由于专业数据的缺乏和可能的计算错误，它们的表现并不理想。同时，虽然已有一些专门针对特定任务的AI模型和系统表现良好，但它们往往不易与基础大模型集成。为了解决这些重要问题，TaskMatrix.AI破茧而出、应运而生，这是由微软（Microso
-
-
Transformer 后继有模！MSRA 提出全新大模型基础架构：推理速度 8 倍提升，内存占用减少 70%
微软大模型新架构，正式向Transformer发起挑战！论文标题明晃晃地写道：RetentiveNetwork（RetNet）：大模型领域Transformer的继任者。论文提出新的Retention机制来代替Attention。来自微软亚研院和清华的研究人员，毫不讳言“野心”，大胆放话：RetNet实现了良好的扩展结果、并行训练、低成本部署和高效推理。这些特性使这一基础架构，成为大语言模型中Tr233 0 2023-07-18 13:57
