微软开源1bit大模型推理框架！现在1000亿参数大模型量化后单CPU可跑，速度可达每秒5-7个token。比如在苹果M2新品上运行BitNetb1.583B模型，belike：就是今年爆火论文TheEraof1-bitLLMs的官方代码实现，开源不到一周GitHub已揽获7.9kStar。传统大模型参数以16位浮点数（如FP16或BF16）形式的存储，而BitNetb1.58将其统统变成了三进制
23 0 2024-10-22 18:57
