Meta发布首个非参数化掩码语言模型NPM：那年双手插兜，不知道什么叫做outofvocabulary虽然大型语言模型在NLP领域展现出的强大性能十分惊人，但其带来的负面代价也很严重，比如训练过于昂贵，难以更新等。，而且很难处理长尾知识。并且语言模型通常采用在预测层采用一个包含有限词汇量的softmax层，基本上不会输出少见的单词或短语，极大限制了模型的表达能力。为了解决模型的长尾问题
236 0 2022-12-27 15:09
