微软被曝正研究用LASER提高大型语言模型的准确性

在1月份的微软研究论坛上，微软纽约研究实验室和AI Frontiers的高级研究员Dipendra Misra解释了层选择性降级（或 LASER）如何使大型语言模型更加准确。 

LASER是一种新颖的技术，它可以在不损失模型性能的情况下，减少大型语言模型（LLM）的内存和计算需求。LLM是一种人工智能（AI）系统，它可以理解和生成自然语言。LLM 通常由数百亿个参数组成，这些参数是根据大量文本数据进行训练的。然而，这些参数也导致了 LLM 的高昂成本和低效率，因为它们需要大量的存储空间和计算能力。

通过激光，研究人员可以“干预”并用一个近似较小的权重矩阵替换一个权重矩阵。权重是模型建立的上下文连接。重量越重，模型对其的依赖程度就越大。那么，用更多相关性和上下文替换某些内容是否会降低模型的准确性？令人惊讶的是，根据他们的测试结果，答案是否定的。 

“我们正在使用LASER对LLM进行干预，因此人们会预计，随着我们进行更多近似，模型损失应该会上升，这意味着模型将表现不佳，对吧，因为我们正在丢弃来自 LLM 的信息，它经过大量数据的训练，”米斯拉说。 “但令我们惊讶的是，我们发现，如果执行正确类型的激光干预，模型损失不会上升，实际上会下降。” 

Misra表示，他的团队在三种不同的开源模型上成功使用了LASER：RoBERTa、Llama 2 和Eleuther的GPT-J。他说，有时模型改进会提高 20 到 30 个百分点。例如，在激光干预后，GPT-J基于传记的性别预测的准确率从70.9%提高到97.5%。

据铋读网了解，AI模型会犯很多事实错误，因此LLM的准确性仍然是一个问题，而且这不仅仅是担心出现幻觉，幻觉更少是关于做错事情，更多是关于编造事情。幻觉和不准确的人工智能模型可能很有趣，但它们也可能造成相当大的伤害。

这项研究表明了 LASER技术在提高LLM的可用性和可靠性方面的潜力。通过减少LLM的复杂度和开销，LASER可以使更多的人和组织能够利用LLM的强大功能，并促进AI的民主化和普及。