微软为研究人员推出强大的人工智能小语言模型

微软发布了名为 Phi-2 的最新紧凑型“小语言模型”，该模型的性能继续与某些参数少于 130 亿个较大的开源 Llama 2 模型相当或更好。

在过去的几个月里，微软研究院的机器学习基础团队发布了一套名为“Phi”的小语言模型(SLM)，它们在各种基准测试中取得了出色的性能。

第一个模型，13 亿个参数 Phi-1 在现有 SLM 中的 Python 编码方面实现了最先进的性能(特别是在 HumanEval 和 MBPP 基准测试上)。

该公司表示：“我们现在发布 Phi-2，这是一个 27 亿参数的语言模型，它展示了出色的推理和语言理解能力，展示了参数少于 130 亿的基础语言模型中最先进的性能。”更新。

Phi-2 是研究人员的理想游乐场，包括探索机械可解释性、安全性改进或对各种任务的微调实验。

微软表示：“我们已在 Azure AI Studio 模型目录中提供 Phi-2，以促进语言模型的研究和开发。”

语言模型的规模大幅增加到数千亿个参数，释放了许多新兴功能，重新定义了自然语言处理的格局。

然而，仍然存在一个问题：是否可以使用训练策略选择(例如数据选择)在较小规模上实现这种新兴能力。

微软表示：“我们对 Phi 模型的研究旨在通过训练 SLM 来回答这个问题，这些 SLM 的性能可与更大规模的模型相媲美(但距离前沿模型还很远)。”

该公司还对研究界常用的提示进行了广泛的测试。

这家科技巨头表示：“我们观察到的行为与我们给出的基准结果的预期一致。”

标 签：

免责声明：本文由用户上传，如有侵权请联系删除！