微软推出有史以来最大规模的人工智能自然语言模型

微软透露了其最大的深度学习语言模型，即图灵自然语言生成(T-NLG)，据称它具有破纪录的170亿个参数。

根据微软的说法，T-NLG的表现优于迄今为止最大的深度学习模型：华盛顿大学的Grover-Mega和Nvidia的MegatronLM，其参数分别为1.5和83亿。

根据Microsoft的说法，T-NLG能够完成未完成的句子，并生成问题的直接答案，并可以创建输入其中的文档摘要。

微软还声称该模型能够直接用完整的句子回答问题。

微软的应用科学家科比·罗塞特(Corby Rosset)解释说：“此功能在网络搜索之外更为重要-例如，当用户询问有关其个人数据的问题(例如电子邮件或Word文档)时，它可以使AI助手智能地做出响应。”

他还感谢DeepSpeed库和ZeRO优化器产生了“突破”，如果没有这些突破，“这项工作将是不可能的”。

“图灵自然语言生成(T-NLG)是Microsoft提供的170亿参数语言模型，在许多下游NLP任务上均胜过最新技术。我们向学者们展示了该模型的演示，包括其自由格式生成，问题回答和摘要功能，以供反馈和研究之用。” T-NLG说。