手机版
你好,游客 登录 注册
背景:
阅读新闻

OpenAI发布GPT-2无监督语言模型更新

[日期:2019-11-08] 来源:Linux公社  作者:醉落红尘 [字体: ]

总部位于加利福尼亚州旧金山的OpenAI周二发布了GPT-2 (1.5B),这是其流行的大规模无监督语言模型版本的“最终模型”版本。

根据OpenAI的说法,其GPT项目“生成连贯的文本段落,在许多语言建模基准上均具有最先进的性能,并执行基本的阅读理解,机器翻译,问题回答和总结-所有这些都无需特定任务的培训”。

OpenAI发布GPT-2无监督语言模型更新

该新GPT 2由非营利组织培训,旨在“仅预测40GB Internet文本中的下一个单词”。但是,有一些警告:

“由于我们担心该技术的恶意应用,我们没有发布经过训练的模型。作为负责任公开的实验,我们而是发布了一个小得多的模型供研究人员进行实验。

GPT-2语言具有15亿个参数,并在由800万个网页组成的数据集中进行了训练。据OpenAI称,由于它涵盖的文本范围和类型广泛,因此它具有一些有趣的功能,包括能够在没有特定于任务的训练数据的情况下执行问题解答和阅读理解的能力,并生成“前所未有的质量”的条件文本样本。

“该模型类似于变色龙-它适应条件文本的样式和内容,” PureAI对该项目写道。 “这允许用户生成有关他们选择的主题的现实且连贯的延续。”

GPT-2的1.5B最终模型版本是星期二发布的最大版本,并且提供代码和模型权重“以方便检测GPT-2模型的输出”。

可以在此处找到详细介绍该发行版的论文。

可以在此处找到有关使用代码的独立教程。

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-11/161318.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款