业界动态
“我们从 Reddit 上收集了 800 万个链接”
2024-12-20 19:28

之前只有少部分程序员才能摸到的、门槛高难度更高的 OpenAI 神仙文本生成器 GPT-2,终于有了普通人能使用的 Web 版本!

在这个由加拿大工程师 Adam King 制作的网站上,任何人都能调教简化版的 GPT-2——它能够识别各种各样的输入,从新闻、歌词、诗歌、食谱、代码,甚至到《指环王》和《复仇者联盟》主题,只要给出一个开头,GPT-2 就能完美地接上下茬。

在网站上,我们可以看到目前 GPT-2 掌握的主题似乎有点过于丰富:

而在面对其他类型的输入文本时,GPT-2 同样没有让人失望:

OpenAI 加州实验室工程副总裁 David Luan 在接受 The Verge 采访时表示,有一次,他们命令 GPT-2 以“垃圾回收为什么对世界有害”为题写文章,结果 GPT-2 给出了一篇有理有据令人信服的论文。“尽管这个论点和普世认知相悖,但它还是写出了非常合理的解释”, Luan 说道,“这篇东西完全可以提交给 SAT(美国高考),然后拿高分。”

写作水平优于80%美国高中生的 GPT-2,到底是个什么神仙模型?

为了让 GPT-2 变得足够聪明,工程师喂给了它 800 万个网页链接。这些链接必须精挑细选:要内容丰富多样,要由真人书写编辑,要语言足够精彩。

最终,他们从 Reddit 上选取了 800 万条 Karma 值(相当于论坛里的等级)大于 3 的高赞链接,然后抓取了其中的文本部分,形成了一个 40G 大小的紧凑训练数据集。

在整个无监督训练过程中,工程师没有对 GPT-2 进行任何有针对性的培训。这样一个“放养”的 AI(又叫 Zero-shot 学习法),却在盲测中突破了多项记录,拿下了世界第一。

比起 GPT-2,此前采用机器学习的 AI 都只能算是“狭隘的 AI”,仅能处理特定的任务。

例如 OpenAI 的 DotA 梦之队能战胜人类最强玩家,在《星际争霸》中却连买兵都不会;DeepMind 的AlphaGo 能击败围棋冠军,但它下五子棋的技术可能还不如小学生。但 GPT-2 的表现证明,人类有能力训练出更加泛化的 AI。

但在 OpenAI 前工程师 Ryan Lowe 看来,GPT-2 表现出色的原因主要来源于更大的数据库。GPT-2 的参数数量和训练数据量都是上一代 GPT 的10倍。

与此同时 GPT-2 距离工程师梦想中的万能 AI 仍有一段距离。

在生成文本时,尽管语法和拼写都无懈可击,一些小问题仍然会暴露 GPT-2 的真实身份:例如文本重复,前后矛盾(例如,有时模型会输出“在水下发生火灾”),突然切换话题。

OpenAI 预测,在未来,GPT-2 可以成为写作助手、残障人士对话辅助 AI,同样的模型还能用于语言之间的无监督翻译和建立更准确的语音识别系统。

然而,OpenAI 却暂时不打算公开 GPT-2 的源代码。

“大型通用语言模型可能会产生重大的社会影响,”OpenAI 在文档中写道,“我们将会发布一个小型模型供研究人员进行实验。”

“我们很期待到时候会发生什么,” OpenAI 工程师 Luan 说,“同时也有点儿害怕。”

    以上就是本篇文章【“我们从 Reddit 上收集了 800 万个链接”】的全部内容了,欢迎阅览 ! 文章地址:http://fabua.ksxb.net/news/4581.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 海之东岸资讯移动站 http://fabua.ksxb.net/mobile/ , 查看更多   
最新文章
【tr1.4】泰拉瑞亚最详尽的钓鱼攻略1.4版 金鱼杆不是梦!泰拉瑞亚手机合成表「【tr1.4】泰拉瑞亚最详尽的钓鱼攻略1.4版 金鱼杆不是梦!」
(前排提醒 本文内容来自泰拉瑞亚wiki 如有错误 欢迎指出)hello大家好,我是赛奇好久不见,不知道多久没写专栏了 之前一直说的
『轻小说分享』带着智慧型手机闯荡异世界智慧型手机「『轻小说分享』带着智慧型手机闯荡异世界」
『轻小说』带着智慧型手机闯荡异世界 第二季动画来袭!剧情简介       手拿智慧型手机,在异世界展开的温馨冒险故事!  因
各大媒体优劣对比_手机屏幕防忽悠指南:LCD与OLED屏幕优劣势分析手机媒体「各大媒体优劣对比_手机屏幕防忽悠指南:LCD与OLED屏幕优劣势分析」
“买手机当然要买带OLED屏幕的手机,显示清楚、颜色好看。LCD屏幕早已是淘汰技术,没必要买。”如果你常去线下门店
B&O铂傲旗舰头戴降噪耳机Beoplay H100开售,全新模块化设计模块化手机「B&O铂傲旗舰头戴降噪耳机Beoplay H100开售,全新模块化设计」
9月3日,我爱音频网获悉,来自丹麦的世界知名视听品牌BO铂傲,其全新旗舰款头戴式耳机Beoplay H100正式上市。BO铂傲Beoplay H100
Scratch for Windowsscratch手机版下载「Scratch for Windows」
MIT Scratch is a free application designed to help kids learn basic concepts of programming using visual tools. Designed
模块化手机!HMD推出配件可随心定制的手机模块手机「模块化手机!HMD推出配件可随心定制的手机」
朋友们,你是否曾想过拥有一部完全按照自己需求定制的手机?一部可以随意更换配件,适应各种使用场景的设备?今天,我要和你分享
促消费!开封有大动作!
一、延期“开封有礼 惠享全城”消费券促消费活动开封市于2025年3月份在全市范围内围绕零售、餐饮领域共投放了144000张消费券,为
洪璟:“山中腊梅”曹诚英
1902年,农历正月二十六,年刚刚过完,古徽州绩溪县(今属安徽宣城)一个叫作旺川的小村落,年的喜庆还未完全散净,村中富贾曹耆