诘问AI大模型:7岁OpenAI打败24岁谷歌 做对了什么?具体介绍是什么?

科技 2023-03-19 11:29 阅读:12

与谷歌一同在AI的荒野上求索,OpenAI挑选了人迹更少的一条路,再次印证“挑选有时候比尽力更重要”。

《科创板日报》3月19日讯(修改,宋子乔) 十年寒窗无人问,一朝成名全国知。当坐在旧金山先锋大厦的写字楼中静心写代码的时候,OpenAI首席执行官Sam Altman是否会想到,2023年,自己的面孔将如此频频地出现在各大科技媒体的封面?

人类是多么喜欢类比考虑,如同在互联网2.0年代诘问“为什么是苹果?”相同,新问题来了:为什么是OpenAI?

长时间以来,谷歌一向占有着人工智能范畴的头把交椅,根据这一点,这一问题可被进一步具体化——OpenAI为什么能在和谷歌的比赛中胜出?

解谜第一步,了解你的探究方针。

▌大卫应战歌利亚

ChatGPT的开发商OpenAI一出世便“自带光环”——

2015年12月,美国闻名VC安排Y Combinator的合伙人兼总裁山姆•阿尔特曼(Sam Altman)、Linkedin创始人里德•霍夫曼(Reid Hoffman)在旧金山建立了OpenAI,特斯拉CEO埃隆•马斯克(Elon Musk)、PayPal联合创始人彼得•蒂尔(Peter Thiel)、Stripe的CTO布罗克曼(Greg Brockman)等人一起认捐10亿美元。

彼时的人工智能范畴,17岁的谷歌独领风骚。3个月后,其收编已有一年的DeepMind,以AlphaGo打败人类围棋世界冠军,也为人工智能职业注入了一针强心剂。

而OpenAI神采飞扬,将自己定位为非盈余性安排、许诺将免费分享开发代码,方针很清晰——遏止谷歌在人工智能范畴的独占位置

大卫与歌利亚的对决就此拉开序幕

2019年头,OpenAI宣告从“非盈余”性质过渡到“封顶盈余(capped for profit)”,建立子公司OpenAI LP并“抱上金大腿”——引入了微软的10亿美元出资。阿尔特曼也正是在此时辞去了YC集团(Y Combinator的母公司)总裁职务,全身心投入到OpenAI并担任CEO。

野心有了,但前路荆棘丛生,少年满眼苍茫。

想要成功应战谷歌在人工智能范畴的位置比如不自量力,更遑论谷歌CEO桑德•皮查伊(Sundar Pichai)在2016年5月宣告将公司战略转为“人工智能为先”(AI First)。

阿尔特曼曾在2019年被问及OpenAI要如何完结盈余,他坦言,“老实说,咱们不知道(honest answer is we have no idea)”。

▌挑选大于尽力

与其将ChatGPT背面的大模型GPT视作一个推翻式立异,倒不如说它是站在前人膀子上的集大成者。

GPT的“T”是指Transformer架构,该架构是其技能底座,由谷歌研制而成,现已开源。特斯拉自动驾驶、猜测蛋白质结构的AlphaFold2模型都是在Transformer的基础上构建的。

起点显着低于谷歌,OpenAI要如何翻盘?

阿尔特曼的一句话给出了解谜头绪——“不管做什么创业公司都会很辛苦,不如干票大的。”(Startups are very hard no matter what you do , you may as well go after a big opportunity.)

“a big opportunity”是什么?大模型是也。

2015年之前,人工智能的江湖,小模型遍地走。有科技业内人士分析称,国内涵ChatGPT上落后的原因,是之前把资源更多地放在工业互联网和B端事务,触及的是工业端的小模型,而没有把精力放在面向C端的通用人工智能,导致失去了时刻窗口时机。

当然,一向以来,大模型也是谷歌在内的大公司的研讨方向。但能做到“背注一掷”、“宠爱”GPT道路的,只要OpenAI一家。反观谷歌先后推出了BERT、T5、Switch Transformer、PaLM-E等模型,可谓广撒网。

即使在与谷歌的比赛中长时间落于劣势,OpenAI也没有抛弃将GPT作为仅有道路——

2018年,OpenAI推出了1.17亿参数的GPT-1,谷歌推出了3亿参数的BERT。结果是,发布更早的GPT-1完败晚4个月发布的BERT。在其时的比赛排行榜上,阅览了解范畴被BERT屠榜了。尔后,BERT成为了NLP(自然言语处理)范畴最常用的模型。
OpenAI挑选“硬刚”,尔后几年,在几乎没有改动模型架构的基础上,OpenAI连续推出参数更大的迭代版别GPT-2、GPT-3。

与谷歌一同在AI的荒野上求索,OpenAI挑选了人迹更少的一条路,再次印证“挑选有时候比尽力更重要”

▌被贵人“放养”的义子

10亿美元的启动资金让OpenAI含着金汤匙出世,但奈何其花钱如流水,上千亿规划的大模型光练习费用就要上百万美金。投靠微软后OpenAI一点点不应赋性,前者比如收了一个大手大脚却不争光的义子。

微软挑选了“放养”,用金钱为GPT大模型打造一条护城河。但全国没有免费的午饭,微软并不是为了做慈悲。

阿尔特曼的效果再次表现,他屡次飞去西雅图,为微软CEO萨蒂亚•纳德拉(Satya Nadella)现场展现OpenAI的模型。

经过屡次商洽,两者达成了共同的协作形式:

事务上,微软成了OpenAI的仅有云核算供货商和“首要协作伙伴”,其他公司想运用OpenAI的技能,最好的方法是搭上微软的Azure云核算梯子。
赢利分配上,微软相当于“租了OpenAI”,一旦OpenAI超量盈余,微软能直接“提现”。即微软新一轮出资完结、OpenAI LP第一批出资人回收初始出资后,微软有权取得OpenAI LP 75%赢利;微软回收130亿美元出资、从OpenAI LP取得920亿美元赢利后,它分享赢利的份额从75%降到49%;OpenAI LP发生的赢利到达1500亿美元后,出资方的全部股权转让给OpenAI的非盈余基金。

这笔生意,纳德拉并不吃亏。据商场消息,在2019年到2023年之间,微软又出资了20亿美元。

▌再度假势谷歌完结技能跃迁

在通往大模型的路上,OpenAI用七八年的时刻只磨一剑,此时霜刃未试,只需一阵恰如其分的春风。这阵风起于2022年——最新版别的GPT完结了量变到突变的打破,完结了技能跃迁,对手谷歌起到了关键效果。咱们可以来回忆这个进程:

现在,GPT大模型被称为暴力美学的模范,验证了“模型越大,功能越好”的逻辑。但曾几何时,这一逻辑长时间跑不通。

OpenAI的研讨者最开端以为言语模型的功能与模型尺度的联系可以经过对数线性曲线猜测,即模型尺度呈指数添加时,功能会随之线性添加(见下图)。

在这个阶段,即使最大的 GPT-3,其功能也不能胜过小模型,故NLP的研讨聚集在更小的模型或许高效参数习惯,大模型出路一片暗淡

起色出现在2022年1月。一位谷歌研讨员对模型练习方法做出了一个小小的改动,正是这个立异,彻底改动了大模型的命运。

该研讨员叫Jason Wei,他提出了“思想链”的概念,一种针对模型练习的离散式提示学习方法。简略来说,便是将问题的“思想进程”提示给模型,辅导它取得更好的答案。

标示思想链后,大模型好像增强了了解力,答复问题的准确性大大提高,从而推翻了推翻上述份额规律,颇有种“山穷水尽疑无路 柳暗花明又一村”的感觉。
凭借新的练习方法,当模型尺度足够大、到达必定规划时,会忽然取得小模型不具备的才能,让模型的功能急剧添加、逾越份额曲线(见下图)。

之后的故事,如你所见:ChatGPT甫一上线,上百万用户张狂涌入并在交际媒体上转发对话截图;大洋彼岸的中国,股市里一众板块你方唱罢我上台,而这全部都发生在短短四个月之内。

▌结语

如果非要为OpenAI的成功寻求一个答案,那么你或许得到一句口水话:OpenAI做对挑选并坚持了下去,期间找到“贵人”微软相助守住了这份少年意气,没有抛弃每一个借力向上的时机。

现在,更有很多追随者正奔赴大模型范畴,它们追寻着OpenAI的挑选,可是行百里者半九十,能否坚持下去就要看各自的本事了。