您的位置 首页 科技创新

GPT-4参数过100万亿?OpenAI CEO驳斥谣言:知道你急,但你先别急!,究竟发生了什么事情?

新智元报导

修正:修正部

【新智元导读】关于ChatGPT的种种风闻和争议,正主亲身来回应了。

最近,借着ChatGPT的火爆,OpenAI身价大涨,估值一度抵达290亿美元。

在2019年就给OpenAI投了10亿美‍元的「金主爸爸」微软,

没错,OpenAI现在但是微软手中的「香饽饽」,微软的、、,个个都等着ChatGPT等AI东西的加持。

被微软当作大展宏图利器的OpenAI,现在现已聚焦了全世界的目光。

对此,OpenAI的CEO Sam Altman是怎样看的呢?

时下顶流:ChatGPT

对不住,这个问题我答复不了

大家最关怀的问题,当然是ChatGPT整合进微软必应和Office的问题了。

记者就此发问后,Altman眨了眨眼睛,逃避了直接答复。

他的讲话但是适当有意思——

「你是一个十分有经历的专业记者。你知道我不能对此宣布谈论。我知道你知道我不能对此宣布谈论。你知道我知道你知道[我]不能对此宣布谈论。已然生命很时刻短,咱们的时刻都很名贵,为什么要问这个问题呢?」

‍精彩地逃避掉了问题焦点,还讲了一套段子精彩回怼,小编只能说,采访的言语艺术,被您拿捏了。

不过在随后的采访中,Altman也标明:尽管估值高达290亿美元,但其实现在OpenAI还未盈余。

的确,考虑到一天现在,这件事并不令人惊奇。

阴阳一下谷歌

ChatGPT诞生之后,由于不苟言笑地胡言乱语,和一切言语模型都无法防止的练习数据「带毒」问题,被很多人所质疑。

忧虑会引起名誉风险,这便是谷歌迟迟未能将自己手中的LaMDA等言语模型商业化的主要原因(至少,谷歌是这么宣称的)。

挑事的主持人当然不会放过这个论题,她直接问Altman:「谷歌对职工解说,之所以没有推出ChatGPT相似产品,是由于GPT技能还不行完美,或许会危害公司名誉,你对此怎样看待呢?」

对此,Altman意味深长地一笑:「我希望等谷歌发布新产品的那一天,他们能记住自己说过的话。我就说这么多。」

细品一下他的表情

没有一句废话,深藏功与名,Altman,真有你的。

那么,对于谷歌的人工智能,Altman是如何点评的呢?

聪明如他,是这么答复的:「关于他们的新闻,我了解得不多,不太好进行点评……嗯,我以为他们是一家有才能的公司,他们有好的产品,但我对此的确一窍不通。」

尽管这么说,但明显,Altman十分了解坊间关于「ChatGPT是谷歌搜索引擎终结者」的言辞。

对此,他是这样谈论的——

「在我看来,每逢有人说『一项技能是某个巨子公司的终结者』时,这种言辞一般都是过错的。或许人们忘了,谷歌也有反击的时机,他们具有十分聪明、有才能的人才。」

「不过,搜索引擎的确会有一个改动,或许会在某个时刻到来。但在短期内,不会有太急剧的改动。我猜,在适当长的时刻内,人们会以现有的方法持续运用谷歌。尽管谷歌发布了赤色代码,但短期内不会有太大改动,我猜。」

教育体系大轰动

上一年12月,ChatGPT大红大紫之际,就有许多学者和研讨人员宣布正告:。最近,

对此,Altman标明:「我了解教育工作者的忧虑。事实上,教育界现在发生的作业,也是其他职业未来改动的序章。」

「短期来说,咱们会帮助教育工作者以及其他职业的从业者,为他们供给区分人工智能生成内容的东西。但从久远来看,人工智能发生的影响终会突变,这是一切人都无法改动的。」

「咱们现在现已身处一个新的世界,从现在开端,咱们要区分哪些文字内容由人工智能生成。但这也未尝不可。核算器的呈现改动了数学的核算方法,但咱们现已习气它的存在,咱们乃至可以在考试时运用核算器。」

「当然,ChatGPT等人工智能所带来的改动将会愈加深远,不过,这种改动带来的优点也会是史无前例的。尽管教师们忧虑学生用ChatGPT做弊,但也有教师标明,ChatGPT是一个很好的私家家教。」

「我自己也在用它学习,体会之后我发现,经过和ChatGPT对话进行学习,趣味性要远超其他教育方法。比起从书本中学习,我更愿意让ChatGPT来教我。」

「这是个不断进化的世界,人是习惯性的动物。面临改动,咱们总能习惯,总能运用环境让自己变得更好。」

ChatGPT爆火的原因

ChatGPT诞生以来,仅用了5天的时刻,用户数就成功达百万,破了纪录。

在Altman看来,DALL·E之所以获得了如此多的关注,是由于它改动了大家对人工智能的认知。

「还在5-7年前,一切人都以为,人工智能的呈现会将人类从体力劳作中解放出来。比方人工智能会替代人们在工厂工作,或替人们驾驭货车,乃至还会做一些要求不高的认知工作。」

「而当人工智能开展到必定阶段,它或许会从事更高等级的认知劳作,比方写代码。而开展到最终一步,人工智能就会把握人类的创造力。」

「而现在来看,人工智能的开展与人们从前的猜测可谓南辕北辙,相去甚远。」

「当然,咱们也了解人们对ChatGPT爆火的疑问。一个公司真实负责任的做法,不是一股脑地将产品推出,让人们不知所措。」

「咱们需要按部就班,让普通用户、渠道组织和政策制定者赶快了解咱们的产品,了解它的优势和矮处。」

「这也是为什么,据咱们的上一代产品GPT-3的推出,现已有两年半的时刻了。人们对于ChatGPT各式各样的反应也能让我反思,相较于GPT-3,哪些修正是不合适的。」

万众瞩目的GPT-4

文中,Romero征引了硅谷工程师Igor Baikov9月时的一条推文标明:

「OpenAI现已在练习GPT-4,并计划于12月-2月间发布。」

依据Romero的猜测,OpenAI将下一代模型的要点更多地放在优化数据处理上,而不是参数巨细上,因而GPT-4的规划很或许与GPT-3相似,并且练习本钱更低。

除此之外,还有传言称,GPT-4的参数量高达100万亿,并且现已先进到「与人类无异」,乃至「经过了图灵测验」。

对于这些风闻,Altman哭笑不得:「过于荒唐,一派胡言,彻底不知从何而来。」

「我知道网友们都想经过各种爆料先睹为快。我有的时候也会把这些『内部贴』当乐子看。但这些帖子传了足足六个月,我总在想『现在人都这么闲了吗?』」

「并且关于GPT-4的流言越传越离谱,似乎他们是成心把等候值拉到不应有的高度,然后等着被咱们打脸似的。比方,一些网友乃至以为GPT-4会是真实的AGI(人工通用智能)。」

「对于这一切,我只能说,他们在会绝望这件事上,是不会绝望的。」

此外,在采访中,主持人也向Altman求证GPT-4发布的具体时刻。Altman标明:我知道你急,但你先别急。

总有一天咱们会发布的,只需咱们确认它满足安全。现在来看,GPT-4的发布会比大家等候的要晚一些。

我了解大家急迫的心境,但当咱们真实发布时,人们必定会觉得,等候是值得的。

简略来说便是:别急,该来的总会来的。

流言始末

事实上,这个流言开端的来源,很或许便是OpenAI自己……

2021年8月,Cerebras的CEO曾在wired的采访中泄漏:「咱们从与OpenAI的攀谈中得知,GPT-4将会有大约100万亿个参数」。

在其时,这很或许便是他们所相信的。但那是2021年,就机器学习研讨而言,这基本上是很久以前的事了。

而这一切的开端,仍是要回到2020年那篇「Scaling Laws For Neural Language Models」论文中。来自OpenAI的研讨团队发现,当添加模型规划超越多个数量级时,练习丢失有可预见的削减:

  • 为了优化模型的规划,参数量的扩展应该比数据集更快。切当地说,当模型巨细添加8倍时,数据集只需要添加5倍。

  • 在固定的算力下,练习大型模型的时刻要比运用较小的模型并练习更长时刻要好。

论文地址:https://arxiv.org/abs/2001.08361

所以,模型的规划也开端敏捷胀大。比方,GPT-3(175B)、Gopher(280B)、Megatron-Turing NLG(530B)。

但DeepMind宣布于2022年的论文「Training Compute-Optimal Large Language Models」标明,实际上需要将练习集和模型以持平的份额缩放。因而,当模型的巨细翻倍时,练习所需的token数量也应该翻倍。

为了验证这个成果,研讨人员在很多的数据上练习出了Chinchilla——一个700亿参数,在1.4万亿token上练习的「小模型」。尽管它比GPT-3小2.5倍,但却用了简直5倍的数据。

实践证明,Chinchilla不只更好,并且较小的规划使推理更廉价,微调更容易。

论文地址:https://arxiv.org/abs/2203.15556

依据上述分析,也正如Sam Altman所言,GPT-4的规划极大概率会与GPT-3相差不多。

当然,咱们也可以斗胆地猜测一下:

  • GPT-4会在10倍的数据上进行优化练习

  • 更大的上下文规划,让GPT-4可以进行更长时刻的猜测

不管具体规划如何,GPT-4都将是一个坚实的前进,但绝不是一个具有100亿参数的相似人脑的AGI。

最终,AGI何时呈现?

AGI(Artificial General Intelligence)也是最近大火的概念。它何时会呈现呢? 对此,Altman是这样答复的—— 「当咱们越挨近AGI呈现的节点,我就越难答复这个问题。在我看来,AGI的概念将比人们幻想的要含糊得多,一起,它的呈现是一个渐进的进程。」

「如果将AGI的开展看做一条上升的折线,我以为在短期内,折线斜率越低,即AGI的开展越低沉,越有利于其长时间开展,这也是对全社会最安全的一条开展途径。」

「当然,AGI抵达哪个阶段,才可以确定其技能上的成功?关于这点,人们会有巨大的不合。」

参考资料:

https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview

https://smokingrobot.beehiiv.com

https://www.youtube.com/watch?v=ebjkD1Om4uw&feature=youtu.be

没有账号? 忘记密码?

社交账号快速登录