新智元报导
修正：修正部
【新智元导读】关于ChatGPT的种种风闻和争议，正主亲身来回应了。
最近，借着ChatGPT的火爆，OpenAI身价大涨，估值一度抵达290亿美元。
在2019年就给OpenAI投了10亿美元的「金主爸爸」微软，
没错，OpenAI现在但是微软手中的「香饽饽」，微软的、、，个个都等着ChatGPT等AI东西的加持。
被微软当作大展宏图利器的OpenAI，现在现已聚焦了全世界的目光。
对此，OpenAI的CEO Sam Altman是怎样看的呢？
时下顶流：ChatGPT
对不住，这个问题我答复不了
大家最关怀的问题，当然是ChatGPT整合进微软必应和Office的问题了。
记者就此发问后，Altman眨了眨眼睛，逃避了直接答复。
他的讲话但是适当有意思——
「你是一个十分有经历的专业记者。你知道我不能对此宣布谈论。我知道你知道我不能对此宣布谈论。你知道我知道你知道[我]不能对此宣布谈论。已然生命很时刻短，咱们的时刻都很名贵，为什么要问这个问题呢？」
精彩地逃避掉了问题焦点，还讲了一套段子精彩回怼，小编只能说，采访的言语艺术，被您拿捏了。
不过在随后的采访中，Altman也标明：尽管估值高达290亿美元，但其实现在OpenAI还未盈余。
的确，考虑到一天现在，这件事并不令人惊奇。
阴阳一下谷歌
ChatGPT诞生之后，由于不苟言笑地胡言乱语，和一切言语模型都无法防止的练习数据「带毒」问题，被很多人所质疑。
忧虑会引起名誉风险，这便是谷歌迟迟未能将自己手中的LaMDA等言语模型商业化的主要原因（至少，谷歌是这么宣称的）。
挑事的主持人当然不会放过这个论题，她直接问Altman：「谷歌对职工解说，之所以没有推出ChatGPT相似产品，是由于GPT技能还不行完美，或许会危害公司名誉，你对此怎样看待呢？」
对此，Altman意味深长地一笑：「我希望等谷歌发布新产品的那一天，他们能记住自己说过的话。我就说这么多。」
细品一下他的表情
没有一句废话，深藏功与名，Altman，真有你的。
那么，对于谷歌的人工智能，Altman是如何点评的呢？
聪明如他，是这么答复的：「关于他们的新闻，我了解得不多，不太好进行点评……嗯，我以为他们是一家有才能的公司，他们有好的产品，但我对此的确一窍不通。」
尽管这么说，但明显，Altman十分了解坊间关于「ChatGPT是谷歌搜索引擎终结者」的言辞。
对此，他是这样谈论的——
「在我看来，每逢有人说『一项技能是某个巨子公司的终结者』时，这种言辞一般都是过错的。或许人们忘了，谷歌也有反击的时机，他们具有十分聪明、有才能的人才。」
「不过，搜索引擎的确会有一个改动，或许会在某个时刻到来。但在短期内，不会有太急剧的改动。我猜，在适当长的时刻内，人们会以现有的方法持续运用谷歌。尽管谷歌发布了赤色代码，但短期内不会有太大改动，我猜。」
教育体系大轰动
上一年12月，ChatGPT大红大紫之际，就有许多学者和研讨人员宣布正告：。最近，
对此，Altman标明：「我了解教育工作者的忧虑。事实上，教育界现在发生的作业，也是其他职业未来改动的序章。」
「短期来说，咱们会帮助教育工作者以及其他职业的从业者，为他们供给区分人工智能生成内容的东西。但从久远来看，人工智能发生的影响终会突变，这是一切人都无法改动的。」
「咱们现在现已身处一个新的世界，从现在开端，咱们要区分哪些文字内容由人工智能生成。但这也未尝不可。核算器的呈现改动了数学的核算方法，但咱们现已习气它的存在，咱们乃至可以在考试时运用核算器。」
「当然，ChatGPT等人工智能所带来的改动将会愈加深远，不过，这种改动带来的优点也会是史无前例的。尽管教师们忧虑学生用ChatGPT做弊，但也有教师标明，ChatGPT是一个很好的私家家教。」
「我自己也在用它学习，体会之后我发现，经过和ChatGPT对话进行学习，趣味性要远超其他教育方法。比起从书本中学习，我更愿意让ChatGPT来教我。」
「这是个不断进化的世界，人是习惯性的动物。面临改动，咱们总能习惯，总能运用环境让自己变得更好。」
ChatGPT爆火的原因
ChatGPT诞生以来，仅用了5天的时刻，用户数就成功达百万，破了纪录。
在Altman看来，DALL·E之所以获得了如此多的关注，是由于它改动了大家对人工智能的认知。
「还在5-7年前，一切人都以为，人工智能的呈现会将人类从体力劳作中解放出来。比方人工智能会替代人们在工厂工作，或替人们驾驭货车，乃至还会做一些要求不高的认知工作。」
「而当人工智能开展到必定阶段，它或许会从事更高等级的认知劳作，比方写代码。而开展到最终一步，人工智能就会把握人类的创造力。」
「而现在来看，人工智能的开展与人们从前的猜测可谓南辕北辙，相去甚远。」
「当然，咱们也了解人们对ChatGPT爆火的疑问。一个公司真实负责任的做法，不是一股脑地将产品推出，让人们不知所措。」
「咱们需要按部就班，让普通用户、渠道组织和政策制定者赶快了解咱们的产品，了解它的优势和矮处。」
「这也是为什么，据咱们的上一代产品GPT-3的推出，现已有两年半的时刻了。人们对于ChatGPT各式各样的反应也能让我反思，相较于GPT-3，哪些修正是不合适的。」
万众瞩目的GPT-4
文中，Romero征引了硅谷工程师Igor Baikov9月时的一条推文标明：
「OpenAI现已在练习GPT-4，并计划于12月-2月间发布。」
依据Romero的猜测，OpenAI将下一代模型的要点更多地放在优化数据处理上，而不是参数巨细上，因而GPT-4的规划很或许与GPT-3相似，并且练习本钱更低。
除此之外，还有传言称，GPT-4的参数量高达100万亿，并且现已先进到「与人类无异」，乃至「经过了图灵测验」。
对于这些风闻，Altman哭笑不得：「过于荒唐，一派胡言，彻底不知从何而来。」
「我知道网友们都想经过各种爆料先睹为快。我有的时候也会把这些『内部贴』当乐子看。但这些帖子传了足足六个月，我总在想『现在人都这么闲了吗？』」
「并且关于GPT-4的流言越传越离谱，似乎他们是成心把等候值拉到不应有的高度，然后等着被咱们打脸似的。比方，一些网友乃至以为GPT-4会是真实的AGI（人工通用智能）。」
「对于这一切，我只能说，他们在会绝望这件事上，是不会绝望的。」
此外，在采访中，主持人也向Altman求证GPT-4发布的具体时刻。Altman标明：我知道你急，但你先别急。
总有一天咱们会发布的，只需咱们确认它满足安全。现在来看，GPT-4的发布会比大家等候的要晚一些。
我了解大家急迫的心境，但当咱们真实发布时，人们必定会觉得，等候是值得的。
简略来说便是：别急，该来的总会来的。
流言始末
事实上，这个流言开端的来源，很或许便是OpenAI自己……
2021年8月，Cerebras的CEO曾在wired的采访中泄漏：「咱们从与OpenAI的攀谈中得知，GPT-4将会有大约100万亿个参数」。
在其时，这很或许便是他们所相信的。但那是2021年，就机器学习研讨而言，这基本上是很久以前的事了。
而这一切的开端，仍是要回到2020年那篇「Scaling Laws For Neural Language Models」论文中。来自OpenAI的研讨团队发现，当添加模型规划超越多个数量级时，练习丢失有可预见的削减：
-
为了优化模型的规划，参数量的扩展应该比数据集更快。切当地说，当模型巨细添加8倍时，数据集只需要添加5倍。
-
在固定的算力下，练习大型模型的时刻要比运用较小的模型并练习更长时刻要好。
论文地址：https://arxiv.org/abs/2001.08361
所以，模型的规划也开端敏捷胀大。比方，GPT-3（175B）、Gopher（280B）、Megatron-Turing NLG（530B）。
但DeepMind宣布于2022年的论文「Training Compute-Optimal Large Language Models」标明，实际上需要将练习集和模型以持平的份额缩放。因而，当模型的巨细翻倍时，练习所需的token数量也应该翻倍。
为了验证这个成果，研讨人员在很多的数据上练习出了Chinchilla——一个700亿参数，在1.4万亿token上练习的「小模型」。尽管它比GPT-3小2.5倍，但却用了简直5倍的数据。
实践证明，Chinchilla不只更好，并且较小的规划使推理更廉价，微调更容易。
论文地址：https://arxiv.org/abs/2203.15556
依据上述分析，也正如Sam Altman所言，GPT-4的规划极大概率会与GPT-3相差不多。
当然，咱们也可以斗胆地猜测一下：
-
GPT-4会在10倍的数据上进行优化练习
-
更大的上下文规划，让GPT-4可以进行更长时刻的猜测
不管具体规划如何，GPT-4都将是一个坚实的前进，但绝不是一个具有100亿参数的相似人脑的AGI。
最终，AGI何时呈现？
AGI（Artificial General Intelligence）也是最近大火的概念。它何时会呈现呢？ 对此，Altman是这样答复的—— 「当咱们越挨近AGI呈现的节点，我就越难答复这个问题。在我看来，AGI的概念将比人们幻想的要含糊得多，一起，它的呈现是一个渐进的进程。」
「如果将AGI的开展看做一条上升的折线，我以为在短期内，折线斜率越低，即AGI的开展越低沉，越有利于其长时间开展，这也是对全社会最安全的一条开展途径。」
「当然，AGI抵达哪个阶段，才可以确定其技能上的成功？关于这点，人们会有巨大的不合。」
参考资料：
https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview
https://smokingrobot.beehiiv.com
https://www.youtube.com/watch?v=ebjkD1Om4uw&feature=youtu.be