归纳报导
16min read
独家丨李志飞将在大模型范畴创业，做中国的 OpenAI
凌梓郡2023/02/16
摘要
ChatGPT 的爆火点着了 AI 大模型年代，李志飞告知极客公园，自己将全力投入其间。
ChatGPT 爆火后，新的共同正在逐步构成：言语大模型将成为下一个科技年代的超级加速器。中国也需要自己的 AI 大模型。而有才干做这件事的人选并不多，李志飞是其间之一。
作为科技创业圈最资深的天然言语科学家之一，李志飞身世美国约翰霍普金斯大学言语与语音处理实验室，博士期间一向研讨机器翻译和天然言语处理。脱离大学后，李志飞参加谷歌 AI 团队，主导开发了包含谷歌手机版离线翻译等一系列产品。2012 年，他挑选回国，在语音交互范畴创业，创建出门问问。
ChatGPT 火起来之后，他一个月两次前往硅谷，和来自 Open AI、谷歌、DeepMind 等各家的工程师和科学家交流取经。「AI 大模型的元年」来了，这是他最直观的感触。一番调研之后，他了解这场大模型之战，参赛选手不止巨子，也不会是只需一两个幸存者的「生存游戏」。
言语模型、人机交互，革新发生在李志飞学习、研讨、工作了十几年的范畴。他告知极客公园，现已下定决计投身其间，做一个中国的言语大模型。
「我一向想做一个我能做，我喜欢做，一同也有深远价值的作业。」他表明，早在 2020 年 GPT-3 刚发布时，他就提出 GPT-3 是「暴力美学」的成功，看到了通往 AGI 的或许性，并最早着手开发 GPT-3 中文版 UCLAI。
近来，李志飞和极客公园进行了一场近两个小时的交流，分享了自己对大模型、ChatGPT 的观点，以及自己接下来在这个范畴创业的思路。
以下是对话实录，由极客公园整理。
01
「这便是 AI
大模型年代的敞开」
极客公园：怎样了解这场 ChatGPT 带来的张狂浪潮？新在什么当地？为什么大家现在这么振奋？
李志飞 ：ChatGPT 始于一个根据核算的言语模型，经过千亿级参数的练习，让它具有了各种才干，可以快速学会各种使命。这次普通老百姓都体会到，ChatGPT 在言语表达、答复知识性的问题、多轮对话的上下文逻辑等方面的体现，带来的体会超出全部人的希望。它可以编程、做算术题、写诗，乃至某种程度上比真人做得都要好。
极客公园：除了震动的体会自身，在创业者或许本钱看来，是怎样把它当作一个革新性的商业机会的？
李志飞 ：我春节第二天就再次跑到美国去，初衷便是想了解有没有人清楚这是怎样搞出来的，为什么大模型这么凶猛。
我跟 Google、OpenAI、DeepMind、Meta、Amazon 的人聊，即便技能大牛都还不清楚 ChatGPT 如何具有这种才干。可是大家可以看到许多现象。榜首，用户太张狂了；第二，美国太张狂了，在美国闻名孵化器 Y Combinator，或许有三分之一以上的项目都是根据大模型做的运用。
全部人都以为，这是 AI 大模型年代的敞开，就像 2010 年移动互联网年代相同。不到硅谷，切身感触到 AIGC 的炽热，我不会下定此刻是「AI 大模型年代」这必定论。我每天七八个会从早提到晚，嗓子都是哑的，都是评论这个东西。让你觉得这便是一个年代的初步。
图片来源：DeepMind
极客公园：对这个时刻节点，许多人将其比作移动互联网的 iPhone 时刻。大家现已想清楚这是一场怎样的革新了吗？
李志飞：为什么说现在 AI 大模型出来，大家像 2010 或 2011 年的时候看移动互联网相同？我 2010 年在硅谷，当年全部人都觉得移动互联网是一个大事，但全部人也都觉得商业模式不明晰，由于屏幕太小，广告做不了，而且网络信号也欠好。可是其时大家看到几个东西，比方屏幕体会现已很好了，3G 通讯也能用了，在路上发邮件查饭馆虽慢一些，可是 GPS 很准。
我对现在也有这种感觉，直觉这是一个大作业。美国创投在 2022 年 10 月现已觉醒了，其时我在美国，有一位红杉的出资者跟我说，李志飞，你的年代到了。我说为啥？他说你知道吗？在美国，红杉全部的办理合伙人只评论 AIGC，其他项目都不看了。
极客公园：今天，出资 AIGC 仍是许多 VC 的亮点，但最近大家对于底层 AI 大模型的热心也涨起来了。这是什么原因？
李志飞：现在许多人把 AIGC、ChatGPT、AI 大模型搅在一起。要先理清楚这三个是不同的概念。最底层是 AI 通用大模型，上面可以做 AIGC，比方说 Midjourney 可以画画，Jasper 可以写案牍等；也可以根据底层模型做对话机器人，比方根据ChatGPT。在美国，除了 OpenAI 和巨子，还有其他三、四家创业公司也都在做 AI 通用大模型，都有大几亿美金的投入。
可是在中国，你忽然发现，要进入 AI 大模型年代，底子就没有一个底子的、能玩得好的 AI 大模型，怎样做运用？如果现在是移动互联网的初步，安卓、 iOS 是不是超级重要？可是今天中国缺少大模型年代的安卓、 iOS，所以底子无法开发运用。即便中美彻底疏通，以今天中国科技的兴旺程度，以及本钱的力气，AI 大模型必定也是一个有必要的根底设施。
极客公园：AI 大模型便是 AI 年代的操作体系级其他存在？
李志飞：我不太想把它比作操作体系，也不想把现在当作 iPhone 时刻或许网景时刻。由于我觉得全部这些比方，都会让咱们过错地去判别这个作业。如果把它比作操作体系，按前史看咱们会觉得中国必定没戏；如果把现在当作网景时刻或 iPhone 时刻，那创业者应该挑选去做一个网站或移动 APP，但现在中国缺的反而的是一个大模型年代的浏览器或 iPhone。
其他从形状来讲，无论是浏览器，仍是硬件，仍是安卓 iOS，都是一个离线的东西，或许是一个静态的东西。
AI 大模型是一个跟数据、事务高度交融，需要动态迭代开展的一个存在，它是个 service，下面不停在变，和运用深度的交融。它远远比当年静态的事物要愈加有多样性，有更多或许性。
极客公园：更挨近一个新年代的云。
李志飞 ：我觉得比方成智能云 OS 更好一点，这是一种整合的活动的 Service。但凡离线的、硬件的、实体的来类比，AI 大模型都会被带偏。任何对它前史形状的简略归纳，都有或许捆绑对于它的正确了解。
02
「它或许让整个
价值链都从头刻画」
极客公园：已然不能做界说，怎样了解现在 AI 大模型展示出的超强才干和幻想空间？
李志飞：在我看来，它是一个「通用的认知引擎」。首要它有超强的言语才干，在学习言语的进程中，也学习了许多知识和逻辑。有了这些底子才干后，就能快速具有做各种使命的才干。
比方说只需要给它少数的数据，就可以做翻译。原本它只懂中文，但如果你给了一万个中英互译的比方，它就可以很快做好翻译。就像打通任督二脉相同，它很快就可以自己把才干勾结。
所以这个认知大模型的才干会带来许多或许性。比方拿现在的大模型加一些蛋白质结构的数据，它展示出来的猜测结构的才干，很或许就比不是根据言语大模型的其它模型作用要好得多。
极客公园：为什么通用大模型会有这么强壮的潜力？
李志飞：模型学会了十分底层的结构和机制。万物都是天然发生的，言语也好，生物结构也好，它必定契合某种咱们现在难以解说的规则。模型经过互联网上全部的数据练习之后，它也取得了某种归于自己的解读方法。
极客公园：这种才干是经过学习言语取得的吗？
李志飞：言语是底层的打破，现在通用性体现在，这个体系可以经过言语模型，做各式各样的使命。曾经的言语模型只能做某一个具体使命。比方有一个练习好的预练习模型，有潜力做许多使命，可是一旦进行 Fine Tuning (微调）之后，就只能做一个使命了。微调让它处理使命的准确率更高，但却是以损失多使命才干为价值的。
现在的通用大模型，即便进行了微调后，仍旧可以做多个使命。预练习的中心是让它有根底的认知和逻辑才干，经过微调引导，让它可以在各项使命上处理得更好，知道怎样运用已有的知识。
极客公园：就像让一个人上完大学之后，取得了根底才干，然后可以从事不同的岗位，做不同的作业。而不是在幼儿园的时候，就开端练习它拧螺丝。
李志飞：这个比方很对。曾经做某个独自使命，比方机器翻译，就像一上来就教它拧螺丝。当然这也需要必定的言语逻辑和知识才干。可是如果榜首天只教了拧螺丝，比起先让它读大学，然后再教它拧螺丝，或许后者拧得更好。榜首是学得快速高效，比方之前或许要教 5 年，现在只需教 5 天就行了。第二，不光可以拧螺丝，还可以教它写论文，做教授。只需用很少数的比方，就可以让它快速学习。
极客公园：这样通用大模型的呈现，对于 AGI（通用人工智能）意味着什么？
李志飞：本年可以说是 AI 通用大模型的元年。对于 AGI 来说，我以为是明晰有光，越来越迫临，也或许永久都不能抵达。今天人类的智能或许也没有被发掘充沛。AGI 的天花板或许是人类团体智能的一个调集。如果你把全世界每一个人具有的才干，以及特异的东西都聚合在一起，当作一个笼统统一体，这就通向团体智能。
如果这样假定，现在是这个阶段的起点。
极客公园：如果说现在咱们可以看到根据 AI 带来的全新生产力。它会给实际带来怎样的影响？
李志飞：现在 ChatGPT 或 AIGC，还存在于虚拟世界，帮助人类提高功率，比方自动化一些进程、做一些重复的工作，或许给一些脑暴 idea。未来三五年，都是人的得力助手。
图片来源：DeepMind
咱们为什么觉得它凶猛，后边的运用或许远超互联网，由于这是一个「通用的认知模型」。一旦把这个方法论、根底放到不同范畴，或许会重塑许多东西。
我觉得它或许真的会让整个价值链都从头刻画。比方对于程序员，今后可以用天然言语交流，供给数据，模型直接写程序。这或许就会导致核算范式发生巨大的改动，操作体系、分布式核算、乃至芯片自身的大部分工作，都会从程序驱动变成数据驱动。这种改动发生今后，今天还有生意的一部分企业，或许再过 10 年就没生意了。
03
「AI 通用大模型
是一个核武器，
它是有时刻窗口的」
极客公园：2020 年 GPT-3 出来的时候，大家挺震慑的，国内也热过一波。在那个改变发生的时候，大家没有去把它继续不断地做好，是由于什么？
李志飞：笼统地说，榜首，没有对于 AGI 的崇奉；第二，就算你有崇奉，像我这种现已发生的崇奉，而且其时也练习了 GPT-3 中文版 UCLAI，但仍是不行坚决；第三，到履行层面，也没有满足的钱；第四，没有一个有实在用户的线上大模型，就没有产品和数据闭环。GPT-3 从 2020 年现已在线上跑了，拿到数据，然后每个星期从头优化迭代。
GPT-3 中文版 UCLAI | 图片来源：出门问问
极客公园：在国内，功能性、专用的 AI 很早就在各个场景里运用了，可是大家更多去考虑运用场景，而没有对大模型的革新力有更多的幻想。
李志飞：对，方才仅仅讲了一些笼统的东西。整个土壤不相同，土壤孕育的人也不相同。人和钱都很重要。比方美国，有一批财政自在的人，总是要干一些跟他人不相同、超级不确认的东西。乃至有时候十分偏执。OpenAI 前三年在毫无营收的条件下，每年烧 5 亿美金。
咱们对不确认性的东西，天然比较惊骇，但跟 10 年前比好太多了。10 年前中国是什么情况，其时我回国做中文版 Siri，做一个语音 APP，大家都觉得如神一般。如果我今天仅仅把 API（Application Programming Interface 运用程序编程接口）包装一下，做一个 ChatGPT，大家就会觉得山寨。由于大家现已开端认识到，需要 10 亿美金砸里面做大模型。
极客公园：如果说今天就像哥伦布现已发现新大陆，在中国咱们要去复现归于自己的 AI 大模型，是怎样的难度？
李志飞：首要，咱们知道新大陆必定有金子；第二，咱们大约知道道路是什么姿态，但没有特别精准的地图。咱们知道 LLM 可以完成，也大约知道它的原理是什么姿态，可是做的进程中，必定有无量的风波，有许多决议需要去做，才干够抵达对岸。
现在商场上流传着中美之间的距离是两年，或许不到两年。我觉得，如果现在有满足多的钱、算力、人，咱们今天开端搞一个中文 ChatGPT，可以做到和它功能差不多或许差一点，这便是咱们培育的一个大学生。人家的大学生现在现已 80 分了，咱们培育的是 60 几分，只需尽力，后边升到 80 分也越来越快了。
极客公园：比较而言，现在中国做 AI 大模型，有什么优势，有什么下风？
李志飞：先说矮处，对于大规划的 AI 大模型，咱们的人才是十分少的，由于中国没有怎样练习出过好的大模型。曩昔咱们的模型参数或许也许多，但不是通用的，语音辨认、TTS、人脸辨认都独自做一套，所以方法论也有点不相同。仍是以大学生比方，现在中国练习的大模型或许只需 40 分，没到 60 分。只需先做出一个 60 分的大模型，有了自学才干，才干靠勤勉尽力升到 80 分。
一同咱们也有优势，比方在数据层面，可以标示海量的数据，可以做精修；第二，如果方向很明晰，中国是很拿手「暴力美学」的。
极客公园：对于 AI 大模型，现在全部人都说不清楚商业模式、终究产品形状是什么样。在这种不明晰的状态下，在中国，做一个小一点的东西，直接通向某个方针，是不是更适宜？
李志飞：我觉得，最一流、最前沿的出资者，这一时刻大约率会挑选最大的东西，由于笔直范畴的东西底子就不用着急。大家都知道通用 AI 大模型是一个核武器，它是有时刻窗口的。人才壁垒、时刻壁垒、数据壁垒、资金壁垒一旦树立起来，小的团队就没有戏了。
现在，美国做通用 AI 大模型的融资窗口就现已关了，除了 OpenAI 以外，好几家都有大几亿美金。除非有超级牛的人进来，不然不会再有 VC 再进去。
极客公园：如果未来中国也呈现了一个相似 OpenAI 的大模型，以及笔直范畴的细分模型，未来的工业形状会是怎样？
李志飞：必定不会是一个大模型。在美国，或许 Amazon 会有一个，不管是自己做，仍是收买，微柔和 OpenAI 会有一个，Google 会有一个，创业公司还会有一两个。它是一个通用认知模型，后边还有各式各样的商业模式，比方在金融范畴做一个运用的模型。可是条件是你有了一个 60 分的大学生，才干经过勤勉尽力学会搞金融。
我觉得大模型的数量不会像曾经互联网操作体系那样就两个，那是一个静态的东西。由于咱们现在幻想不出来通用大模型究竟还能做出什么，在其他运用范畴是不是能重塑各式各样的形状。比方制造业，或许也要有一个，但条件是要有通用大模型的才干。
04
「现在要分秒必争
拿到参赛门票」
极客公园：现在环境在改变，有决计的人也在呈现，比方王慧文。满足殷实，敢冒风险的人有了，出资人也呈现了。有了这些条件后，做这件事还有哪些难点和不确认性？
李志飞：技能之外的要素，比方 CEO 和首席科学家是不是在某些决议方案，或许对时刻的希望可以达到要害共同？比方，首席科学家要花 1 亿人民币买 1000 张显卡，三个月之后才干练习出一个参数 1000 亿的模型。如果 CEO 特别烦躁，说 1 亿人民币，三个月今后还不知道能不能做出来，问一个月做出来 500 亿参数的行不行？看起来很简略的东西，如果两头的判别不共同，或许会导致下不了决计，或导致动作变形。找人工智能科学家难，怎样用好人工智能科学家更难。
高层对时刻、节奏、投入的认知要达到高度共同。包含投入多少钱、多少数据、多少人、多少算力。团队之间也是相同，还会遇到许多工程挑选，比方做模型，是用更多的预练习数据，仍是去标示更多的数据？在模型结构里，是把所谓的 context 长度变长，仍是把字符向量表明得宽一些？至少有几十个超参数需要去处理。每个超参数随意一变，就或许影响你的时刻、钱、要用的 GPU，最终成果还不确认。
极客公园：巨大的工程量面前，影响成果的不确认性要素许多。
李志飞：这些 OpenAI 也不会告知你答案，他或许尝试过许多，什么样的数据、方法论，以及投入的预算是最优解。即便他把参数给你，你或许也不必定能搞对。
全部要素，如果高层不能很好地与程序员交流，就会有风险。还有履行层面，数据清洗得好欠好；GPU 的并行练习处理得如何，使得 GPU 的利用率比较低；数据的标示质量是不是满足好；各个模块或许有几百个要素，如果一个要素没有弄好，要么浪费钱，要么训不出来。
极客公园：要处理这些问题，对于这样技能公司的 CEO 是一个巨大的检测。
李志飞：肯定的。在这一刻的起点，首席科学家必定是最重要的。
极客公园：做这样一个领军人物，除了对技能了解，也要会杀伐决断，集合人才，除此之外还有什么特性很重要？
李志飞：很难去归纳，可是可以类比。比方在硅谷，怎样判别一个人是不是十分 technical 或许是很硅谷范儿，你只需问他几个问题就知道了。
这是认知阅历带来的交流功率。学术界高手过招也是这样，比方有些问题我现已冥思苦索了好久，各种方法都试过，我知道对方也在做这个作业，咱们或许只花 5 分钟交流，就能对齐答案。他或许说一个名词，说哪一篇论文是可以做这个作业的，或许哪篇论文里面哪一部分是可以处理这个问题的，你马上就知道此人的才干层次。他能考虑到这个程度，必定是一个很长的进程。哪怕咱们对问题的界说不相同，两边至少在这个当地真的是深度考虑过。
极客公园：怎样看现在大模型的比赛环境？时刻节点是怎样的？
李志飞：如何与巨子比赛，现在还答复不了。尖端出资者更关怀的是花多少钱能搞出来，是不是能做成。
在我的幻想里，到下一年 6 月，只需你能做出这个 60 分的根底大模型，哪怕商场上有 5 个，都能进入下一轮比赛。现在要分秒必争拿到参赛资历，想太多只会让你犹疑，觉得风险太大。如果是做笔直大模型或运用，一点都不要急，慢慢来。
05
现在到了我的主战场，
必定要参加
极客公园：那你自己是怎样做决议的？
李志飞：这是我的主战场，我必定要参加。我读了多年的 NLP 博士，在 Google 做的也是言语翻译相关工作，创业十年做语音交互和生成式 AI。现在 NLP 范畴有如此大事，中国也需要自己的通用大模型，此刻不做，更待何时。
这是我的专业，也是我的热心，一同也相信能树立深沉壁垒和深远价值。关于壁垒，我这次去美国之前总觉得 Google 是不是很容易做出 ChatGPT。但跟许多人聊完今后，我意识到这里面其实可以树立许多壁垒，Google 要立马做到 ChatGPT 这种水平也不容易。
极客公园：你也要做中国版的 OpenAI？
李志飞：中国版 OpenAI 仅仅让向大众描绘这件事更容易。但最中心，我看好的仍是「通用的认知模型」自身。两年前我就现已着手做大模型了，是国内最早开端仔细做大模型的一批。
2020 年，GPT-3 刚出来咱们就练习过一个大模型 GPT-3 中文版 UCLAI，在此根底上，咱们做了文言文和白话文翻译、古画生成、音乐组成等方面的实践，也成功做出了业界 Top1 的配音产品「魔音工坊」等，具有国内最好的 AIGC 用户量和营收规划，在世界范围也仅次于 Midjourney 和 Jasper。
李志飞在IF立异大会 2021上分享GPT-3｜来源：极客公园
极客公园：现在做大模型，你会有什么新考虑？
李志飞：如果现在我再做通用大模型，得把骨架造得满足安稳，具有很强可塑性，然后再去精雕。就像造乐山大佛，有了骨架之后，再把鼻子、眼睛、手修得很漂亮。当你真的具有 60 分大学生的才干之后，咱们可以经过勤勉把这个大学生培育得十分好。
在此根底上我还要立异。全部跟着 OpenAI 搞没有含义，也不必定能跟上，咱们要立异。
极客公园：你创业也挺长时刻了，曩昔的阅历，对做今天这个事有什么含义吗？
李志飞：曩昔全部的阅历，都是有利的财富。首要，让我有更精准的判别力。第二，更丰厚的工程实践与归纳才干。
现在做这个，我只招最凶猛的人做最中心的技能。而且更有长时间主义的定力，而不是做短期有发展、长时间有耗费的作业。
极客公园：你曾经是科学家，创业这些年之后，有什么改变吗？你怎样定位自己？
李志飞：我是有科学家思想的 CEO。我能跟科学家、工程师深度交流，与科学家一起拟定道路，树立信仰，让整个团队力朝一个方向使，这也是 OpenAI 能成功的很重要要素。
极客公园：王慧文的气势也很强，有了资金后，总能招到优异的人。你会 care 这件事吗？
李志飞：人是最重要的要素，每一家创业团队都会有自己的中心比赛力。但榜首阶段最重要的是：找到真实懂中心技能的人才，而且能用正确的方法和节奏跟他们协作。
极客公园：你是如何计划的？
李志飞：短期方针是把一个 60 分的通用大模型给做出来。中长时间而言，有了 60 分的根底模型后，我会花大力去把它打磨成 80 分，然后可以在真实的商业场景里安稳运用。我的优势是对通用 AI 技能有十分浓郁的爱好，也对未来技能会怎样演化有自己的判别和掌握，这使得我可以在这个赛道里长距离跑。
我心中现已有明晰道路图，并看到了那个结局。
李志飞大模型AI