微软发布几小时,WizardLM-2秒删!投毒测试竟是关键原因

科技 2024-04-23 13:23 阅读:25

前段时间,微软发布了一款被称为GPT-4级别的开源模型WizardLM-2,吸引了众多关注。然而,令人意外的是,仅仅几小时后,这个模型就被删除了。网友们发现,模型权重、公告帖子全部消失,连微软集合中也找不到相关信息,GitHub项目主页也已经404。

原来,微软之所以删除WizardLM-2,是因为团队内部忘记对模型进行「投毒测试」。微软团队解释称,由于对新的发布流程不太熟悉,他们不慎遗漏了这一关键步骤。

WizardLM-2是微软基于Mixtral 8x22B微调而来的新一代模型,性能堪比GPT-4和Claude 3。在训练过程中,微软采用了革命性的训练方法论Evol-Instruct和强化学习框架RLEIF,以及AI Align AI(AAA)方法。这些方法让WizardLM-2在处理复杂任务时表现出色。

尽管在删除之前已经有人下载了WizardLM-2的权重,并进行了一些额外的基准测试,但投毒测试的重要性不容忽视。投毒测试可以帮助发现模型的偏见和错误,避免模型输出不正确的内容,避免引来全网关注和非议。

微软团队承诺,在测试完成后会重新上线WizardLM-2。开发者们也表示,他们希望得到未经「脑叶切除」的模型,即经过充分测试和验证的模型。投毒测试虽然可能会延迟发布时间,但对于确保模型质量和可靠性至关重要。

总之,投毒测试是开源大模型发布过程中不可或缺的一环,只有经过严格测试和验证的模型才能真正受到用户信任和认可。微软的这次经历也提醒我们,即使模型性能再强大,也不能忽视测试的重要性。