因发布前忘了测试，微软删除最新开源大模型
上周五，Meta宣布推出了开源大模型Llama3，以其卓越性能引发热议。而在Llama3发布之前，微软也悄悄发布了最新的开源模型WizardLM-2。
颇具戏剧性的是，这款模型在发布仅几个小时后，就被微软下架了，理由是在发布之前忘了进行“毒性测试”。
据悉，这款大模型发布于上周一，提供三个版本：8x22B、70B和7B，每个版本都旨在满足不同的规模和要求。8x22B模型是旗舰模型，拥有1410亿个参数，使其成为开源社区中最有效的模型之一。
微软这次发完模型又删除的行为让很多网友表示困惑，因此微软开发人员在X上发布了一份声明解释了下架模型的原因。开发人员遗憾地承认了他们在模型发布过程中由于工作疏忽忘记了进行毒性测试。为了向社区保证迅速采取行动，他们承诺在重新发布模型之前立即进行必要的测试。
还有外界消息称，WizardLM-2背后的研发团队总部位于北京。他们澄清表示：“删除该模型是由于忘记测试，而不是故意试图绕过审查”。
我们深感抱歉。
距离我们发布模型已经过去一段时间，所以现在的我们对于新的发布流程有点生疏，不小心遗漏了模型发布过程中的重要一环——有毒内容测试。
目前，我们正在快速补全测试工作……
大语言模型的毒性，是指其创作有害或不当内容的能力。如果在大模型中发现“有毒”内容，不单会影响技术方案的性能表现，更可能在全球各地纷纷对AI技术抱谨慎、甚至负面态度的背景下引发轩然大波。相关错误输出可能在互联网上疯狂自传播，甚至招来政府当局的调查。没有哪家公司愿意看到这样灾难性的经营事故。
因此，该模型的所有文件均被从GitHub和HuggingFace上移除，访问相关页面现在会显示404错误。
这款大模型是在Apache2.0协议下发布的，在repo被移除之前，许多人已经下载了模型权重。但有细心的HackerNews用户还是将其发布地址备份保存了下来：
甚至在下架之前，部分用户已经在其他基准测试中对该模型进行了评估。那么，这款大模型具有哪些功能？与其他大模型相比性能如何？
WizardLM-2“开箱”评测
WizardLM是一套基于指令的模型，构建于Meta的Llama基础之上，属于研究人员使用生成的指令数据对Llama微调得到的产物。
值得注意的是，WizardLM-2基于混合专家（MoE）架构开发，利用完全由人工智能驱动的综合训练系统，增强其处理复杂、多语言对话和执行高级推理的能力。该系统支持模型在各个领域（包括写作、编码、数学等）提供精致且与上下文相关的响应的能力。
该模型的第二个版本WizardLM-2是在MistralAI的Mixtral8x22B模型基础之上构建而成，并利用合成数据进行了微调。该模型家族共包含三大领先型号：WizardLM-28x22B、70B与7B。与各领先的专有大语言模型相比，这些模型表现出极具竞争力的性能水平。
WizardLM-28x22B是其中最先进的模型，仅略微落后于GPT-4-1106-preview。70B在相同体量下达到了顶级性能，而7B版本则速度最快，甚至拥有与参数规模10倍于它的领先模型相当的性能表现。
该模型利用AI模型生成的合成数据训练而成。微软公司在X上发帖指出：
随着天然存在的人类数据逐步被大语言模型训练用尽，我们坚信：AI精心创造的数据与AI分步监督的模型将是通往更强AI成果的唯一途径。因此，我们构建了一套完全由AI驱动的合成训练系统以增强WizardLM-2。
在MT-Bench框架等基准评估中，WizardLM-2展现出具有竞争力的性能，甚至可以与最先进的专有模型相媲美。它在现实场景中的应用较为广泛，从增强对话式人工智能到支持业务环境中的复杂决策流程。
在MT-Bench中将WizardLM-2与GPT-4-Turbo和Claude-3等最先进的专有大模型相比，WizardLM-28x22B仍然具备极富竞争力的性能。同时，7B与70B也均成为同等参数规模之下性能最强的大语言模型。
最近几年，微软的步子迈得太大了
HuggingFace及其首席执行官ClémentDelangue对删除表示失望，并强调了WizardLM的开源模型对其平台的重大影响。他们正在积极寻求与Microsoft的解决方案，以满足社区需求。
随着故事的展开，人们的注意力转向了微软对负责任的AI实践的承诺。尽管该公司拒绝直接置评，但更新后的负责任人工智能标准一般要求的发布强调了其对道德人工智能开发的奉献精神，强调需要减少人工智能输出中的偏见和差异。
实际上，当前几年还没有在AI领域展现出强大的统治力时，微软时常因产品的发布令人失望，甚至被贴上创新停滞和顶尖人才流失的标签。
快进到2024年，微软已然成为了全世界最有价值的科技巨头之一。在首席执行官萨蒂亚·纳德拉的领导下，微软股价在10年内飙升了1000%以上。一月份，该公司的市值达到3万亿美元，超过了法国的GDP总和。
能够让微软卷土重来的核心是人工智能。微软在Azure云计算平台、Office生产力套件和Bing搜索引擎中嵌入了人工智能。而这一转变的关键事件是微软投资了OpenAI，并迅速借助先进的人工智能技术成为了生成式AI时代的先行者。
微软与OpenAI的合作始于2017年，当初这家备受瞩目的初创公司在云计算上花费了大约790万美元——占其职能支出的四分之一，这让两者有了初步的接触。
到2019年，微软已经成为AI实验室的“独家”云计算提供商。在向这家初创公司投资10亿美元后，微软成为OpenAI商业化的首选合作伙伴。
微软很快将OpenAI大语言模型（LLM）集成到Azure云服务中。客户使用该软件实现各种应用程序功能，从聊天机器人和内容生成到翻译和个性化营销。
该服务增长迅速。今年第二季度，微软报告称，AzureOpenAI的用户数量较前12个月增长了50%。纳德拉表示，目前已有超过53000名客户使用该服务，其中包括“一半以上”的财富500强企业。可以说，OpenAI在微软的商业帝国复兴中发挥了关键作用。
但借助OpenAI这一外力重新崛起的老牌巨头想要依靠自身实力继续保持领先，并且能在激烈的竞争中始终处于有利位置，却是件很难的事情。
