国产开源MoE指标炸裂: GPT-4级别能力, API价格仅百分之一

虎嗅APP2024-05-07 14:53:31  105

最新国产开源MoE大模型,刚刚亮相就火了。

DeepSeek-V2性能达GPT-4级别,但开源、可免费商用、API价格仅为GPT-4-Turbo的百分之一。

因此一经发布,立马引发了不少讨论。

从公布的性能指标来看,DeepSeek-V2的中文综合能力超越一众开源模型,并和GPT-4-Turbo、文心4.0等闭源模型同处第一梯队。

英文综合能力也和LLaMA3-70B同处第一梯队,并且超过了同是MoE的Mixtral8x22B。

在知识、数学、推理、编程等方面也表现出不错的性能,并支持128K上下文。

这些能力,普通用户都能直接免费使用。现在内测已开启,注册后立马就能体验。

API更是骨折价:每百万tokens输入1元、输出2元(32K上下文)。价格仅为GPT-4-Turbo的近百分之一。

同时在模型架构也进行创新,采用了自研的MLA(Multi-headLatentAttention)和Sparse结构,可大幅减少模型计算量、推理显存。

网友感叹:DeepSeek总是给人带来惊喜!

具体效果如何,我们已抢先体验!

实测一下

目前V2内测版可以体验通用对话代码助手

在通用对话中可以测试大模型的逻辑、知识、生成、数学等能力。

比如可以要求它模仿《甄嬛传》的文风写口红种草文案。

还可以通俗解释什么是量子纠缠。

数学方面,能回答高数微积分问题,比如:

使用微积分证明自然对数的底e的无穷级数表示。

也能规避掉一些语言逻辑陷阱。

测试显示,DeepSeek-V2的知识内容更新到2023年。

代码方面,内测页面显示是使用DeepSeek-Coder-33B回答问题。

在生成较简单代码上,实测几次都没有出错。

也能针对给出的代码做出解释和分析。

不过测试中也有回答错误的情况。

如下逻辑题目,DeepSeek-V2在计算过程中,错误将一支蜡烛从两端同时点燃、燃烧完的时间,计算成了从一端点燃烧完的四分之一。

带来哪些升级?

据官方介绍,DeepSeek-V2以236B总参数、21B激活,大致达到70B~110BDense的模型能力。

和此前的DeepSeek67B相比,它的性能更强,同时训练成本更低,可节省42.5%的训练成本,减少93.3%的KV缓存,最大吞吐量提高到5.76倍。

官方表示这意味着DeepSeek-V2消耗的显存(KVCache)只有同级别Dense模型的1/5~1/100,每token成本大幅降低。

专门针对H800规格做了大量通讯优化,实际部署在8卡H800机器上,输入吞吐量超过每秒10万tokens,输出超过每秒5万tokens

在一些基础Benchmark上,DeepSeek-V2基础模型表现如下:

DeepSeek-V2采用了创新的架构。

提出MLA(Multi-headLatentAttention)架构,大幅减少计算量和推理显存。

同时自研了Sparse结构,使其计算量进一步降低。

有人就表示,这些升级对于数据中心的大型计算可能非常有帮助。

而且在API定价上,DeepSeek-V2几乎低于市面上所有明星大模型。

团队表示,DeepSeek-V2模型和论文也将完全开源。模型权重、技术报告都给出。

转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/437240.html
0
随机主题
辽篮夺冠谁是最大功臣?弗格无缘前四,第一名你应该想不到!比亚迪扎起纯电动车藩篱IGN评选最佳25款Switch游戏: 王泪第一野炊第二《法外枭雄: 滚石城》Steam版6月18日发售边锋必备的内切射门训练妮基·黑利宣布支持特朗普: 政坛风云再起美联储降息态度再转变,黄金迎上车机遇?广西发现河池德昭藤, 系全球新物种Sensor Tower: 《Monopoly GO! 》4月蝉联全球手游畅销榜冠军, 《王者荣耀》位列第2名, 米哈游旗下两款手游表现强劲团战开黑不卡顿? 直播追剧无延迟? 这吐血的网速终于让锐捷给我冲了!舒淇宝格丽之夜疑似被日本女星针对…在历史街区邂逅科技市集! 快来这里飞跃“数字鸿沟”拜登不满国际刑事法院,扎哈罗娃嘲讽:“陷入自己网中的蜘蛛”记者: 在瓜帅之后, 加斯佩里尼是第一个真正为足球带来改变的教练一穿二!哈马斯狙击手,使用两颗子弹精准狙击三名以军士兵三个女学生相约抗日, 两人半途而废, 一人成为开国大将夫人BG推文《拉上始皇去造反》女帝文,超有野心一门心思造反的女主没想到她居然造的自己亲爹的反,收服的大才是自己的亲爹暑期中美航线增至每周92班! 机票怎么买便宜?森林北深夜发文澄清恋情, 汪峰离婚背后真相究竟如何?4年2.94亿! 亚历山大解锁超级续约资格 合同年薪突破8000万大关衣锦还乡! 辽宁男篮今早已经启程返回沈阳
最新回复(0)