通义千问发布 Qwen1.5-110B 首款超 1000 亿参数模型

文浩Marvin2024-04-30 11:37:17  114

近日,通义千问发布了 Qwen1.5-110B 模型,这是 Qwen1.5 系列中的新成员,也是该系列中首个参数超过 1000 亿的模型。

该模型在基础模型评估中表现出色,可与 Meta-Llama3-70B 相媲美。在聊天模型评估(包括 MT-Bench 和 AlpacaEval 2.0)中也展现出了优异的性能。

Qwen1.5-110B 模型支持多语言,包括英语、中文、法语、西班牙语等,其上下文长度可达 32K 令牌。

该模型具有以下特性:

架构

:采用 Transformer 解码器架构,具有分组查询注意力(GQA)。

性能

:在标准评估和聊天模型评估中均表现卓越。

多语言支持

:支持多种语言,上下文长度可达 32K 令牌。 根据官方公布的评测结果,Qwen1.5-110B 模型的评测结果略略超过 Llama-3-70B 和 Mixtral-8×22B。在综合理解(MMLU)、数学推理(GSM8K 和 MATH)方面,Qwen1.5-110B 模型的得分比 Llama-3-70B 略高一点点,是几个模型中最强的。而在复杂推理任务 ARC-C 上则略低于 Mixtral-8×22B 模型。在编程测试 HumanEval 得分上,Qwen1.5-110B 模型远超另几个模型,但在 MBPP 编程测试上则低于 Mixtral-8×22B 模型。

可以看出,Qwen1.5-110B 模型在性能和多语言支持方面都具有显著优势,为人工智能领域的发展带来了新的突破。这也让我们对未来的人工智能应用充满期待。

转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/373119.html
0
最新回复(0)