昨天凌晨5点，阿里巴巴发布了其最新的大规模语言模型——Qwen3。根据最新测试结果显示，Qwen3在多个权威评测平台如ArenaHard、AIME 24/25、LiveCodeBench、CodeForces和Aider上表现出色，全面超越了DeepSeek开源的R1模型以及OpenAI的o1模型等知名对手

体验地址：https://chat.qwen.ai/

开源地址：https://github.com/QwenLM/Qwen3

笑脸：https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f

阿里此次共发布了两款MoE模型权重：一款是Qwen3-235B-A22B，参数规模超过2350亿，总激活参数达220亿以上的大型模型；另一款是Qwen3-30B-A3B，拥有约300亿总参数和30亿激活参数的轻量级MoE模型。此外，还开源了6个Dense模型，分别是Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B和Qwen3-0.6B，所有模型均采用Apache 2.0协议，支持商业用途。

Qwen3 具备两种不同的思考模式，满足不同场景需求。在思考模式下，模型会通过逐步推理，经过深入分析后给出答案，适合处理复杂且需要细致推敲的问题；而非思考模式则侧重于快速响应，适用于对时效性要求较高且问题相对简单的场景。用户还能根据具体任务灵活调节模型的思考深度，实现复杂问题的多步推理与快速问题的即时解答，兼顾效率与准确性。

除了支持中文外，Qwen3还覆盖了包括葡萄牙语、德语、罗马尼亚语、瑞典语、丹麦语、保加利亚语在内的共119种语言和方言，语言支持范围极为广泛。模型的Agent能力和代码处理能力也得到了显著增强，支持MCP服务，进一步扩展了应用的边界。

在预训练方面，Qwen3使用了规模几乎是其前代Qwen2.5两倍的数据集，约36万亿tokens，极大地丰富了训练素材。为了构建如此庞大的数据来源，阿里不仅收集了大量网络数据，还从PDF文档中提取文本信息，借助Qwen2.5-VL模型提升提取质量。此外，为了增加数学与代码领域的数据，阿里还利用了领域专家模型Qwen2.5-Math与Qwen2.5-Coder，将教科书内容、问答对和代码片段等多种形式的数据进行了合成，进一步增强了模型在专业方向的能力和表现。

预训练过程分为三个主要阶段。第一阶段（S1）中，模型在超过30万亿个token数据上进行训练，使用4K的上下文长度，这一步为模型打下了基础的语言理解和通用知识储备。第二阶段（S2）通过提升知识密集型数据的比例来优化训练数据集，模型随后在额外5万亿token上继续预训练。第三阶段则采用高质量的长文本数据，将上下文长度拓展至32K token，从而提升模型处理长文本的能力。

由于架构优化、训练数据量增加以及更高效的训练方式，Qwen3 Dense基础模型在整体性能上达到了与参数量更大Qwen2.5基础模型相当的水平。例如，Qwen3的1.7B、4B、8B、14B和32B版本在表现上相近于Qwen2.5的3B、7B、14B、32B和72B版本。特别是在STEM、编码和推理等任务中，Qwen3 Dense表现甚至超越了更大规模的Qwen2.5模型。

在Qwen3 MoE基础模型中，仅激活了10%的参数，就实现了与Qwen2.5 Dense模型相近的性能，显著降低了训练和推理的成本。

为了打造兼具深度推理能力和快速响应速度的混合型模型，阿里采用了四阶段训练策略，内容包括：（1）长思维链的冷启动，（2）长思维链的强化学习，（3）思维模式的融合，以及（4）通用强化学习这一完整流程。

阿里在模型训练中采用了分阶段的方法。首先，利用各种包含长思维链的数据对模型进行微调，这些数据涉及数学、编程、逻辑推理以及STEM领域的多个任务，目的是为模型奠定扎实的推理基础。接着，在第二阶段，通过大规模的强化学习，基于规则制定的奖励机制，提升模型的探索性和深入钻研能力。第三阶段，将长思维链数据与常用指令微调数据结合，对模型进行进一步微调，实现推理能力与快速响应的有机融合。最后，在第四阶段，针对指令遵循、格式规范以及Agent能力等20多个通用领域任务，应用强化学习技术，全面提升模型的通用表现，同时纠正潜在的不良行为。

·

我们相信人工智能为普通人提供了一种“增强工具”，并致力于分享全方位的AI知识。在这里，您可以找到最新的AI科普文章、工具评测、提升效率的秘籍以及行业洞察。

欢迎关注“福大大架构师每日一题”，让AI助力您的未来发展。

·