Qwen3-4B-Thinking-2507

亮点

在过去三个月里，我们持续提升了Qwen3-4B的思考能力，改进了推理的质量和深度。我们很高兴推出Qwen3-4B-Thinking-2507，该版本具有以下主要增强功能：

• 显著提升的推理任务性能，包括逻辑推理、数学、科学、编程和通常需要人类专业知识的学术基准。
• 明显更好的通用能力，如指令遵循、工具使用、文本生成以及与人类偏好的一致性。
• 增强的256K长上下文理解能力。

注意：此版本的思考长度有所增加。我们强烈建议在高度复杂的推理任务中使用它。

模型概述

Qwen3-4B-Thinking-2507 具有以下特点：

• 类型：因果语言模型
• 训练阶段：预训练 & 后训练
• 参数数量：40亿
• 非嵌入参数数量：36亿
• 层数：36层
• 注意力头数（GQA）：Q为32，KV为8
• 上下文长度：原生支持262,144

注意：此模型仅支持思考模式。同时，不再需要指定enable_thinking=True。

此外，为了强制模型思考，默认聊天模板自动包含 <think>。因此，模型输出只包含 </think> 而没有显式的 <think> 开始标签是正常的。