技术特点

• 参数规模：混元大模型总参数量约3890亿，激活参数量约520亿，是目前公开的基于Transformer架构的开源MoE模型中参数规模最大的。
• 架构创新：采用了经典的Transformer架构和MoE技术，包含预训练阶段和后训练阶段，用于获取基本能力和特定任务的指令遵循、能力增强以及人类偏好对齐。
• 数据质量：在预训练中使用了7T个token，其中包含近1.5T个高质量和多样化的合成数据，提高了训练数据的质量和多样性。
• 性能优化：提出了键值（KV）缓存压缩、回收路由和专家特定学习率缩放策略来增强模型结构，减少KV缓存开销，更无缝地部署和扩展。

功能

• 多轮对话：具备上下文理解和长文记忆能力，能流畅完成各专业领域的多轮问答。
• 内容创作：支持文学创作、文本摘要、角色扮演等，生成内容流畅、规范、中立、客观。
• 逻辑推理：准确理解用户意图，擅长数学推导，基于输入数据或信息进行推理、分析和规划。
• 知识增强：有效解决事实性、时效性问题，快速检索相关内容，提升内容生成效果。
• 多模态：支持文字生成图像能力，输入指令即可将奇思妙想变成图画。

应用场景

• 内容创作：可用于文学创作、文本摘要、角色扮演等，生成高质量、规范、中立、客观的内容。
• 智能问答：在专业领域提供多轮问答支持，具备上下文理解和长文记忆能力。
• 逻辑推理：适用于数学推导、逻辑分析等任务，帮助用户进行推理和规划。
• 图像生成：通过文生图功能，根据输入的文本描述智能创作出相关的图像内容。