GLM 5.2 架构解析：753B 参数、MoE 设计与运行原理

GLM 5.2 基于混合专家（Mixture-of-Experts，MoE）架构构建，总参数量达 7530 亿，但处理任意单个 token 时只激活其中 400 亿。这近 19 倍的差距——存储在知识与激活计算之间——正是 GLM 5.2 既能在 GPQA Diamond 上拿到 89% 的分数、又能以每秒 158 token 的速度响应、还不需要烧大钱的底层工程智慧所在。

快速规格一览

GLM 5.2 由 THUDM——清华大学数据挖掘研究组——开发，以 MIT 协议发布，是当前协议最宽松的前沿规模模型之一。

深入解读：架构如何运作

混合专家：以 40B 的成本承载 753B 的能力

标准稠密 Transformer 会为它处理的每个 token 激活每一个参数。如果模型有 4050 亿参数（如 Llama 3.1 405B），它每次前向传播都要跑全部 4050 亿。这在 FLOPs、内存带宽上都很昂贵，因此也意味着时间和金钱。

混合专家（MoE）把每个 Transformer 层内部的 feed-forward 网络拆成许多更小的子网络，称为「专家」（experts）。一个经过学习的路由机制为每个 token 选择其中一小部分专家，其余专家直接跳过。那些参数依然存在于内存中、依然承载着学到的知识——但只要它们的 token 没有到来，就不参与计算。

GLM 5.2 把这一点推向了极致。每层 256 个专家、每次前向传播只激活 8 个，模型在任意时刻只调用其可用专家的 3.1%。在全部 78 层中，给定一个 token，约 5.9% 的 753B 总参数会被激活。其余 94.1% 保持休眠，对该 token 的计算毫无贡献，但可供未来的 token 使用——届时路由会把流量送过去。

实际效果：GLM 5.2 只付出约相当于 40B 稠密模型的 FLOPs 成本，却保留了 753B 模型的表征能力。作为对比，DeepSeek V3 总参数 671B、激活 37B——同样的哲学，只是总规模略小。

层结构：先稠密，后稀疏

GLM 5.2 并不是每一层都用 MoE。前三层使用标准稠密注意力——每个注意力头、每个 MLP 参数全部激活。这是一个刻意的设计决策：早期层负责低层 token 表征和位置编码，如果路由在这里不稳定，错误会顺着整个堆栈传播。底部的稠密层为模型提供了稳定的地基。

从第 4 层起，GLM 5.2 切换到 DSA——DeepSeek 式稀疏注意力——并与 MoE feed-forward 块结合。DSA 改变了注意力模式的计算方式，降低了长序列上全量自注意力的二次方成本。考虑到 GLM 5.2 的 100 万 token 上下文窗口，这一点尤其重要；在 1M token 上做朴素稠密注意力，内存需求会与序列长度的平方成正比，在生产规模下根本不可行。

MoE feed-forward 块与稀疏注意力的组合，正是 GLM 5.2 能在内存压力下撑住 1M token 输入的关键。

多 token 预测：158 t/s 为什么能实现

标准自回归解码每次前向传播生成一个 token。GLM 5.2 引入了多 token 预测（Multi-Token Prediction，MTP）：一次前向传播并行预测多个未来 token，然后对它们进行验证。当预测正确时（在流畅文本中经常如此），模型一次前向传播就能推进多个 token，而不是一个。

这与投机解码（speculative decoding）相关，但它是作为一级架构特性运行的，而不是后装的优化。结果是相比同一底层模型的朴素自回归解码，推理吞吐大约翻倍——这也是 Artificial Analysis 测出 GLM 5.2 每秒 158 token、在前沿模型中位列第三的重要原因。

专家路由与负载均衡

MoE 模型面临一种称为「专家塌缩」（expert collapse）的失败模式：路由学到把大部分 token 送给少数几个专家，导致其余专家训练不足。这会知识集中在少数专家身上，浪费模型大部分参数。

包括 GLM 5.2 在内的现代 MoE 架构，在训练时使用辅助负载均衡损失，惩罚专家利用不均。路由被训练成在一个 batch 内把 token 大致均匀地分配给各个专家，确保全部 256 个专家都发展出有用的专长。结果是 GLM 5.2 的不同专家各有所长——有的负责数学推理、有的负责代码、有的负责多语言文本——而没有任何单一专家成为瓶颈。

基准测试表现

架构上的说法只有配上模型的实际成绩才有意义。GLM 5.2 的基准测试结果强到足以让它进入前沿梯队。

GPQA Diamond 的 89% 尤其值得注意。GPQA（Graduate-Level Google-Proof Q&A）测试的是由领域专家（博士级别的化学、生物学、物理）撰写的、刻意设计成无法靠网络检索解决的题目。89% 的分数让 GLM 5.2 跻身最强推理模型之列。作为参照，人类博士级专家在自己的领域题目上平均约 65%。

SWE-bench Pro 的 62.1% 对应的是真实 GitHub issue——不是合成谜题——模型必须在现有代码库中定位 bug、写补丁并通过配套测试套件。这是对工程用途最具现实意义、最实用的基准之一。

90%+ 的 HumanEval 分数与模型强劲的 SWE-bench 表现一致：GLM 5.2 是真的擅长代码，而不只是擅长语言。

速度与延迟

GLM 5.2 每秒 158 token 的吞吐（Artificial Analysis 测得）让它按该指标成为第三快的前沿模型。这对面向用户的应用程序很重要——响应延迟会影响感知质量；对处理大量文本的管线也很重要——吞吐决定成本。

首 token 时间（TTFT）为 1.54 秒——也就是说，模型在收到请求后约一秒半内就开始输出。对交互式聊天来说这处于舒适区间；对实时应用或流式 UI 来说可用，但谈不上瞬时。

MoE 架构是这种速度的主要原因。每 token 更少的 FLOPs 意味着每个 token 的计算耗时更短，尽管总参数量庞大。MTP 在解码条件有利时一次生成多个 token，进一步放大了这一点。

MoE 的成本影响

MoE 的激活参数效率直接转化为定价。GLM 5.2 通过 Z.ai 的定价为每百万输入 token $1.40、每百万输出 token $4.40。缓存命中每百万 token $0.26。

这些价格显著低于能力分数相当的稠密模型。一个稠密的 753B 模型——如果真的存在的话——每个 token 需要相应更多的算力，托管成本也更高。通过每 token 只激活 40B 参数，即便总参数量巨大，每 token 的基础设施成本也保持在可控范围。

这不是理论上的好处。实际的推理 API 反映了真实运行大规模 GLM 5.2 的成本，而且这些价格与那些拿到类似基准分数、却用不同架构的模型相比具有竞争力。

对于提示词反复或相似的负载，$0.26/M 的缓存命中价能显著降低有效输入成本。一条反复处理相似 system prompt 或文档前缀的管线，相比基础输入价可以大幅削减成本。

100 万 token 上下文窗口

GLM 5.2 支持 1,048,576 token 的上下文窗口——恰好是 2^20，即 100 万 token。这不是营销意义上的整位数，而是 DSA 支撑下、有真实技术意义的容量。

在这个上下文长度下，你可以处理：

• 中等规模的完整代码库（数百个文件）
• 单次请求处理整本书或法律文档
• 无需摘要即可处理的长对话历史
• 数千行的大规模结构化数据集

现实的约束在于：处理 1M token 的成本按比例高于处理 10K token——无论是美元还是延迟都是如此。最大上下文下的 TTFT 比典型提示词长度下测得的 1.54 秒更长。对大多数用例，32K 到 128K token 已覆盖真实需求；1M 上限主要在一些边缘场景中发挥价值——否则就需要分块、摘要或检索增强。

DSA 的稀疏注意力模式通过避免所有 token 对之间的全量 O(n²) 注意力，让这样的上下文长度变得可行。模型只关注上下文中结构化的子集，而不是每个可能的 token 到 token 关系，这使内存和计算保持有界。

如何访问 GLM 5.2

GLM 5.2 可通过两家 API 供应商使用，也以开放权重形式挂在 Hugging Face 上。

通过 Z.ai API：

from openai import OpenAI

client = OpenAI(
    api_key="your-z-ai-key",
    base_url="https://api.z.ai/v1"
)

response = client.chat.completions.create(
    model="glm-5.2",
    messages=[
        {"role": "user", "content": "Explain Mixture-of-Experts in one paragraph."}
    ]
)
print(response.choices[0].message.content)

通过 OpenRouter：

from openai import OpenAI

client = OpenAI(
    api_key="your-openrouter-key",
    base_url="https://openrouter.ai/api/v1"
)

response = client.chat.completions.create(
    model="z-ai/glm-5.2",
    messages=[
        {"role": "user", "content": "Explain Mixture-of-Experts in one paragraph."}
    ]
)
print(response.choices[0].message.content)

通过 Hugging Face（自托管）：

模型权重位于 THUDM/GLM-5.2，采用 MIT 协议。自托管 753B 参数需要相当规模的 GPU 基础设施——至少是多节点 A100 或 H100 集群。MIT 协议允许商业使用、修改和再分发，无需支付版税。

不想写代码、也不需要 API key？可以直接通过网页界面试用 GLM 5.2。

现实世界的应用场景

架构对 GLM 5.2 的擅长领域有具体的实际影响：

长文档分析。 1M token 上下文允许单次处理完整法律合同、技术手册或研究语料。无需分块、无需检索管线、无需拼接上下文——整份文档直接进来。

代码生成与调试。 SWE-bench Pro 62.1% 和 HumanEval 90%+ 反映了真正的软件工程能力。模型可以把大型代码库读进上下文，并给出契合实际实现的补丁建议。

科学推理。 GPQA Diamond 89% 意味着 GLM 5.2 能推理研究生级别的化学、生物学和物理问题。对研究辅助、文献综合和技术领域的假说生成很有用。

高吞吐管线。 158 t/s 的速度让 GLM 5.2 足以支撑处理大量文本的生产管线。分类、抽取、摘要和转换类任务，既要前沿级质量、又要规模化运行。

成本敏感的前沿负载。 $1.40/M 的输入 token 价格配 89% 的 GPQA Diamond，让 GLM 5.2 成为前沿梯队模型中性价比最好的之一。以前需要昂贵稠密模型 API 的负载，可能会发现 GLM 5.2 以更低成本达到相当的质量。

GLM 5.2 在架构上与同类模型的对比

作为参照，以下是 GLM 5.2 的架构与其他知名模型的对比：

GLM 5.2 的 1M 上下文窗口目前是这组对比中最突出的差异化优势。DeepSeek V3 使用类似的 MoE 哲学，只是总规模略小。Llama 3.1 405B 是稠密的——每个 token 都要付出完整 405B 参数前向传播的代价。GPT-4o 的架构未公开披露。

常见问题

「40B 激活参数」到底是什么意思？

当 GLM 5.2 处理一个 token 时，每个 MoE 层的路由从可用的 256 个专家中选出 8 个。只有这 8 个专家的权重参与计算。另外 248 个专家存在于 GPU 内存中，但不为该 token 的前向传播贡献任何 FLOPs。40B 激活数字是全部 78 层中、一个典型 token 实际激活的所有参数之和。

为什么 MoE 能提升推理速度？

每个 token 更少的激活参数，意味着每个 token 更少的浮点运算。在给定硬件吞吐上限下，每 token 的 FLOPs 是决定每 token 耗时的主要因素。一个 40B 激活的 MoE 模型跑每个 token 的速度大致相当于一个 40B 稠密模型，同时保留 753B 模型学到的容量。

GLM 5.2 是多模态的吗？

不是。GLM 5.2 只接受文本输入、只产生文本输出。它不处理图像、音频或其他模态。如果你的用例需要视觉或音频，你需要换一个模型。

我能不能用自己的数据微调 GLM 5.2？

MIT 协议允许微调。不过，微调一个 753B 的 MoE 模型计算强度很大——参数存储和优化器状态需要大量 GPU 内存。针对特定专家的 LoRA（Low-Rank Adaptation，低秩适配）等技术可以降低算力需求。对整个模型做全量微调只在大型 GPU 集群上才现实。

什么是 DSA，为什么它很重要？

DSA（DeepSeek-Style Sparse Attention，DeepSeek 式稀疏注意力）修改了标准自注意力机制，避免对每个 token 对组合都做注意力。标准注意力在内存和计算上相对于序列长度 n 是 O(n²)，在 1M token 下会变得不可行。DSA 使用结构化稀疏模式，在长上下文下让内存和计算保持可行，同时保留注意力机制大部分的表达能力。

GPQA Diamond 的 89% 与人类相比如何？

在自己领域内的博士级人类专家（化学博士回答化学题，以此类推）在 GPQA Diamond 上平均约 65%。GLM 5.2 的 89% 大幅超过这一人类专家基线。非专家人类在同样题目上平均约 34%。

GLM 5.2 真的是开源的吗？

模型权重以 MIT 协议发布，这是最宽松的软件协议之一。你可以下载权重、商用、修改并再分发，无需支付版税。训练代码、训练数据和详细训练方法没有公开，所以准确的描述是「开放权重」，而非「完全开源」。

结论

GLM 5.2 的 MoE 架构不是一个营销术语——它是让 753B 参数模型在经济和实操上都可部署的机制。通过每 token 只激活 40B 参数、78 层每层 256 个专家，模型达到了前沿级基准表现（GPQA Diamond 89%、SWE-bench Pro 62.1%），同时以 $1.40/M 输入价格实现每秒 158 token。由 DSA 支撑的 1M token 上下文窗口，补上了大多数竞品无法企及的长文档能力。对于需要顶级推理质量、强劲代码能力、高吞吐、又不想付稠密模型价格的负载，GLM 5.2 值得认真评估。

试用 GLM 5.2——无需 API key：glm5.app/chat。

来源

• Artificial Analysis — GLM 5.2 模型概览
• Hugging Face 上的 THUDM/GLM-5.2
• Z.ai API 文档
• OpenRouter — z-ai/glm-5.2
• GPQA：研究生级 Google-proof 问答基准（arXiv）