🟣 Mamba / SSM：会取代 Transformer 吗

Transformer 统治 AI 已经 8 年。 但每年都有人挑战它。 2023 年底，Mamba 论文出来时，整个圈子第一次觉得： “这次有点东西。”

🟣 AI 深度派专栏 · 第 S2-08 期 📅 2026年10月1日 ✍️ 小敏说 AI

💡 本文要点：本文讲清状态空间模型（SSM）、Mamba 的核心创新（选择性 + 硬件感知）、它和 Transformer 的本质差异、当前真实战绩、未来可能性。

🎯 本文导读

  • 🔹 Transformer 的”原罪”
  • 🔹 SSM 是什么
  • 🔹 Mamba 的两大创新
  • 🔹 Mamba vs Transformer 实战
  • 🔹 它会取代 Transformer 吗

一、👑 Transformer 的”原罪”

虽然强大，但有个不可回避的问题：

问题 原因
计算 O(N²) Attention 跟所有过去 Token 比较
KV Cache 暴涨 长上下文存不下
串行生成 推理慢

💬 关键观点：Transformer 的天花板，不是智能，是”长度 + 内存”。

二、🌊 SSM 是什么

State Space Model（状态空间模型） 是控制论里几十年的老技术：

h_t = A · h_{t-1} + B · x_t   # 状态更新
y_t = C · h_t + D · x_t        # 输出

类似 RNN，但有两个区别：

  1. 可被卷积形式高效并行训练（不像 RNN）
  2. 状态是连续的、可建模长程依赖

✅ 复杂度 O(N)，远低于 Transformer 的 O(N²)。

三、💡 Mamba 的两大创新

老 SSM 长期打不过 Transformer，原因：参数是与输入无关的（time-invariant）。

Mamba 改成 time-varying / 选择性：

创新 1：Selective SSM

让 A、B、C 矩阵随输入变化——模型能”决定”哪些信息记住、哪些丢掉。

传统 SSM：固定的"压缩规则"
Mamba：每个 Token 自己决定 "我重不重要"

创新 2：硬件感知实现

类似 Flash Attention，优化 GPU 上的 IO 流程，让 Mamba 真能跑得快。

🎯 一句话总结：Mamba = SSM 的选择性版本 + Flash Attention 级别的工程优化。

四、⚔️ Mamba vs Transformer

维度 Transformer Mamba
训练复杂度 O(N²) O(N)
推理复杂度 O(N) per token + KV Cache O(1) per token + 固定状态
内存（推理） 随长度增长 常数
长序列 上限受限 天然友好
表达能力 强 较强（部分任务略弱）
生态成熟度 极成熟 起步阶段

五、📊 真实战绩

Mamba 2（2024）

  • 同尺寸下，与 Llama 持平甚至略强
  • 长序列（>16K）显著更省

Jamba（AI21，2024）

  • Mamba + Transformer 混合
  • 256K 上下文，开源
  • 工业级首个成功

Falcon Mamba（TII，2024）

  • 7B 全 Mamba，性能对标 Llama 3-8B

⚠️ 重要提醒：Mamba 在Recall（精确召回）类任务上比 Transformer 弱——”针在草堆”测试不如人意。

六、🤝 混合架构是未来吗

主流共识：Mamba 替代不了，但能”合体”。

Hybrid 架构 =
  大部分层用 Mamba（处理顺序信息，省）
  +
  少量层用 Attention（处理精确召回）

代表：Jamba、Zamba、Samba、Mamba-2.5。

✅ 效率 + 召回率双赢。

七、❌ 常见误区

误区 真相
❌ Mamba 完爆 Transformer ✅ 各有强弱
❌ Mamba 是新概念 ✅ SSM 是老技术，Mamba 是工程化突破
❌ Mamba 不需要 KV Cache ✅ 但需要”状态”，比 KV Cache 小很多
❌ 工业界已切换 ✅ 主流模型仍是 Transformer

八、🔮 它会取代 Transformer 吗

时间维度 我的看法
短期（1-2 年） 不会，Transformer 生态太成熟
中期（3-5 年） 混合架构主导
长期 未必”取代”，但 Transformer 不再独大

💬 关键观点：新架构的胜出不只是”打分赢”，是”生态、工具链、人才”全要重建。

九、🎁 给非工程读者的”Mamba 心法”

🔑 Transformer 的极限不是智能，是长度
🔑 SSM 用"固定状态"取代"看所有过去"
🔑 Mamba 加了"选择性" + 工程化
🔑 长序列、流式任务、端侧场景 = Mamba 强项
🔑 短期看：混合架构是赢家

📮 今日话题：你觉得 5 年后主流大模型架构会是 Transformer、Mamba 还是别的？

🔮 下一篇预告：s2ep09《上下文窗口怎么扩到 1M：RoPE / YaRN / 长度外推》

🟣 本系列是「小敏说 AI · AI 深度派专栏」第 S2-08 期。 关注公众号 小敏说 AI，回复「深度派」领取第二季合集。