🏗️ Transformer之后是什么？

2017年一篇”Attention Is All You Need”，Transformer统治AI世界至今。 但统治不等于永恒——它的阿喀琉斯之踵，正在催生一场新的架构革命。

🔬 AI 深度解析专栏 · 第 17 期 📅 2026年4月15日 ✍️ 小敏说 AI

💡 本文要点：从Transformer的二次复杂度瓶颈出发，梳理Mamba、RWKV、线性注意力、混合架构四条技术路线，给出未来1-10年的架构演化预判，以及对开发者的实际影响。

🎯 本文导读

• 🔹 Transformer为什么统治AI世界？核心优势是什么
• 🔹 二次复杂度：Transformer无法回避的硬伤
• 🔹 Mamba/SSM：O(N²) → O(N) 的线性突破
• 🔹 RWKV：训练并行+推理恒定内存的两全方案
• 🔹 混合架构：最可能的未来形态
• 🔹 架构变革对开发者意味着什么

一、🏆 Transformer为何能统治AI世界

在聊”下一代”之前，先搞清楚Transformer凭什么赢。

核心秘密武器：自注意力机制（Self-Attention）。

传统循环神经网络（RNN）像传话筒——信息一个接一个往后传，传到末尾时开头的信息早已走样。Transformer则像圆桌会议，每个词都能直接”看到”句子里所有其他词，沟通效率天壤之别。

这三条优势叠加，让Transformer从NLP扩展到视觉（ViT）、语音、蛋白质折叠，几乎无所不能。

💬 关键观点：Transformer的成功不是偶然，而是并行计算+长距离建模+规模扩展三重优势叠加的结果。理解了这三点，才能理解”接班人”要解决什么。

二、💥 Transformer的阿喀琉斯之踵：二次复杂度

自注意力机制有一个致命问题——O(N²) 复杂度。

每个词要和所有其他词做一次比较。输入有 N 个 token，计算量就是 N²。

输入长度      计算量（相对值）
1,000        100万
10,000       1亿
100,000      100亿
1,000,000    1万亿

输入长度增加 10倍，计算量增加 100倍。

这直接带来三个工程难题：

• 上下文窗口受限：GPT-4 最初只有 8K token 上下文，扩到 128K 代价巨大
• 内存爆炸：KV Cache 随序列长度线性增长，长对话轻松吃掉几十GB显存
• 推理越来越慢：序列越长，生成每个新 token 越费时

💬 关键观点：O(N²) 是Transformer的原罪。上下文窗口从 8K 扩到 200K，背后是算力成本的爆炸式增长。这个问题不解决，AI 应用的边界就无法突破。

三、🐍 挑战者一：Mamba 与状态空间模型

2023年底，Mamba横空出世，O(N²) → O(N)。

Mamba 属于状态空间模型（SSM）。核心思路：不让所有词互相看，而是维护一个”固定大小的状态”——就像一个不断更新的笔记本，每读一个新词就更新笔记，然后根据笔记做判断。

关键：笔记本大小固定。输入多长，笔记本就那么大。

Mamba 的核心创新叫选择性状态空间模型——根据输入内容动态决定保留什么、忘记什么。

Mamba-2 进一步证明：Mamba 的状态更新可以被理解为一种特殊的线性注意力机制，两条技术路线在数学上开始收敛。

💬 关键观点：Mamba 是目前最有竞争力的 Transformer 替代方案——不是因为它完全不同，而是因为它用线性复杂度近似实现了注意力的核心功能。

四、🦅 挑战者二：RWKV

RWKV（Receptance · Weight · Key · Value）的思路更激进：把 RNN 和 Transformer 的优点合二为一。

• 训练时：像Transformer一样并行计算（效率高）
• 推理时：像RNN一样逐token处理（内存恒定）

打个比方：Transformer 像把整本书摊开同时看，内存得够大；RWKV 像记忆力超强的读者，一页一页翻，但每翻一页都能记住所有重要内容。

最新版本 RWKV-6/Eagle/Finch 在多个基准测试上已能和同规模 Transformer 持平，且有活跃的开源社区持续推动。

五、🔧 改良派：线性注意力

不想彻底抛弃注意力机制？还有一条”改良”路线——把注意力变成线性的。

传统注意力用 Softmax(QK^T)V，正是 QK^T 这步导致了 O(N²)。线性注意力的思路：去掉或替换 Softmax，让乘法顺序可以改变，复杂度降到 O(N)。

代表性工作：

• Linear Transformer：用核函数替代 Softmax
• RetNet（微软）：引入指数衰减机制
• GLA（Gated Linear Attention）：加入门控机制提升表达能力
• Based：结合线性注意力和滑动窗口注意力

这条路线的优势：和 Transformer 生态兼容性好，现有大量优化技巧可以复用。

六、🔀 混合架构：也许答案不是非此即彼

越来越多的研究指向同一个结论：未来最好的架构可能是混合体。

Jamba（AI21 Labs）就是典型——混合了 Transformer 层和 Mamba 层。某些层用 Mamba 做高效序列建模，某些层用注意力机制捕捉复杂依赖。就像足球队里既要有跑动快的前锋，也要有控球稳的中场。

各大机构的探索方向：

💬 关键观点：混合架构代表了一种务实的工程哲学——不是找到”唯一正确答案”，而是在不同层用最合适的组件。这很可能是下一代主流大模型的实际形态。

七、⏳ Transformer会被取代吗？诚实的预判

短期（1-2年）：不会被取代。

• 生态太成熟：围绕 Transformer 的工具链、训练框架、推理引擎都已高度完善
• Transformer 自身也在进化：Flash Attention、Ring Attention 等技术持续缓解二次复杂度
• 替代方案未经大规模验证：没有人用 Mamba 或 RWKV 训练过万亿参数的模型

中期（3-5年）：混合架构成为主流。

越来越多的新模型会在底层混合使用注意力机制和状态空间模型，针对不同任务启用最优策略。

长期（5-10年）：可能出现全新范式。

就像 Transformer 当年取代 LSTM 一样——但这需要一篇”Attention Is All You Need”级别的突破性论文，以及在最大规模上的完整验证。

八、👨‍💻 对开发者的实际意义

这些架构层面的变化，对应用开发者影响很实际：

• 🔹 超长上下文窗口：整个代码库、整本书、整个数据库文档一次性喂给 AI
• 🔹 推理成本大幅下降：长文本处理不再是算力奢侈品
• 🔹 边缘设备部署：手机上也能跑能记住长对话的 AI
• 🔹 实时流式应用：流式处理速度更稳定，语音、视频等实时场景受益最大

💬 关键观点：架构革命不只是研究者的事。线性复杂度成熟落地的那天，AI 应用的边界会整体外扩——更长的记忆、更低的成本、更快的响应，所有应用都受益。

🔮 趋势预判

1️⃣ Transformer生态护城河很深，短期不会翻盘 Flash Attention 等工程优化让 Transformer 持续延寿，替代方案需要更长时间积累生态。

2️⃣ Mamba 是目前最有说服力的挑战者 但还需要在 100B+ 规模上完整验证，这需要时间和大量算力。

3️⃣ 混合架构是 3-5 年内最可能的主流形态 纯 Transformer 和纯 SSM 都有短板，混合体取长补短，工程上更务实。

4️⃣ 下一个范式突破点在”推理效率”而非”训练性能” 模型在训练效果上的竞争趋于饱和，推理延迟和成本才是卡点。

📮 今日话题

💬 你认为 Transformer 会在什么时候被取代？是 Mamba、RWKV 还是还没出现的东西？

欢迎留言，我会精选回复讨论。

🔬 本文属于「AI 深度解析」系列，每期一个主题，追本质不追热点。

🎙️ 想听更轻松的版本？我们的每日 AI 快讯播客有更口语化的解读。 📱 关注「小敏说 AI」公众号，深度解析不水文。