Self-Attention - 标签 - Luhong's Bloghttps://blog.luhg.cn/tags/self-attention/Self-Attention - 标签 - Luhong's BlogHugo -- gohugo.iozh-CNTue, 09 Jun 2026 00:00:00 +000003什么是Self-Attentionhttps://blog.luhg.cn/03%E4%BB%80%E4%B9%88%E6%98%AFself-attention/Tue, 09 Jun 2026 00:00:00 +0000Luhonghttps://blog.luhg.cn/03%E4%BB%80%E4%B9%88%E6%98%AFself-attention/Self-Attention：Transformer 里最聪明的那个“大脑区域”

如果你只想搞懂 Transformer 里的一个东西，那就搞懂 Self-Attention。 其他组件都可以看作是它的“助理”。

引言：一个困扰了 AI 二十年的老问题

在 Transformer 出现之前，主流的序列模型叫 RNN（循环神经网络）。

]]>