摘要：本文从嵌入层出发，梳理各向异性痛点、自注意力公式及位置编码本质，重点通过“我爱你”三字示例逐层推演矩阵形状演变，直观展示 Q/K/V 的动态扩展、n×n 注意力分数的计算过程，并对比绝对位置与 RoPE 在长文本下的行为差异，帮助读者理解权重矩阵与序列长度的解耦关系，以及 RoPE 如何绕过硬边界实现长度外推。目录1. 嵌入层（Embedding Layer）2. 痛点：各向异性（Anisotropy）3. 自注意力（Self‑Attention）4. 位置编码（Positional Encoding）5. 不可省略的关键计算细节：矩阵形状演变6. 总结1. 嵌入层（Embedding Layer）嵌入层是 Transformer 模型的最底层模块，也是自然语言进入神经网络的"翻译官"。它的核心任务只有一个：把离散的 Token ID 映射为连续的稠密向量。这个映射过程看起来简单，但其中蕴含的细节远比直觉复杂。1.1 嵌入矩阵的结构与参数量嵌入层的本质是一个巨大的查找表——嵌入矩阵E ∈ R|V|×d，其中|V|是词表大小，d是模型的隐藏维度。以 Llama‑3‑8B 为例：词表大小约为 128,000（128K），隐藏维度为 4096，嵌入矩阵的参数量 = 128K × 4096 ≈5.24 亿。这意味着仅仅是 "Token → 向量" 这一个步骤，就占用了 5 亿多个可训练参数，远超很多小型模型的全部参数量。更值得注意的是，在绝大多数 Transformer 实现中，嵌入层与最后的 LM Head（输出投影层）共享权重。这被称为 "Weight Tying"，它能有效减少参数量（否则还要再加 5 亿参数用于输出投影），同时让输入和输出空间保持一致，提升训练稳定性。1.2 从文本到 ID：分词器（Tokenizer）的工作在嵌入矩阵查表之前，还有关键的一步：分词（Tokenization）。模型并不是按"字"来处理文本，而是按"Token"。以中文为例，BPE（Byte‑Pair Encoding）或 SentencePiece 等子词分词算法会将文本切分为高频子词单元：输入文本："Transformer 模型很棒"分词结果：["Transform", "er", "模型", "很棒"]（示意，实际取决于词表）映射为 ID：[4521, 89, 7623, 12045]每个 ID 随后作为索引，在嵌入矩阵中取出对应的d维向量。如果某个词不在词表中（OOV，Out of Vocabulary），子词分词会将其拆解为更小的已知单元，从而保证任何文本都能被模型的嵌入层消化。这是现代 LLM 能够处理任意输入的基础能力。1.3 嵌入向量的初始化与训练嵌入矩阵的初始值对训练收敛速度有显著影响。常见做法有两种：随机初始化：使用正态分布（均值 0，标准差 1/√d）或均匀分布进行初始化，让初始向量在高维空间中近似均匀分布。这是大多数从头训练的模型的默认选择。预训练嵌入：使用 Word2Vec、GloVe 或 FastText 等预训练词向量作为初始值。这种方式在早期 NLP 模型中很常见，但在现代大规模 LLM 中，由于词表规模巨大且训练数据充分，随机初始化更为普遍。随着训练进行，嵌入矩阵会通过反向传播不断更新。每个 Token 的向量逐渐被"推到"语义空间中合适的位置——相似语境的 Token 靠近，无关的疏远。这个过程完全由训练目标和数据分布驱动，不需要任何人工标注的语义关系。1.4 语义几何：为什么 King−Man+Woman≈Queen？嵌入层最经典的类比是：King − Man + Woman ≈ Queen。这个等式的本质在于，高维向量空间中的线性运算可以捕捉语义方向的偏移。向量 "King − Man" 近似代表了 "王权 / 男性移除" 的方向，在这个方向上加上 Woman，就会落到 Queen 附近。更一般地说，训练良好的嵌入空间具有以下几何性质：相似性：语义相近的词（如"猫"和"狗"）余弦相似度较高；类比性："男孩 − 女孩 ≈ 国王 − 女王"；聚类性：相同类别的词汇会自然聚集（国家名、动词、形容词各成区域）；维度可解释性（部分情况下）：某些维度可能对应具体特征（如性别、时态、情感极性），但这并非总能观察到。这些性质是后续自注意力层能够高效建模长距离依赖的前提条件。如果