面经

1. Transformer模型的结构

Transformer模型是由Vaswani等人在2017年提出的一种深度学习模型，主要用于自然语言处理任务，如翻译、文本生成等。Transformer模型的核心架构由编码器（Encoder）和解码器（Decoder）组成。以下是Transformer模型的详细结构：

1. 编码器（Encoder）

编码器部分由N个相同的编码器层（Encoder Layer）堆叠而成。每个编码器层包括两个子层：

a. 多头自注意力机制（Multi-Head Self-Attention Mechanism）

• 输入：一组向量表示（如单词的词嵌入）。
• 输出：对输入向量进行加权求和，以捕捉全局依赖关系。
• 多头机制：通过多个注意力头（Attention Heads）来捕捉不同子空间的特征。

b. 前馈神经网络（Feed-Forward Neural Network）

• 包含两个线性变换层和一个激活函数（通常是ReLU）。
• 输入：经过多头自注意力机制后的输出。
• 输出：经过非线性变换后的表示。

每个子层后都有一个残差连接（Residual Connection）和层归一化（Layer Normalization）。

2. 解码器（Decoder）

解码器部分也由N个相同的解码器层（Decoder Layer）堆叠而成。每个解码器层包括三个子层：

a. 多头自注意力机制（Masked Multi-Head Self-Attention Mechanism）

• 类似于编码器中的多头自注意力机制，但这里的自注意力是被掩盖的，以确保解码过程中当前词只能关注到之前的词。

b. 编码器-解码器注意力机制（Encoder-Decoder Attention Mechanism）

• 输入：编码器的输出和解码器自注意力的输出。
• 输出：结合编码器信息和当前解码步骤信息的表示。

c. 前馈神经网络（Feed-Forward Neural Network）

• 与编码器中的前馈神经网络类似。

每个子层后也有残差连接和层归一化。

3. 位置编码（Positional Encoding）

由于Transformer没有卷积和循环结构，它使用位置编码来注入关于序列顺序的信息。这些位置编码是添加到输入向量中的。

4. 全局架构

• 编码器：将输入序列编码为一组隐层表示。
• 解码器：基于编码器的表示和之前生成的词，生成输出序列。

注意力机制（Attention Mechanism）

Transformer的核心是注意力机制，特别是自注意力机制。以下是其关键步骤：

1. 计算注意力分数（Scores）：

   $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V$$

   其中，( Q ) 是查询矩阵，( K ) 是键矩阵，( V ) 是值矩阵，( d_k ) 是键向量的维度。

2. 多头注意力（Multi-Head Attention）：
   通过并行的多个注意力头来学习不同的特征表示：

   $$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \text{head}_2, \ldots, \text{head}_h) W^O$$

   每个头的计算方法类似，但使用不同的参数。

总结

Transformer模型通过并行化的多头自注意力机制和前馈神经网络，极大地提高了序列到序列任务的效率和性能。它在许多自然语言处理任务中都取得了显著的成功，并成为了现代自然语言处理的基石。

2. 为什么要用 SwimTransformer 而不用cnn

Swin Transformer 和 CNN（卷积神经网络）在架构和处理图像的方式上有显著的区别。以下是对这两者的详细比较以及Swin Transformer的优势：

1. 架构区别

CNN（卷积神经网络）

• 基本单元：卷积层（Convolutional Layer），通过卷积核（filter）提取局部特征。
• 特征提取方式：局部感受野（Local Receptive Field），在输入图像的局部区域内滑动卷积核进行特征提取。
• 池化层（Pooling Layer）：用于下采样，减小特征图尺寸，通常使用最大池化（Max Pooling）或平均池化（Average Pooling）。
• 层次结构：通常由多个卷积层、池化层和全连接层（Fully Connected Layer）堆叠而成。

Swin Transformer（滑动窗口Transformer）

• 基本单元：Transformer编码器层（Transformer Encoder Layer），采用自注意力机制（Self-Attention Mechanism）。
• 特征提取方式：通过滑动窗口（Sliding Window）进行局部注意力计算，划分图像为不重叠的窗口，在每个窗口内计算自注意力。
• 分层结构：包括多层Swin Transformer块，每个块包含局部注意力机制、跨窗口连接和前馈网络。
• 多尺度表示：通过分层设计实现多尺度特征提取，类似于CNN中的层次结构，但更灵活。

2. 优势比较

CNN 的优势

1. 计算效率高：卷积操作在计算和内存上都非常高效，特别适合在图像处理中应用。
2. 局部特征提取：擅长提取局部特征，如边缘、纹理等，适用于大多数图像识别任务。
3. 结构简单：卷积层和池化层的设计简单明了，易于理解和实现。

Swin Transformer 的优势

1. 全局建模能力：通过自注意力机制，能够在整个图像范围内建立全局上下文关系，而不仅仅局限于局部区域。
2. 灵活的窗口设计：滑动窗口机制结合了局部和全局特征提取的优势，通过窗口内和跨窗口的注意力计算，能够更好地捕捉多尺度信息。
3. 适应性强：可以通过改变窗口大小和层数，灵活调整模型以适应不同规模和复杂度的任务。
4. 统一架构：Transformer架构在自然语言处理和计算机视觉任务中的成功应用，表明其在处理不同类型数据上的强大适应性。

为什么使用 Swin Transformer 而不是 CNN

1. 全局特征提取：Swin Transformer的自注意力机制可以在整个图像上建模长距离依赖关系，适合处理需要全局上下文信息的任务，如目标检测和语义分割。
2. 多尺度特征：通过滑动窗口和分层设计，Swin Transformer能够更好地捕捉不同尺度的特征，这在多尺度特征非常重要的任务中表现出色。
3. 灵活性和扩展性：Swin Transformer具有很强的灵活性，可以方便地扩展和调整以适应不同的任务和数据规模。而CNN的结构较为固定，适应性相对较差。
4. 一致性和统一性：Transformer在不同任务中的成功应用，使其成为一种通用的架构，便于在不同任务之间共享和转移学习，而不需要设计不同的模型。

总结

虽然CNN在计算效率和局部特征提取方面具有优势，但Swin Transformer通过结合自注意力机制和滑动窗口设计，实现了更强的全局建模能力和多尺度特征提取能力，适应性更强，尤其在处理复杂图像任务时表现出色。因此，在需要全局上下文信息和多尺度特征的任务中，使用Swin Transformer往往能够获得更好的效果。

3.为什么transformer 需要mask（掩码）

Transformer中的mask（掩码）在不同的阶段和子模块中有不同的用途，主要是为了控制注意力机制的范围和确保模型生成输出时的正确性。以下是Transformer中不同类型mask的详细说明及其原因：

1. 自注意力中的Mask（Self-Attention Mask）

a. Padding Mask（填充掩码）

• 用途：用于忽略填充部分的影响。
• 位置：在输入序列中。
• 原因：在处理变长序列时，输入序列通常被填充到相同长度。填充部分（通常是零）不应该影响注意力机制的计算，因此使用填充掩码来忽略这些位置。
• 实现：将填充位置的注意力分数设为负无穷大，以确保softmax后的注意力权重为零。

b. Look-Ahead Mask（前瞻掩码，也称为Causal Mask/未来掩码）

• 用途：确保在解码阶段，每个位置只能看到当前及之前的位置，不能看到未来的位置。
• 位置：在解码器中的自注意力层。
• 原因：在序列生成任务中（如语言模型或翻译），当前步骤的输出不能依赖未来的输入，因此需要前瞻掩码来阻止模型在当前时间步关注到未来时间步的信息。
• 实现：通过一个上三角矩阵来掩盖未来位置，将未来位置的注意力分数设为负无穷大。

2. 编码器-解码器注意力中的Mask

a. Padding Mask

• 用途：在编码器-解码器注意力中，解码器需要关注编码器的输出，因此也需要忽略填充部分的影响。
• 位置：在解码器的编码器-解码器注意力层。
• 原因：类似于自注意力中的填充掩码，确保解码器不会在注意力计算中考虑编码器输出中的填充位置。
• 实现：与自注意力中的填充掩码相同，将填充位置的注意力分数设为负无穷大。

3. 总结

为什么需要Mask？

1. 处理变长输入：保证填充部分不会影响注意力机制的计算，确保模型只关注实际输入部分。
2. 保证因果性：在序列生成任务中，保证生成的每一步只依赖于当前及之前的信息，而不泄露未来的信息。
3. 提高模型性能：通过适当的掩码操作，可以提高模型训练的有效性和稳定性，避免无意义的注意力计算。

实际例子

自注意力中的Look-Ahead Mask

假设我们有一个输入序列[A, B, C, D]，在生成时，模型不应该在生成B时看到C和D。

生成Look-Ahead Mask的矩阵如下：

[
 [0, -inf, -inf, -inf],
 [0, 0, -inf, -inf],
 [0, 0, 0, -inf],
 [0, 0, 0, 0]
]

在这个矩阵中，0表示可以关注，-inf表示掩盖。

Padding Mask

假设输入序列[A, B, PAD, PAD]，PAD表示填充位置。

生成的Padding Mask如下：

[
 [1, 1, 0, 0]
]

在这个向量中，1表示实际输入位置，0表示填充位置。

结论

Mask在Transformer中起到了重要的作用，通过控制注意力机制的范围，确保模型在训练和推理过程中关注正确的信息，提高模型的性能和稳定性。