深度学习主要架构

不同网络架构，本质上是在利用不同的数据结构假设。图片具有局部空间关系，文本具有长距离上下文，社交和分子数据具有图关系。架构选择应从数据结构和任务开始。

MLP：通用的全连接网络

MLP 中每个输出单元与上一层所有输入相连。它实现简单，但不会天然利用图片局部关系或序列顺序。

适合：

• 维度固定的数值特征。
• 其他模型顶部的分类或回归头。
• 小型非线性映射。

局限是参数随输入维度快速增长，对空间和顺序结构利用不足。

CNN：利用局部和共享结构

卷积核在输入上滑动，对不同位置复用同一组参数。它带来两个重要性质：

• 局部感受野：先关注邻近像素或时间点。
• 参数共享：同一个模式可以在不同位置被识别。

CNN 不只用于图片，也可处理音频频谱和一维时序。目标检测、图像分割会在 CNN 或视觉 Transformer 主干上增加对应任务头。

RNN 和 LSTM：沿时间传递状态

RNN 按顺序读取输入，并把隐藏状态传给下一步。LSTM 和 GRU 使用门控缓解长期依赖和梯度问题。

优点是天然支持顺序和流式状态；局限是难以大规模并行，长距离信息容易衰减。它们仍适用于部分实时、轻量时序任务，但大规模语言建模已主要转向 Transformer。

Transformer：用 Attention 建立关系

Transformer 把序列位置表示为向量，通过 Attention 计算各位置之间的相关程度，再聚合信息。

核心模块通常包括：

1. Token 或 Patch Embedding。
2. 位置编码。
3. 多头自注意力。
4. 前馈网络。
5. 残差连接和归一化。

它适合并行训练，也能通过扩展数据、参数和算力获得更强能力。代价是标准 Attention 的计算和显存会随序列长度快速增长。

Encoder、Decoder 与 Encoder-Decoder

结构	信息方式	典型任务
Encoder	双向理解完整输入	分类、Embedding、检索
Decoder	只看当前位置之前内容，逐步生成	文本生成、大语言模型
Encoder-Decoder	编码输入，再条件生成输出	翻译、摘要、语音识别

不同模型的训练目标和注意力遮罩不同，不能只看到 Transformer 就认为运行方式相同。

GNN：处理图关系

图神经网络在节点和边之间传递信息。例如分子中的原子是节点、化学键是边；交易网络中的账户是节点、转账是边。

GNN 适合关系本身就是关键信号的任务，但需要处理大图采样、动态图更新和过度平滑问题。

Diffusion：学习逐步去噪

扩散模型训练时逐步向数据加入噪声，再学习如何反向去噪。生成时从噪声开始，经过多步得到图像、音频或视频。

它生成质量高、训练相对稳定，但多步采样会增加推理延迟。实际系统常采用更少采样步数、蒸馏或专用加速。

架构选型

数据和约束	常见起点
小规模表格数据	树模型或小型 MLP
图片分类、检测、分割	预训练 CNN 或视觉 Transformer
文本理解和生成	预训练 Transformer
低延迟流式时序	一维 CNN、RNN、轻量 Transformer
显式关系网络	GNN
高质量内容生成	自回归模型或 Diffusion

先从成熟预训练模型和基线开始，再根据数据、精度和部署限制决定是否更换架构。