神经网络 · 深度学习 · Transformer · GPT 四层嵌套关系——从最底层的"积木"到最尖端的"成品"

神经网络（Neural Network）

受生物神经元启发，由人工神经元（节点）和可学习的权重连接组成的计算模型。是后面所有概念的物理基础。

• 核心三件套：权重 + 偏置（参数化连接强度）、激活函数（ReLU/Sigmoid 等，引入非线性）、前向/反向传播（用梯度下降调整权重）
• 主要家族：MLP（多层感知机）、CNN（卷积神经网络，处理图像）、RNN（循环神经网络，处理序列）

深度学习（Deep Learning）

深度学习 = 多层（"深"层）神经网络 + 大规模数据 + 强算力（GPU）的训练范式。

• "深"指什么：隐藏层多（通常 ≥ 几层到上百层），能自动学习层次化特征——例如图像识别：边缘 → 纹理 → 部件 → 物体
• 不是新算法：是当网络深到一定程度后、配合大数据和 GPU 才能跑得动的训练方法论
• 历史转折：2012 年 AlexNet（深度 CNN）在 ImageNet 一举夺冠，深度学习时代正式开启

关系澄清：所有深度学习模型都是神经网络 ✅；但不是所有神经网络都是深度学习（浅层网络不算）✅

Transformer

2017 年 Google 在论文 Attention Is All You Need 中提出，专为序列数据设计的架构范式。

• 自注意力（Self-Attention）：让序列中任意两个位置直接"对话"，彻底解决 RNN 长距离依赖衰减问题
• 完全并行化：摆脱 RNN 必须按时间步串行计算的瓶颈，训练效率数量级提升
• 位置编码（Positional Encoding）：用额外向量补回"顺序"信息
• 原始结构：Encoder–Decoder（编码器-解码器各 6 层堆叠），用于机器翻译

关系澄清：Transformer 不是一个具体模型，而是一类架构蓝图。基于它衍生出的著名模型：GPT（只用 Decoder）、BERT（只用 Encoder）、T5（完整 Encoder-Decoder）。

GPT（Generative Pre-trained Transformer）

OpenAI 出的生成式预训练语言模型系列。Transformer 架构最著名的具体实现。

• 只用 Decoder 部分：去掉 Encoder
• 因果掩码（Causal Mask）：每个位置只能看到自己和之前的 token，保证"从左到右"生成
• 预训练任务：自回归语言建模——预测下一个词
• 规模演进：GPT-1（1.17 亿参数，2018）→ GPT-2（15 亿，2019）→ GPT-3（1750 亿，2020）→ GPT-4/4o/4.5（未公开，规模与多模态进一步扩大）

关系澄清：GPT = Transformer 架构 + 自回归预训练 + 海量数据 + 规模化（Scaling Law）。它的成功不仅靠架构，还靠缩放假设和涌现能力。