深度学习

Deep Learning
使用深层神经网络来学习复杂的数据表示。
神经网络 (Neural Networks): 由大量节点（或称为“神经元”）组成的网络，可以学习和模拟复杂的函数映射。
神经网络的主要作用是从数据中学习和提取特征，能够自动进行模式识别和预测任务。由于其强大的非线性建模能力，神经网络在图像识别、语音识别、自然语言处理等领域取得了显著的成果。神经网络的多层结构使其能够捕捉数据中的复杂关系和特征。

神经网络的结构: 一个典型的神经网络由以下部分组成：

1. 输入层 (Input Layer): 接收外部输入数据。
2. 隐藏层 (Hidden Layer): 通过一系列权重和激活函数对输入数据进行处理和转换。一个神经网络可以有一个或多个隐藏层。
3. 输出层 (Output Layer): 生成最终的预测或分类结果。

数学表示：

神经网络的基本计算过程可以用以下公式表示：

其中：

• $a^{(l)}$ 是第 $l$ 层的激活值 (输出)。
• $W^{(l)}$ 是第 $l$ 层的权重矩阵。
• $b^{(l)}$ 是第 $l$ 层的偏置向量。
• $f$ 是激活函数，如 ReLU、Sigmoid 等。

CNN
RNN
ResNet
LSTM
Word2Vec
Transformer
GAN
Diffusion
GNN

Deep Learning

学习数据高层次的抽象
Learing Feature Representations
表征学习
对数据的自动特征提取、自动学习和理解
自动学习数据的层次化表征
Hierarchical Representations
End-to-End Learning
端对端学习
逐层表征抽象

Deep Neural Networks

Feedforward neural networks
难以训练、一般不使用，本质还是多层感知机

Convolution neural networks （CNN）
卷积层
特征矩阵
AlexNet
VGGNet
ResNet 视觉领域最为流行