北大青鸟研究院 出品
04 人工智能技术的觉醒-
深度学习技术框架 01
1
北大青鸟研究院 出品
本章目标
了解深度学习与机器学习的关系
理解深度学习的核心
了解深度学习技术框架的演变历程
重点
难点
重点
2/57
北大青鸟研究院 出品
引入
三者之间的关系
人工智能是计算机科学的一个分支,旨在创
建能够执行人类智能活动的机器。机器学习
是实现人工智能的一种方法,它使计算机系
统能够从数据中学习和改进。深度学习是机
器学习的一个子集,它使用多层神经网络来
模拟人脑的信息处理方式,特别适用于处理
复杂的数据,如图像和语音。
3/57
初识深度学习
北大青鸟研究院 出品
深度学习的核心
人脑 神经网络
5/57
北大青鸟研究院 出品
深度学习的核心
输入层 隐藏层 输出层
整体结构特征
由三层神经元组成
由输入层，隐藏层和输出层三部分组成，每
一层包含若干个神经元。输入层用于接收外
部的数据输入，隐液层是中间处理层，可以
有多层，检出层用于输出最后结果.
相邻展之间的神经元相互连接
神经元之间的连线代表两个神经元相互连接，
每一层的神经元与下一层的神经元相连接，
但是同一层内的神经元之间无连接关系。
6/57
北大青鸟研究院 出品
深度学习的核心
7/57
北大青鸟研究院 出品
深度学习的核心
体育是否
及格（y） 跳远（x1） 跳高（x2） 跑步（x3）
仰卧起坐
（x4） 跳绳（x5） 拉伸（x6） 总分
是（1） 9 9 9 10 56
否（0） 6 7 8 6 7 6 40
用单个神经元来预测体育是否及格
输入x：各项体育项目成绩
权重w：各项目同等重要
偏置b：体育要及格总分需要达到55
激活函数f：采用阶跃函数作为激活函数，
当总分大于55，加权输入大于等于0，阶跃
函数输出为1，否则为0.
输出y：1为合格，0为不合格
8/57
北大青鸟研究院 出品
深度学习的核心
隐藏层1 隐藏层2
9/57
北大青鸟研究院 出品
深度学习的核心
函数表达式： 函数表达式：
10/57
北大青鸟研究院 出品
深度学习的核心
• 最常用的激活函数，计算简单且
有效
• 多分类问题中常用，输出为概率
分布。
• 在避免死神经元的同时，保持网
络的激活效果，适用于深层网络
• 较新的激活函数，表现优于ReLU。
• 输出是零中心的，但也会遇到梯
度消失问题。
ELU/SELU
Swish
Softmax
Tanh
ReLU
常见激活函数
11/57
北大青鸟研究院 出品
传统机器学习与深度学习的对比
维度 传统机器学习 深度学习
模型（函数类别）
机器学习模型通常基于统计学习方法和数学方法，如
逻辑回归（ LR）、决策树（DT）、支持向量机
（SVM）、朴素贝叶斯（NB）等，这些方法从数据中
学习映射函数。
深度学习模型基于层次化的神经网络结构，
如 卷 积 神 经 网 络 、 循 环 神 经 网 络 和
Transformer等，更适合处理复杂的模式识
别任务。
算法（拟合方法）
常用的优化算法有梯度下降法、牛顿法、随机梯度下
降等
主要使用基于梯度的优化算法，如随机梯度
下降等，依赖大量的数值计算和较高的算力
采用反向传播策略
策略（拟合目标）
主要使用损失函数,损失函数通常较为简单，且有明确
的数学形式，用于指导模型在学习过程中的优化方向，
而且通常不涉及激活函数。
损失函数更加多样化，可以结合不同任务、
不同模型和多层网络进行设计，通常具有更
复杂的优化目标。且深度学习模型每一层通
常都包括一个激活函数。
特征工程
需要人工设计和选择特征，特征工程的好坏直接影响
模型性能
采用表示学习，能够自动学习和提取特征直
接使用自然数据(如图像像素)，减少人工特
征工程的需求
12/57
北大青鸟研究院 出品
深度学习的三架马车
Yoshua Bengio 杰弗里.辛顿 杨立昆
2018年，计算机科学界最高荣誉-图灵奖(被誉为"计算机界的诺贝尔奖")授予了三位深度学习领域的杰出
学者，这三位学者因其在深度神经网络研究中的开创性贡献而获此殊荣,他们的工作使深度神经网络成
为现代计算的核心技术之一，因此被誉为深度学习研究的"三驾马车"
13/57
北大青鸟研究院 出品
深度学习中的诺贝尔
戴密斯·哈萨比斯 约翰·江珀 大卫·贝克
2024年诺贝尔化学奖一半授予David Baker；另一半则共同授予Demis Hassabis和John M. Jumper。
德米斯·哈萨比斯和约翰·詹珀成功地利用人工智能技术预测了几乎所有已知蛋白质的结构。而大卫·
贝克掌握了生命的构建模块，并创造了全新的蛋白质。
14/57
北大青鸟研究院 出品
小结
初识深度学习
生物神经元到人工神经网络的发展
人工神经网络由几部分组成
人工神经网络各部分的功能是什么
深度学习中的三架马车是什么
15/57
深度学习的发展历程
北大青鸟研究院 出品
深度学习的发展历程
1943-20世纪
70年代
20世纪80年代 2006年之后 至今
深度学习的古猿时代
深度学习的智人时代
深度学习的觉醒期
深度学习的蓬勃发展期
17/57
北大青鸟研究院 出品
深度学习的古猿时代
由生物神经元到人工神经网络
1943年，心里学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》，提出了MP模型。
MP模型
18/57
北大青鸟研究院 出品
深度学习的古猿时代
hebbian学习规则
1949年，Donald Hebb提出了一项开创性的理
论:Hebbian学习规则。这一规则阐述了神经元
之间连接强度变化的机制:当神经元A频繁地接
收来自神经元B的输入信号，并因此而持续激活
时，这两个神经元之间的突触连接将会增强。
Hebbian 学习规则与巴甫洛夫的"条件反射"理
论在原理上高度一致，而且随后的神经生物学
研究为其提供了实证支持。
19/57
北大青鸟研究院 出品
深度学习的古猿时代
古猿时代的典型代表技术之一-感知机
感知机
二分类效果示例展示
20/57
北大青鸟研究院 出品
深度学习的智人时代 霍普菲尔德网络
霍普菲尔德网络由多个互相连接的神经元组成，
通常每个神经元的状态为二进制(+1或-1)。网络
中的每个神经元与其他所有神经元相连(自连接
除外)，连接权重可以是正值或负值
结构特点
21/57
北大青鸟研究院 出品
深度学习的智人时代 玻尔兹曼机及其变体
玻尔兹曼机由可见层和隐藏层组成，神经元之
间的连接是对称的。每个神经元的状态是二进
制的，且网络的学习通过模拟退火过程来进行。
结构特点
22/57
北大青鸟研究院 出品
深度学习的智人时代 前馈神经网络（多层感知机）
多层感知机由输入层、隐藏层和输出层组成。
各层之间的连接是单向的，同层神经元之间没
有连接。这种结构使得信息可以从输入层逐层
传递到输出层。
结构特点
深度学习基础结构之一
23/57
北大青鸟研究院 出品
深度学习的智人时代
初实践-任务描述
任务描述：训练一个简单的多层感知器（MLP）模型并监
控损失变化
任务目标：使用一个简单的多层感知器（MLP）模型对
MNIST 手写数字数据集进行识别，并记录训练过程中每
一轮的损失值（loss），最终绘制损失变化图来观察模型
的训练效果。
任务流程
24/57
北大青鸟研究院 出品
深度学习的智人时代
前馈神经网络（多层感知机）-初实践
# 定义一个简单的多层感知器（MLP）模型
class SimpleMLP():
def __init__(self):
super(SimpleMLP, self).__init__()
= (28*28, 512) # 第一层全连接层
= (512, 256) # 第二层全连接层
= (256, 10) # 输出层（MNIST数据集有10个
类别）
25/57
北大青鸟研究院 出品
深度学习的智人时代
前馈神经网络（多层感知机）-初实践
def forward(self, x):
x = (-1, 28*28) # 将图像展平
x = ((x))
x = ((x))
x = (x)
return x
26/57
北大青鸟研究院 出品
深度学习的智人时代
前馈神经网络（多层感知机）-初实践
for epoch in range(epochs):
total_loss = 0
for images, labels in train_loader:
_grad() # 清零梯度，避免上一轮梯度对本轮产生
影响
output = model(images) # 将样本输入模型得到预测的结果
loss = criterion(output, labels) # 利用预测结果和真实结果计算
损失
() # 利用损失进行反向传播，计算对应的梯度
() # 利用梯度进行相应的参数更新
total_loss += ()
27/57
北大青鸟研究院 出品
深度学习的智人时代
前馈神经网络（多层感知机）-初实践
# 训练模型并获得损失历史
loss_history = train_model(model,
train_loader, criterion, optimizer, epochs=30)
# 绘制损失变化图
(loss_history)
('Loss History')
('Epoch')
('Loss')
()
28/57
北大青鸟研究院 出品
深度学习的智人时代
反向传播算法
（BP）
输入层 隐藏层 输出层
反向传播算法通过链式法则计算损失函数相对
于每个权重的梯度。首先，前向传播计算输出，
然后通过损失函数计算误差，最后将误差反向
传播以更新权重。
结构特点
深度学习中最重要的训练算法之一
29/57
北大青鸟研究院 出品
深度学习的智人时代
初实践-任务描述
任务描述：使用 多层感知器（MLP） 训练模型
进行鸢尾花（Iris）分类
任务目标：通过构建一个简单的 多层感知器
（MLP） 模型，使用鸢尾花数据集进行分类任
务。我们通过数据预处理、定义神经网络结构、
训练过程中的前向传播与反向传播、损失计算、
优化器更新等步骤，完成模型训练，并记录每一
轮的损失和精度。
任务流程
30/57
北大青鸟研究院 出品
深度学习的智人时代
反向传播算法（BP）-初实践
鸢尾花数据介绍Iris 鸢尾花数据集是一个经典数
据集，在统计学习和机器学习领域都经常被用
作示例。数据集内包含 3 类共 150 条记录，每
类各 50 个数据，每条记录都有 4 项特征：花
萼长度、花萼宽度、花瓣长度、花瓣宽度，通
过这4个特征预测鸢尾花卉属于（iris-setosa,
iris-versicolour, iris-virginica）中的哪一品种
31/57
北大青鸟研究院 出品
深度学习的智人时代
反向传播算法（BP）-初实践
lr = #学习率
epochs = 300
n_feature = 4 # 输入特征(鸢尾花四个特征)
n_hidden = 20 # 隐含层
n_output = 3 # 输出(鸢尾花三种类别)
32/57
北大青鸟研究院 出品
深度学习的智人时代
反向传播算法（BP）-初实践
iris = _iris() # 下载并导入数据
# 划分数据集和测试集
x_train0, x_test0,y_train,y_test =
train_test_split(,,test_size=,random_state= 22)
# 归一化
x_train = ((x_train0))
x_test = ((x_test0 ))
for i in range(4):
xMax = (x_train0[:,i])
xMin = (x_train0[:,i])
x_train[:,i] = (x_train0[:,i] - xMin)/(xMax - xMin)
x_test[:,i] = (x_test0[:,i] - xMin)/(xMax - xMin)
33/57
北大青鸟研究院 出品
深度学习的智人时代
反向传播算法（BP）-初实践
class bpnnModel():
def __init__(self, n_feature, n_hidden, n_output):
super(bpnnModel, self).__init__()
= (n_feature, n_hidden) # 定义隐藏层网
络
= (n_hidden, n_output) # 定义输出层网络
def forward(self, x):
x = ((x)) # 隐藏层的激活函数,采用relu,也可以采用
sigmod,tanh
out = ((x), dim=1) # 输出层softmax激活函数
return out
34/57
北大青鸟研究院 出品
深度学习的智人时代
反向传播算法（BP）-初实践
net = bpnnModel(n_feature=n_feature, n_hidden=n_hidden,
n_output=n_output)
optimizer = ((), lr=lr) # 优化器选用随
机梯度下降方式
loss_func = () # 对于多分类一般采用的交
叉熵损失函数
35/57
北大青鸟研究院 出品
深度学习的智人时代
反向传播算法（BP）-初实践
loss_steps = (epochs) # 保存每一轮epoch的损失函数值
accuracy_steps = (epochs) # 保存每一轮epoch的在测试集上
的精度
for epoch in range(epochs):
y_pred = net(x_train) # 前向过程
loss = loss_func(y_pred, y_train) # 输出与label对比
_grad() # 梯度清零
() # 反向传播
() # 使用梯度优化器
loss_steps[epoch] = () # 保存loss
# 下面计算测试机的精度，不需要求梯度
36/57
北大青鸟研究院 出品
深度学习的智人时代
卷积神经网络
包含了多个卷积层和池化层。卷积层负责捕捉图像中的特征，就像我们的眼睛识别物体的轮廓和纹
理一样。池化层则帮助网络抓住重要特征，同时减少数据量，使得计算更加高效。
结构特点
37/57
北大青鸟研究院 出品
深度学习的智人时代
初实践-任务描述
任务描述：
训练并测试 LeNet 卷积神经网络进行 MNIST 数字分类
任务目标：
使用 LeNet 卷积神经网络（CNN）进行 MNIST 数据集的数字分
类。
训练并评估模型的性能，最终计算测试集上的准确率。
任务流程
38/57
北大青鸟研究院 出品
深度学习的智人时代
卷积神经网络-初实践
#计算出mnist数据中的均值与标准差，便于进行标准化
train_dataset=MNIST(root='/MNIST_data',train=True,download=True,
transform=())
train_loader=DataLoader(train_dataset,shuffle=True,batch_size=60000)
for img,target in train_loader:
x=(-1,28*28)
print()
print(())
print(())
print(set(())) #查看标签有多少个类别
break
39/57
北大青鸟研究院 出品
深度学习的智人时代
卷积神经网络-初实践
batchsize = 64
shuffle = True #shuffle表示是否将数据集打
乱
epoch= 10
learning_rate =
momentum =
40/57
北大青鸟研究院 出品
深度学习的智人时代
卷积神经网络-初实践
class LeNet():
def __init__(self):
super().__init__()
= (
(1, 6,
kernel_size=5),
(),
(kernel_size=2,stride=2),
)
......
= (
(256,
120),
(120,
84),
(84,10)
)
41/57
北大青鸟研究院 出品
深度学习的智人时代
卷积神经网络-初实践
def forward(self, x):
batch_size = (0)
x = (x)
x = (x)
x = (batch_size, -1) # flatten 变成
全连接网络需要的输入
x = (x)
return x # 最后输出的是维度为10的，也
就是（对应数学符号的0~9）
42/57
北大青鸟研究院 出品
深度学习的智人时代
卷积神经网络-初实践
model=LeNet()
criterion = () # 交叉熵
损失
optimizer = ((),
lr=learning_rate, momentum=momentum)
43/57
北大青鸟研究院 出品
深度学习的智人时代
卷积神经网络-初实践
def train(epoch):
running_loss = # 这整个epoch的loss清零
running_total = 0
running_correct = 0
....
() #反向传播得到每个参数的梯度值
() #通过梯度下降执行参数更新
44/57
北大青鸟研究院 出品
深度学习的智人时代
卷积神经网络-初实践
def test():
correct = 0
total = 0
with _grad(): # 测试集不用算梯度
for data in test_loader:
images, labels = data
outputs = model(images)
values, predicted = (, dim=1)
total += (0)
correct += (predicted == labels).sum().item()
acc = correct / total
45/57
北大青鸟研究院 出品
深度学习的智人时代
循环神经网络
循环神经网络的核心在于其独特的递归结构设计。与传统的前馈神经网络不同，RNN 的神经元之间
形成了循环连接，就像人类阅读文字时会记住前文内容一样，RNN 通过将当前的隐藏状态传递给下
一时刻，能够捕捉时间序列中的动态模式。
结构特点
46/57
北大青鸟研究院 出品
深度学习的觉醒期
学术界的觉醒-深度置信网络
（DBN）
改善了梯度消失和梯度爆炸问题
无
向
图
有
向
图
多个RBM（受限玻尔兹曼机）堆叠起来，就得到
了深度玻尔兹曼机（DBM）；如果在DBM最远离
可视层的部分仍保持RBM不变,其他层（左图下
部和中部）使用贝叶斯信念网络（Bayesian
Belief Network）（RBM是无向图，贝叶斯网络
是有向图），就得到了深度信念网络（DBN）
结构特点
47/57
北大青鸟研究院 出品
深度学习的觉醒期 工业界的觉醒-Imagenet数据集和Alexnet模型结合
ImageNet数据集示例 AlexNet模型参数
48/57
北大青鸟研究院 出品
深度学习的觉醒期
AlphaGO围棋比赛
科技认知
的转变
AIGC
职业前景的
重新评估
教育体系
的反思
伦理和哲
学思考
围棋界的变
革
跨领域应
用的启发
49/57
北大青鸟研究院 出品
深度学习的蓬勃发展时期
Transformer
50/57
北大青鸟研究院 出品
深度学习的蓬勃发展时期
预训练模型的兴起
GP
T
openAI
自然语
言生成
任务
Predict
Next
Token
自回归
语言建
模
Bert
Google
AI
自然语
言理解
任务
Masking
Input
自编码
语言建
模
V
S
51/57
北大青鸟研究院 出品
深度学习的蓬勃发展时期 深度学习的多领域扩展与应用
2018-2019 2018-2019
2018-20192018-2019
2018-2019 2018-2019
视觉模型VIT
多模态学习clip
chatgpt
Alphafold2/3：蛋白
质结构预测的革命
stable diffusion
sora文生视频的突破
52/57
北大青鸟研究院 出品
小结
深度学习都经历了哪些时期
各个时期的代表技术有哪些？
卷积神经网络有几层？
GPT和Bert之间的共同点和区别？
53/57
学会使用简单的AI工具
北大青鸟研究院 出品
实战训练1—AI辅助学习
任务描述
探索深度学习技术在自然语言处理中的应用，任务重点是通过AI生成文本内容，并探索大模型在文本生成、
文本总结、情感分析等任务中的应用。
任务要求
1. 文本生成：使用AI对话工具实现文本生成，使用大语言模型（如GPT系列）生成与深度学习相关的科普
文章或技术说明，内容应包括深度学习模型的介绍、应用场景、Transformer架构的核心原理等，推荐工
具「智谱清言」（
2. 图片生成：结合深度学习的视觉技术，使用AI绘图工具生成与深度学习、神经网络等相关的图示或插图。
推荐工具「豆包」（）
3. 视频生成：通过AI视频生成工具，制作解释Transformer架构、深度学习原理等内容的教学视频，推荐工
具「即梦Dreamina」，地址：
4. AI搜索：使用AI搜索工具进行深度学习领域的文献搜索，快速获取最新的技术文章、研究论文和实践经
验，推荐工具「秘塔」（
55/57
北大青鸟研究院 出品
作业
作业1:课后习题 1~2
课后习题
作业2（选做）
利用bp神经网络解决鸢尾花分类问题
利用lenet解决手写数字识别问题
56/57
北大青鸟研究院 出品
