2022年8月5日 (五) 04:06 Cslt

2022-08-05T04:06:26Z

Cslt：以“==教学目标== * 了解全连接网络、卷积神经网络、循环神经网络、自编码器的概念及结构特点 * 理解卷积神经网在处理图像任...”为内容创建页面

2022-08-05T04:05:47Z

以“==教学目标== * 了解全连接网络、卷积神经网络、循环神经网络、自编码器的概念及结构特点 * 理解卷积神经网在处理图像任...”为内容创建页面

新页面

==教学目标==

* 了解全连接网络、卷积神经网络、循环神经网络、自编码器的概念及结构特点
* 理解卷积神经网在处理图像任务、卷积神经网络在处理自然语言处理任务的优势
* 理解自编码器可以抽取重要特征的原因

==教学内容==

===全连接网络===

* 多层感知器是罗森布拉特标准感知器的扩展。如果以神经元来计算层数，一个多层感知器至少包含三层：一个输入层，一个隐藏层和一个输出层。
* 数据通过输入层进入网络，乘以连接的权重入后输入到隐藏层节点。隐藏层节点将这些加权后的输入求和并经过一个非线性变换（称为激发函数）后送往输出层。
* 右上图是一个三层多层感知器示意图，右下图是一个非线性变换的例子，其中横轴为输入，纵轴为对应的输出，二者之间呈现非线性关系。
* 一般来说，多屋感知器相邻两层之间的所有节点都是互相连接的，因此也称为全连接网络。全连接网络是最通用的网络结构。然而，在很多实际应用中，数据往往具有特殊的属性，利用这些特殊性构造具有独特结构的网络，往往会取得更好的效果。

===卷积神经网络===

* 卷积神经网络是应用最广泛的具有特殊结构的神经网络之一。这一网络的特点是隐藏层的每个节点只与输入层的部分节点有连接，且这些连接权重是共享的。如右图所示，隐藏层的每个节点只与输入平面上的9个节点连接，且这些连接对所有隐藏节点都是一样的。
* 这种特别的结构在计算上等价于一个以权重为参数的“透镜”在输入平面上的扫描过程，这一过程称为“卷积”，因此称为卷积神经网络。
* 卷积神经网络特别适合具有局部特征，且这些特征在空间上具有不变性的数据。例如一张包含猫脸的图片，猫脸在整张图片中只占有部分区域，因此猫的特征是局部的；同时，不论猫的脸在图片的什么位置，它都是一只猫，这称为空间不变性。卷积神经网络特别适合提取这种局部的、具有空间不变性的特征，因此在图像处理领域得到广泛应用。

===循环神经网络===

* 循环神经网络是包含环形连接的网络，如下图所示，隐藏层包含一个到自身的环形连接。这一特殊的连接将前一时刻的计算结果反馈到下一时刻，作为下一时刻的输入，使得网络具有时序上的记忆能力。
* 如下图所示，将左侧所示的网络连续运行三次，这一顺序运行的过程等价于右侧的展开图。可以看到，因为存在环形连接，每次运行时上一时刻的隐藏层节点的值将输入到下一时刻，因此每一时刻网络的行为都不是独立的，而是取决于之前的运行过程。换句话说，循环神经网络具有记忆功能，网络的输出具有累积效应。

===自编码器===

* 自编码器是另一种重要的神经网络结构。这一网络的训练目标是使得网络的输出尽可能与输入一致，即恢复输入数据。如右图所示，输入是一只猫，网络希望尽可能在输出端恢复这只猫。
* 特殊的是，这一网络的中间层所包含的节点数要小于输入和输出层的节点数。这意味着输入数据在经过中间层时会有信息损失，因此这一层又称为瓶颈层。
* 因为网络要尽可能恢复输入数据，瓶颈层只能选择那些最重要的信息保留下来，这事实上实现了重要特征的提取功能。右图中，瓶颈层保留了猫的轮廓，因为这是恢复输入图片最重要的信息。

@@ 第1行： / 第1行： @@
 ==教学目标==
-* 了解全连接网络、卷积神经网络、循环神经网络、自编码器的概念及结构特点
+*了解全连接网络、卷积神经网络、循环神经网络、自编码器的概念及结构特点
-* 理解卷积神经网在处理图像任务、卷积神经网络在处理自然语言处理任务的优势
+*理解卷积神经网在处理图像任务、卷积神经网络在处理自然语言处理任务的优势
-* 理解自编码器可以抽取重要特征的原因
+*理解自编码器可以抽取重要特征的原因
@@ 第11行： / 第11行： @@
 ===全连接网络===
-* 多层感知器是罗森布拉特标准感知器的扩展。如果以神经元来计算层数，一个多层感知器至少包含三层：一个输入层，一个隐藏层和一个输出层。
+*多层感知器是罗森布拉特标准感知器的扩展。如果以神经元来计算层数，一个多层感知器至少包含三层：一个输入层，一个隐藏层和一个输出层。
-* 数据通过输入层进入网络，乘以连接的权重入后输入到隐藏层节点。隐藏层节点将这些加权后的输入求和并经过一个非线性变换（称为激发函数）后送往输出层。
+*数据通过输入层进入网络，乘以连接的权重入后输入到隐藏层节点。隐藏层节点将这些加权后的输入求和并经过一个非线性变换（称为激发函数）后送往输出层。
-* 右上图是一个三层多层感知器示意图，右下图是一个非线性变换的例子，其中横轴为输入，纵轴为对应的输出，二者之间呈现非线性关系。
+*右上图是一个三层多层感知器示意图，右下图是一个非线性变换的例子，其中横轴为输入，纵轴为对应的输出，二者之间呈现非线性关系。
-* 一般来说，多屋感知器相邻两层之间的所有节点都是互相连接的，因此也称为全连接网络。全连接网络是最通用的网络结构。然而，在很多实际应用中，数据往往具有特殊的属性，利用这些特殊性构造具有独特结构的网络，往往会取得更好的效果。
+*一般来说，多屋感知器相邻两层之间的所有节点都是互相连接的，因此也称为全连接网络。全连接网络是最通用的网络结构。然而，在很多实际应用中，数据往往具有特殊的属性，利用这些特殊性构造具有独特结构的网络，往往会取得更好的效果。
 ===卷积神经网络===
-* 卷积神经网络是应用最广泛的具有特殊结构的神经网络之一。这一网络的特点是隐藏层的每个节点只与输入层的部分节点有连接，且这些连接权重是共享的。如右图所示，隐藏层的每个节点只与输入平面上的9个节点连接，且这些连接对所有隐藏节点都是一样的。
+*卷积神经网络是应用最广泛的具有特殊结构的神经网络之一。这一网络的特点是隐藏层的每个节点只与输入层的部分节点有连接，且这些连接权重是共享的。如右图所示，隐藏层的每个节点只与输入平面上的9个节点连接，且这些连接对所有隐藏节点都是一样的。
-* 这种特别的结构在计算上等价于一个以权重为参数的“透镜”在输入平面上的扫描过程，这一过程称为“卷积”，因此称为卷积神经网络。
+*这种特别的结构在计算上等价于一个以权重为参数的“透镜”在输入平面上的扫描过程，这一过程称为“卷积”，因此称为卷积神经网络。
-* 卷积神经网络特别适合具有局部特征，且这些特征在空间上具有不变性的数据。例如一张包含猫脸的图片，猫脸在整张图片中只占有部分区域，因此猫的特征是局部的；同时，不论猫的脸在图片的什么位置，它都是一只猫，这称为空间不变性。卷积神经网络特别适合提取这种局部的、具有空间不变性的特征，因此在图像处理领域得到广泛应用。
+*卷积神经网络特别适合具有局部特征，且这些特征在空间上具有不变性的数据。例如一张包含猫脸的图片，猫脸在整张图片中只占有部分区域，因此猫的特征是局部的；同时，不论猫的脸在图片的什么位置，它都是一只猫，这称为空间不变性。卷积神经网络特别适合提取这种局部的、具有空间不变性的特征，因此在图像处理领域得到广泛应用。
 ===循环神经网络===
-* 循环神经网络是包含环形连接的网络，如下图所示，隐藏层包含一个到自身的环形连接。这一特殊的连接将前一时刻的计算结果反馈到下一时刻，作为下一时刻的输入，使得网络具有时序上的记忆能力。
+*循环神经网络是包含环形连接的网络，如下图所示，隐藏层包含一个到自身的环形连接。这一特殊的连接将前一时刻的计算结果反馈到下一时刻，作为下一时刻的输入，使得网络具有时序上的记忆能力。
-* 如下图所示，将左侧所示的网络连续运行三次，这一顺序运行的过程等价于右侧的展开图。可以看到，因为存在环形连接，每次运行时上一时刻的隐藏层节点的值将输入到下一时刻，因此每一时刻网络的行为都不是独立的，而是取决于之前的运行过程。换句话说，循环神经网络具有记忆功能，网络的输出具有累积效应。
+*如下图所示，将左侧所示的网络连续运行三次，这一顺序运行的过程等价于右侧的展开图。可以看到，因为存在环形连接，每次运行时上一时刻的隐藏层节点的值将输入到下一时刻，因此每一时刻网络的行为都不是独立的，而是取决于之前的运行过程。换句话说，循环神经网络具有记忆功能，网络的输出具有累积效应。
 ===自编码器===
-* 自编码器是另一种重要的神经网络结构。这一网络的训练目标是使得网络的输出尽可能与输入一致，即恢复输入数据。如右图所示，输入是一只猫，网络希望尽可能在输出端恢复这只猫。
+*自编码器是另一种重要的神经网络结构。这一网络的训练目标是使得网络的输出尽可能与输入一致，即恢复输入数据。如右图所示，输入是一只猫，网络希望尽可能在输出端恢复这只猫。
-* 特殊的是，这一网络的中间层所包含的节点数要小于输入和输出层的节点数。这意味着输入数据在经过中间层时会有信息损失，因此这一层又称为瓶颈层。
+*特殊的是，这一网络的中间层所包含的节点数要小于输入和输出层的节点数。这意味着输入数据在经过中间层时会有信息损失，因此这一层又称为瓶颈层。
-* 因为网络要尽可能恢复输入数据，瓶颈层只能选择那些最重要的信息保留下来，这事实上实现了重要特征的提取功能。右图中，瓶颈层保留了猫的轮廓，因为这是恢复输入图片最重要的信息。
+*因为网络要尽可能恢复输入数据，瓶颈层只能选择那些最重要的信息保留下来，这事实上实现了重要特征的提取功能。右图中，瓶颈层保留了猫的轮廓，因为这是恢复输入图片最重要的信息。

教学参考-16 - 版本历史

2022年8月5日 (五) 04:06 Cslt

Cslt：以“==教学目标== * 了解全连接网络、卷积神经网络、循环神经网络、自编码器的概念及结构特点 * 理解卷积神经网在处理图像任...”为内容创建页面