教学参考-15 - 版本历史

2022年8月4日 (四) 13:06 Cslt

2022-08-04T13:06:56Z

Cslt：以“==教学目标== * 了解机器学习的四大流派及其背后的基础思想 * 理解不同学派之间的对比优缺点 * 理解不同学派在同历史阶段...”为内容创建页面

2022-08-04T09:34:26Z

以“==教学目标== * 了解机器学习的四大流派及其背后的基础思想 * 理解不同学派之间的对比优缺点 * 理解不同学派在同历史阶段...”为内容创建页面

新页面

==教学目标==

* 了解机器学习的四大流派及其背后的基础思想
* 理解不同学派之间的对比优缺点
* 理解不同学派在同历史阶段兴盛发展的原因

==教学内容==

===符号学派===

* 符号学派起源于基于符号演算的人工智能方法。传统上，符号系统的知识是人为定义的，是不可更改的。然而，真实场景中还可能出现一些没有被覆盖的新知识。不论哪种场景，这涉及到对知识库的修改。
* 引入学习方法，基于实际数据对知识内容或其应用顺序进行调整，或总结出新知识，可以使符号系统的适用性更强。
* 符号学派的学习能力较弱，一般不允许对知识主体做大规模改动。

===贝叶斯学派===

* 贝叶斯学派将事件描述成变量，将事件之间的相关性描述成变量之间的条件概率。模型设计者可以依据领域知识设计变量之间的条件概率的形式，但不确定其具体参数。
* 以一个预测降雨的贝叶斯概率模型为例，设降雨与云量和湿度都有关系，且具有简单的相关形式如下： P(降雨=1)=sigma(a X 云量 + b X 温度 + c）。
* 在模型学习时，通过调整模型参数（a,b,c)，使得模型尽可能精确地描述训练集中的样本。当训练完成时，即可以通过概率公式计算出不同情况下的降雨可能性。
* 贝叶斯模型将知识存储在概率模型中，具有坚实的理论基础和强大的学习能力。

===连接学派===

* 连接学派的基本思想是通过模拟人的神经系统实现智能。人的神经系统，特别是大脑，是由大量神经元互相连接形成的，每个神经元都具有同样的简单结构，但当它们互相连接起来形成神经网络以后，就可以表现出强大的智能。
* 基于这一思路，连接学派设计了人工神经元网络模型，网络中每个节点模拟一个神经元，神经元互相连接形成功能。这些连接在模型设计时取随机值，并在模型训练时进行调整。因此，神经网络是利用连接的强弱（称为连接权重）来存储知识的。
* 神经网络概念清晰直观，结构简单，可学习性强，在人工智能发展之初就得到研究者的广泛关注。然而，直到近十年，随着数据的积累和深度学习算法的提出，神经网络才真正展现出其特有的优势。
* 右图是用来预测降雨发生与否的神经网络。训练时将训练样本的湿度和云量作为输入，训练目标是使得网络输出尽可能接近样本标记（即是否降雨）。

===符号学派、贝叶斯学派、连接学派比较===

* 符号系统需要大量人为设计，因此知识依赖性最强；概率模型需要设计变量以及变量间的概率关系，知识依赖性较弱；神经网络只需设计网络结构，知识依赖性最低。对应的，符号学派限制最多，可学习性最差，需要的数据最少，概率模型次之，神经网络最为灵活，可学习性最强，数据需求也最大。最后，过于灵活的结构使得神经网络模型难以理解，可解释性下降。

===进化仿生学派===

* 进化仿生学派认为，人类的智能是生物长期进化的结果，包括以交叉繁衍和个体变异为基础的繁衍过程和以自然选择为基础的优胜劣汰机制。模拟这一进化过程可以实现类人的智能。进化仿生学派把优胜劣汰作为产生智能的基础原则。
* 遗传算法是进化仿生学派的代表性算法。这一算法把机器学习的目标函数视为自然选择的标准，将每个可能的解决方案视为种群个体，通过参数互换和随机扰动生成新的解决方案。基于这样的设计，以自然选择为基础的进化过程即可模拟目标函数的优化过程。
* 什么意呢？假设我们想优化一个模型，它有很多参数，记为W。如何做呢？可以采用尝试法，随机生成一个W，然后基于W来计算目标函数值。把那些取得较高目标函数（假设目标函数越大越好，如果某个问题不是这样，可加个负号将最小化问题转成最大化问题）的W拿出来组成一个种群，让这个种群交叉、变异，生成新种群W'，再去计算新种群W'的目标函数。这意味着我们是用目标函数作为进化的目标来进行自然选择的。这样的过程重复进行，即可得到越来越好的个体，即具有更高目标函数值的解W。
* 和前四个学派不同，进化仿生方法并不对应特别的模型，而是一种优化方法。这一方法可用于优化符号系统、概率模型或神经网络，也可以用于求解不具有明确模型结构的一般性问题，如右图所示的天线设计。

@@ 第1行： / 第1行： @@
 ==教学目标==
-* 了解机器学习的四大流派及其背后的基础思想
+* 理解人工神经网络实现人工智能的基本思想
-* 理解不同学派之间的对比优缺点
+* 了解神经网络研究的基本历史进程及重要历史事件
-* 理解不同学派在同历史阶段兴盛发展的原因
+* 引导学生思考科学研究的曲折性
 ==教学内容==
-===符号学派===
+===大脑中的神经网络===
-* 符号学派起源于基于符号演算的人工智能方法。传统上，符号系统的知识是人为定义的，是不可更改的。然而，真实场景中还可能出现一些没有被覆盖的新知识。不论哪种场景，这涉及到对知识库的修改。
+* 我们的大脑是由超过1千亿个神经元组成的，这些神经元都是同质的，而且功能很简单，但当大量神经元连接在一起时，就可以完成很复杂的功能。特别重要的是，神经元之间的连接是可学习的，我们就是通过这种能力，慢慢学会了各种技能。
-* 引入学习方法，基于实际数据对知识内容或其应用顺序进行调整，或总结出新知识，可以使符号系统的适用性更强。
+* 婴儿出生以后，大脑中神经元连接的数量随着年龄增长而逐渐增加。到一定年龄以后，连接数量不再增加，但连接的结构性会增强。
-* 符号学派的学习能力较弱，一般不允许对知识主体做大规模改动。
+* 注意神经元的特点：（1）同质性，所有神经元都是一样的；（2）连接性，通过边接实现功能；（3）可学习性。这些特性也是人工神经元的基本特点。
-* 贝叶斯学派将事件描述成变量，将事件之间的相关性描述成变量之间的条件概率。模型设计者可以依据领域知识设计变量之间的条件概率的形式，但不确定其具体参数。
+===人工神经网络模型===
-* 以一个预测降雨的贝叶斯概率模型为例，设降雨与云量和湿度都有关系，且具有简单的相关形式如下： P(降雨=1)=sigma(a X 云量 + b X 温度 + c）。
-* 在模型学习时，通过调整模型参数（a,b,c)，使得模型尽可能精确地描述训练集中的样本。当训练完成时，即可以通过概率公式计算出不同情况下的降雨可能性。
-* 贝叶斯模型将知识存储在概率模型中，具有坚实的理论基础和强大的学习能力。
-===连接学派===
+===可学习的人工神经网络===
-* 连接学派的基本思想是通过模拟人的神经系统实现智能。人的神经系统，特别是大脑，是由大量神经元互相连接形成的，每个神经元都具有同样的简单结构，但当它们互相连接起来形成神经网络以后，就可以表现出强大的智能。
+===蓬勃发展===
-* 基于这一思路，连接学派设计了人工神经元网络模型，网络中每个节点模拟一个神经元，神经元互相连接形成功能。这些连接在模型设计时取随机值，并在模型训练时进行调整。因此，神经网络是利用连接的强弱（称为连接权重）来存储知识的。
-* 神经网络概念清晰直观，结构简单，可学习性强，在人工智能发展之初就得到研究者的广泛关注。然而，直到近十年，随着数据的积累和深度学习算法的提出，神经网络才真正展现出其特有的优势。
-* 右图是用来预测降雨发生与否的神经网络。训练时将训练样本的湿度和云量作为输入，训练目标是使得网络输出尽可能接近样本标记（即是否降雨）。
-===符号学派、贝叶斯学派、连接学派比较===
+* 90年代以后，人工神经网络蓬勃发展，人们提出卷积网络、循环网络等具有独特性质的神经网络变种，极大推动了神经网络的应用。
+* 2006年前以后，以深度神经网络为代表的深度学习技术突飞猛进，在各个领域取得极大成功，神经网络成为人工智能领域最重要的工具。
-* 符号系统需要大量人为设计，因此知识依赖性最强；概率模型需要设计变量以及变量间的概率关系，知识依赖性较弱；神经网络只需设计网络结构，知识依赖性最低。对应的，符号学派限制最多，可学习性最差，需要的数据最少，概率模型次之，神经网络最为灵活，可学习性最强，数据需求也最大。最后，过于灵活的结构使得神经网络模型难以理解，可解释性下降。
+* 当前我们谈论的人工智能，绝大部分是以人工神经元网络为代表的人工智能技术。
-−
-−
-===进化仿生学派===
-−
-−
-* 进化仿生学派认为，人类的智能是生物长期进化的结果，包括以交叉繁衍和个体变异为基础的繁衍过程和以自然选择为基础的优胜劣汰机制。模拟这一进化过程可以实现类人的智能。进化仿生学派把优胜劣汰作为产生智能的基础原则。
-* 遗传算法是进化仿生学派的代表性算法。这一算法把机器学习的目标函数视为自然选择的标准，将每个可能的解决方案视为种群个体，通过参数互换和随机扰动生成新的解决方案。基于这样的设计，以自然选择为基础的进化过程即可模拟目标函数的优化过程。
-* 什么意呢？假设我们想优化一个模型，它有很多参数，记为W。如何做呢？可以采用尝试法，随机生成一个W，然后基于W来计算目标函数值。把那些取得较高目标函数（假设目标函数越大越好，如果某个问题不是这样，可加个负号将最小化问题转成最大化问题）的W拿出来组成一个种群，让这个种群交叉、变异，生成新种群W'，再去计算新种群W'的目标函数。这意味着我们是用目标函数作为进化的目标来进行自然选择的。这样的过程重复进行，即可得到越来越好的个体，即具有更高目标函数值的解W。
-* 和前四个学派不同，进化仿生方法并不对应特别的模型，而是一种优化方法。这一方法可用于优化符号系统、概率模型或神经网络，也可以用于求解不具有明确模型结构的一般性问题，如右图所示的天线设计。