基本概念
线性可分:在特征空间中可以用一个线性分界面正确无误地分开两 类样本;采用增广样本向量,即存 在合适的增广权向量 a 使得:
则称样本是线性可分的。如下图中左图线性可分,右图不可分。所有满足条件的权向量称为解向量。权值空间中所有解向量组成的区域称为解区。
通常对解区限制:引入余量b,要求解向量满足:
使解更可靠(推广性更强),防止优化算法收敛到解区的边界。
感知准则函数及求解
对于权向量a,如果某个样本yk被错误分类,则。我们可以用对所有错分样本的求和来表示对错分样本的惩罚:
其中Yk是被a错分的样本集合。当且仅当JP(a*) = min JP(a) = 0 时,a*是解向量。这就是Rosenblatt提出的感知器(Perceptron)准则函数。
感知器准则函数的最小化可以使用梯度下降迭代算法求解:
其中,k为迭代次数,η为调整的步长。即下一次迭代的权向量是把当前时刻的权向量向目标函数的负梯度方向调整一个修正量。
因此,迭代修正的公式为:
即在每一步迭代时把错分的样本按照某个系数叠加到权向量上。
通常情况,一次将所有错误样本进行修正不是效率最高的做法,更常用是每次只修正一个样本或一批样本的固定增量法:
收敛性讨论:可以证明,对于线性可分的样本集,采用这种梯度下降的迭代算法:
经过有限次修正后一定会收敛到一个解向量。
理论结论:只要训练样本集是线性可分的,对于任意的初值 a(1) ,经过有限次叠代,算法必定收敛。
感知器是最简单可以“学习”的机器,可以解决线性可分的问题。当样本线性不可分时,感知器算法不会收敛。实际应用中直接使用感知器的场合并不多,但他是很多复杂算法的基础。
分享到:
相关推荐
实现简单的数据分类,并动态显示分类结果。
PR_Perception_Approach算法 模式识别 神经网络,线性感知器算法
生物医学工程实验,单层感知器的设计,1.使用 Matlab 编程实现单层感知器。2. 调节学习率η,观察对于不同学习率算法的收敛速度(迭代次数) 3. 用单层感知器处理非线性分类问题,观察结果。
用MATLAB实现感知器线性分类。只要训练样本集是线性可分的,对于任意的初值 a(1) ,经过有限次叠代,算法必定收敛。 感知器是最简单可以“学习”的机器,可以解决线性可分的问题。当样本线性不可分时,感知器算法...
提供有关机器感知的主要方法的基本概念和详细信息。 包括诸如检查和装配的工业流程自动化,车辆引导和自动照片解释等示例。
多分类的感知器算法,包括Ho_Kashyap的mse实现
Sensation and Perception 10th Edition by E. Bruce Goldstein (Author), James Brockmole (Author) Hardcover: 496 pages Publisher: Wadsworth Publishing; 10 edition (February 2, 2016) Language: English ...
example4_1~example4_7为【单层感知器...perception_hand.m为【单层感知器应用实例】手算部分的代码,修改后用于线性不可分问题的代码为perception_hand_un.m。 使用工具箱函数的代码为perception_fcn。共12个文件,
example4_1~example4_7为第四节【单层感知器...perception_hand.m为第五节【单层感知器应用实例】手算部分的代码,修改后用于线性不可分问题的代码为perception_hand_un.m。 使用工具箱函数的代码为perception_fcn。
一个简单的例子:用感知机对数据进行分类。
Machine Learning and Robot Perception机器学习与机器人感知
Factor Graphs for Robot Perception.pdf Factor Graphs for Robot Perception.pdf Factor Graphs for Robot Perception.pdf Factor Graphs for Robot Perception.pdf Factor Graphs for Robot Perception.pdf ...
深度学习(神经网络)[1] —— 单层感知器算法描述python实现示例运行结果可视化 算法描述 最原始的神经网络模型,类似于神经网络中的单个神经元,该算法局限性也很大,只适用于解决线性可分的问题和异或问题,对于...
腾挪PERCEPTION Quick Start Guide 快速上身手册
自动驾驶是指车辆通过传感器感知周围环境,在没有人为干预的情况下,实时 改变驾驶行为,完成驾驶任务。自动驾驶可以减少交通事故的发生,提高道路交通 资源的使用率,节约居民的出行成本,因此对自动驾驶技术的研究...
惯性动捕腾挪PERCEPTION使用说明 Quick Start Guide
讲了感知机的理论和代码,见我的博客http://blog.csdn.net/u012176591/article/details/41792857
The Manifold Ways of Perception, by H. Sebastian Seung and Daniel D. Lee. 2000年。