感知机(1957年提出)

统计学习方法的三要素:模型+策略+算法
线性分类可以分为硬输出和软输出,而感知机和线性判别模型属于硬输出。

感知机的模型:线性模型
策略:基于误分类的损失函数进行极小化
算法:梯度下降法

感知机是二类分类的 线性分类模型,属于 判别模型,输入是实例的特征向量,输出为实例的类别。

感知机学习旨在求出将训练数据进行线性划分的分类超平面,是基于 误分类的损失函数,利用 梯度下降法对损失函数进行 极小化求得。

原始形式和对偶形式

概念1:数据集的线性可分性:如果存在一个超平面可以将数据集的正实例点和负实例点完全正确地划分到超平面的两侧,则数据集为线性可分数据集,否则数据集线性不可分。

模型: $f(x) = sign(w^T x)$
$$sign(x)
\begin{cases}
+1, &x>=0\
-1, &x<0
\end{cases}
$$