统计学领域名声赫赫的SVM与核方法是时至今日仍在高频使用的经典算法。
对本章各节知识点进行汇总，主要分为引入原因，原理思想，和一些思考，对于数学推导内容介绍较少，有需要的可以先阅读西瓜书，再参考南瓜书的数学推导。
大部分都是规划类、最优化的问题，最好先进行相关知识的学习。
这里推荐一本书：最优化：建模、算法与理论 (刘浩洋 户将 李勇锋 文再文)
在线性可分的条件下，我们在训练集做分类任务时，最基本的想法就是在样本空间中找到一个超平面进行划分,
但是对于分类任务，我们可以画出很多个超平面，这时候就需要引入损失函数，对超平面进行选择，而使得两个异类支持向量的距离最大化，就是我们所说的支持向量机的基本型。
1943年一直沿用至今的M-P神经网络模型
将输入神经元的x乘上相应权重w并求和，将结果与阈值$\theta$做差，再经过激活函数f得到输出值y
阈值(threshold / bias):
表示神经元电位超过阈值则被激活
激活函数(activation function)：也称挤压函数或响应函数，用于将输入值映射为0/1或(0，1)
通过训练模型，得出合适的w和$\theta$，其中训练算法最常见的就是下面会说到的BP算法
决策树使用递归实现，而递归终止条件有以下三种：
当前结点所有样本属于同类，无需划分
当前属性集为空，无法划分，选取此节点中数量更多的标记作为类别标记
当前样本集为空，不能划分，依据父节点中数量更多的标记作为类别标记
1.纯度：同类聚集程度高、不同类越分散，则纯度越高
2.信息熵：纯度的量化指标，来源于信息论
3.剪枝：防止决策树过拟合，减去部分划分属性。分为预剪枝和后剪枝
信息熵计算公式：
$$ E n t ( D ) = - \sum _ { k = 1 } ^ { | y | } p _ { k } \log _ { 2 } p _ { k }$$
信息熵用于衡量信息的不确定性或信息的混乱程度，我们可以将其用于量化纯度
信息熵越大，数据分布越均匀、随机、杂乱无章，明显这不是我们想要的。我们想要的是相同类靠近，不同类远离的效果，即需要越小的信息熵
$p_k$表示选到k类别的概率，而 $-\log _ { 2 } p _ { k }$则表示信息量
1 | 我们可以理解对于某一事件，其发生的概率越小，那么其信息量越大；发生的概率越大，那么其信息量越小。所有对两者求期望即得到信息熵。 |
注意：此处计算公式里的Y的输出值种类，如二分类问题中Y=2
1.序关系
有序：属性之间可进行相对比较（如大、中、小）
无序：属性之间不可进行相对比较（如南瓜、西瓜、冬瓜）
2.符号arg与s.t.
arg：即argument（参数），用于表示求出指定函数时的**参数取值**
例如：
arg min 就是使后面这个式子达到最小值时的 变量的取值
arg max 就是使后面这个式子达到最大值时的 变量的取值
s.t.：即subject to，意思是受限于...，后面紧跟约束条件
3.闭式解
也叫做 解析解，
闭式解就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解
南瓜书中说闭式解是指可以通过具体的表达式解出待解参数
1.泛化误差与经验误差
泛化误差：在“未来”样本上的误差
经验误差：在训练集上的误差，亦称“训练误差”
训练集样本数越接近数据集数量，经验误差就越小。但是经验误差越小，模型效果就越好吗？
请注意，我们是为了得到泛化能力强的模型，而经验误差≠泛化误差
经验误差很小，会使模型学习到训练样本中的许多无用特征，导致泛化能力变弱
我们称其为过拟合(overfitting)
而与之相对的概念，我们称为欠拟合(underfitting)，其表示的就是模型没有很好的学习到训练样本上的特征，从而也导致泛化能力变弱
2.过拟合与欠拟合
过拟合：模型在训练数据上表现得过于复杂，以至于在未见过的数据上表现不佳。欠拟合：模型在训练数据上表现得过于简单，无法捕捉到数据的内在结构和模式。
出现原因：
1.出现欠拟合的情况，一般是由于样本特征少，模型复杂度低等
第1章-绪论
概率近似正确 模型：PAC (Probably Approximate Correct)
公式：$$ P ( | f ( x ) - y | \leq \epsilon ) \geq 1 - \delta$$
其中 f 表示模型，y表示真相，x为样本
公式分析：
其中$ | f ( x ) - y | \leq \epsilon$ 用于计算模型的误差，判断模型的优劣
由于模型基于不同的算法和数据是不唯一的
故用$$ P ( … ) \geq 1 - \delta$$ 表示取得该模型的概率