优化问题
- 无约束优化问题
- 梯度下降法
- 有等式约束的优化问题
- 拉格朗日乘子法
- 有等式约束的优化问题
- 拉格朗日对偶性
问题分类
- 线性可分支持向量机
- 线性支持向量机
- 非线性支持向量机
线性可分支持向量机
原理和目标：What
目标
求一超平面，样本点到超平面的距离尽量地大——较好的泛化能力
表示
- 问题转化
求出离超平面最近的样本点的距离，并使得该距离尽量地大 - 样本点到超平面的距离
- 公式1
- 去除公式中的绝对值
- 考虑到实际做的过程中可能会将特征映射到更高维
引入特征空间转换函数- 目的，待会儿帮助解释核函数
- 函数间隔&几何间隔
- 原始形式不好求解，寻找等价命题
简化为目标函数 + 条件约束
模型求解：How
步骤
- 写成拉格朗日乘子法的形式
- 因为其满足KKT条件，利用对偶性
min max 问题转化为 max min 问题 - 求min
求偏导，回代，求max{new function} - 求解
例子
结论：
- a不为0的样本点为支撑样本点
- a为0的样本点对模型构建没有影响
线性支持向量机
引出背景
- 样本线性可分，但在全分对情况下，模型可能不是最好的
- margin小
- 样本线性不可分
模型表示
添加松弛因子
c的含义——对错误的容忍程度
- 影响泛化能力
- 影响margin宽度
模型求解
损失函数分析
- 损失函数图像
横坐标是样本点到支撑超平面的距离
纵坐标是损失值 - 基于图像，得到新的loss function，引出hinge损失
- 解释前面求解出的损失函数的意义