SVM Regression

字数

380 字

阅读时间

2 分钟

两种SVR

对于左边的tube SVR来说，当点在tube内的时候，就没有error，当点在tube外才有。tube的error叫做 epsilon-insensitive error. 当 |s-y| 比较小的时候，tube约等于squared，且更少被outlier影响。

SVR定义

我们要找到一条tube，tube的宽度由人为确定。这个tube可以让所有的点都在tube内。 那么问题就转化成了：

$$min\frac{1}{2}\parallel \mathbf{w}{\parallel }^2$$$$\begin{array}{rl}& s.t.y_i-{\mathbf{w}}_1\cdot {\mathbf{x}}_i-b\le \epsilon ;\\ & {\mathbf{w}}_1\cdot {\mathbf{x}}_i+b-y_i\le \epsilon ;\end{array}$$

然而，这就有问题了。如果你的data本身就不能被塞到一个tube中怎么办呢？这里就引入slack变量，转化为凸优化问题。只有超出tube的部分，才会对损失函数产生线性惩罚。 引入拉格朗日乘子进行凸优化：

$$\begin{array}{rl}L:=& \frac{1}{2}\parallel w{\parallel }^2+C\sum _{i=1}^{\ell }({\xi }_i+{\xi }_i^{\ast })-\sum _{i=1}^{\ell }({\eta }_i{\xi }_i+{\eta }_i^{\ast }{\xi }_i^{\ast })\\ & -\sum {\alpha }_i(\epsilon +{\xi }_i-y_i+⟨w,x_i⟩+b)\\ & -\sum _{i=1}^{\ell }{\alpha }_i^{\ast }(\epsilon +{\xi }_i^{\ast }+y_i-⟨w,x_i⟩-b)\\ & \text{Lagrange multipliers}{\alpha }_i^{(\ast )},{\eta }_i^{(\ast )}\ge 0.\end{array}$$

这里面yita也是拉格朗日乘子，用来惩罚超出tube的部分。那么接下来根据kkt条件我们有：

$$\begin{array}{rl}{\partial }_{b}L& =\sum _{i=1}^{\ell }({\alpha }_i^{\ast }-{\alpha }_i)=0\\ {\partial }_{w}L& =w-\sum _{i=1}^{\ell }({\alpha }_i-{\alpha }_i^{\ast })x_i=0\\ {\partial }_{{\xi }_i^{(\ast )}}L& =C-{\alpha }_i^{(\ast )}-{\eta }_i^{(\ast )}=0\end{array}$$

全部代入L得到：

$$\begin{gathered} \text{maximize}\{\begin{array}{l}-\frac{1}{2}\sum _{i,j=1}^{\ell }({\alpha }_i-{\alpha }_i^{\ast })({\alpha }_j-{\alpha }_j^{\ast })⟨x_i,x_j⟩\\ -\epsilon \sum _{i=1}^{\ell }({\alpha }_i+{\alpha }_i^{\ast })+\sum _{i=1}^{\ell }{y}_i({\alpha }_i-{\alpha }_i^{\ast })\end{array} \\ \text{subject to}\sum _{i=1}^{\ell }({\alpha }_i-{\alpha }_i^{\ast })=0\text{and}{\alpha }_i,{\alpha }_i^{\ast }\in [0,C] \end{gathered}$$

其中支撑向量是超出tube的部分。接下来就可以用SMO了。具体可以去看 3 - SVM Classification

贡献者

Larry Shi

文件历史

最后编辑于 22 天前查看完整历史

f9aec-update