SVM Classification
标签
AI
DL
ML
字数
707 字
阅读时间
4 分钟
SVM的General Idea
Margin：指的是决策边界到某个类别点的最短距离。
那么决策边界在哪比较好呢？对于两个类别，margin都最大，也就是说，对于两个类别的最近点都距离最大的时候，这个边界比较好。
support vector：那些距离正好等于margin的点就是支持向量。也就是距离决策边界最近的每个阵营的点。
SVM的输出直接就是标签-1，1，而不是像逻辑回归一样给你一个概率，然后取大概率。
%20(1).r-KJF8Bc.png)
那么SVM模拟了一个怎样的函数呢？（也就是说，假设集是啥）
%20(1)%20(1)%20(1).B7NZggxn.png)
%20(1)%20(1)%20(1).D_XlUyFL.png)
%20(1)%20(1)%20(1).DZ46zhof.png)
那么优雅地写出这个式子，就变成了这样：
%20(1)%20(1)%20(1).CQw8RoWQ.png)
为什么|h(x)| = yh(x)? 因为y=1 h(x) > 0, y=-1 h(x) < 0，所以成立。
%20(1)%20(1)%20(1).BMGX-xfx.png)
注意，下面两个约束是等价的。为什么？
上面的条件是 y h(x) > 0, 下面的条件写开了就是 y h(x) >=1，满足了下面一定满足上面。为什么？因为在这里我们忽略y，因为|y| = 1，这就说明，|h(x)| >= 1。这个是很好实现的，只要同时用因子k放缩w，b就能达到。
于是问题进一步化简成为了：
%20(1)%20(1)%20(1).BTpMTErh.png)
%20(1)%20(1)%20(1).CJMuVeJY.png)
那么问题就变成了
%20(1)%20(1).Cf8RoLjK.png)
当然，把x换成phi(x)，运用非线性变化，就可以求解非线性分类问题了。
求解SVM问题
.D0mz-PkW.png)
.ykip9PYs.png)
.DBZ9SaoH.png)
.CQ10updg.png)
.Dt2ENtIo.png)
.DkkTHgW0.png)
.BsGq6xgj.png)
.CQnnjAoA.png)
.tQ_rbCvy.png)
.DqjTsJjQ.png)
.BPqRNL52.png)
.CDFSYkcT.png)
.CoTBinah.png)
.KJSGB9Wj.png)
.DAbs8Zs8.png)
.l6X1PdfI.png)
.DxA_-j2X.png)
.DWi4GWWB.png)
Larry Shi