Embed Size (px)
DESCRIPTION
基于最大 margin 决策树归纳的研究. 王海波 符号学习研究组. 报告提纲. 国内外研究现状 存在问题 研究目的与意义 实现思路 进一步的工作. 国内外研究现状之 SVM. SVM 的提出（ Vapnik 1995）. SMO 算法 （ Platt 1998）. 聚类 SVM （Boley 2004）. Margin Tree （ Tibshirani 2007）. 聚类 SVM. 返回. Margin Tree. 国内外研究现状之 SVM 反问题. SVM 反问题的提出. SVM 反问题求解——遗传算法. - PowerPoint PPT Presentation
Citation preview
[email protected] Hebei University
国内外研究现状之 SVM
SMO 算法 （ Platt 1998 ）
聚类SVM （Boley 2004）
Margin Tree （Tibshirani 2007）
SVM 的提出（ Vapnik 1995 ）
[email protected] Hebei University
国内外研究现状之 SVM 反问题
SVM 反问题求解——遗传算法
SVM 反问题求解—— K-means 聚类
SVM反问题在决策树中的应用
SVM 反问题的提出
[email protected] Hebei University
SVM 反问题在决策树中的应用 基于最大 margin 的决策树归纳
( ) 0w x b ( ) 0w x b
求解 SVM 反问题
获得具有最大 margin
的最优超平面
[email protected] Hebei University
存在问题时间复杂度
SVM 反问题的求解
cmSMO
1(2 1)m cm SVM 反问题
聚类解决 SVM 反问题
1(2 1)k cm
[email protected] Hebei University
研究目的与意义
目的：使 SVM 反问题的求解在多项式时间内完成，
使决策树的训练时间大大缩短。
意义：由于训练过程的加快，使得基于 Margin 的决
策树归纳可以得到更广泛的应用
[email protected] Hebei University
算法描述及时间复杂度
1 原始数据聚类：三类
2 求 margin 矩阵： 3×(3-1)/2 次 SMO 求解
3 再次聚类得到 margin tree
4 求划分超平面 : 一次 SMO 求解
新算法时间复杂度：( 1) 2( )
2
k k mc cmk
23cm
[email protected] Hebei University
遇到的问题
Margin 矩阵的求解
修改 SMO 方法，使得不进行数据处理也可得到margin
找一种方法，把数据变换后的 margin 还原回去
[email protected] Hebei University
参考文献一 V.N. Vapnik. The Nature of Statistical Learning Theory,
Springer, New York, ISBN 0-387-98780-0,2000. Platt J C. Fast Training of SVM Using Sequential Minimal
Optimization. In Scholkopf B, Burgs CJC, Smola A J eds. Advances In Kernel Methods-Support Vector Machine, Cambridge, MA:MIT press, 1998, 185-208.
Daniel Boley, Dongwei Cao. Training support vector machine using adaptive clustering[A]. Proc. of Fourth SIAM International Conference on Data Mining [ C ] . Lake Buena Vista, FL, United States, 2004.
Robert Tibshirani, Trevor Hastie. Margin trees for high-dimensional classification, Journal of Machine Learning Research Vol. 8, pp.637-652, 2007
[email protected] Hebei University
参考文献二 Volkan Vural, Jennifer G.Dy. A hierarchical method for
multi-class support vector machines. International Conference on Machine Learning; Proceeding Series; Vol. 69, 2004.
Xi-zhao Wang, Qiang He, De-Gang Chen, Daniel Yeung. A genetic algorithm for solving the inverse problem of support vector machines. Neuro computing 68(2005):225-238.
Jie Zhu, Shu-fang Wu, Li Xue, Xi-zhao Wang. An improved algorithm for inverse problem of svms based on clustering. IEEE System, Man and Cybernetics Society, vol. 8, pp.4694-4698, 2006.
Ning Li, Xi-zhao Wang, Li Xue. Decision tree induction based on large margin heuristic. IEEE System, Man and Cybernetics Society, vol. 8, pp.4699-4702, 2006.
[email protected] Hebei University
参考文献三 Platt, J., Cristianini, N., & Shawe-Taylor, J. (2000). Large
margin dags for multiclass classification. Advances in Neural Information Processing Systems 12 (pp. 547–553).
