Pour commencer, regardez SVM sur wikipedia et les FAQ la page d'information sur libSVM

Le support du cours

• Introduction aux SVM (pdf) (ce cours fait parti d'un cours sur les méthodes d'apprentissage qui est un des cours du projet WikiStat)
• Voici les diapositives associées (pdf aussi).

Quelques détails et preuves

• Passage des la formulation SVM minimisant la marge à la formulaiton usuelle (deuxième colonne de la page 3 du cours).
• Formulmation standard des SVM sous forme d'un programme quadratique (définition 3.1 page 3 et 4).
• Distance d'un point à une droite (calcul de la marge géométrique) (Figure 2 et définition page 3).
• Lagrangien du problème des SVM linéaires, KKT, ensemble actif et conditions d'optimalité (Conditions d'optimalité et vecteurs supports, page 4).
• Solution des KKT (page 5).
• Equivalence entre la minimisation de la distance entre deux enveloppes convexes et la forme duale des SVM (premier exemple du pragraphe 3.7 page 8).
• Formulation duale des 2 classes SVDD - lien avec les SVM - (troisième exemple du pragraphe 3.7 page 8).

Des programmes matlab

• SVM linéaires
• dans le primal
• dans le dual
• avec des écarts (fortmulation standard des SVM linéaires)
• SVDD (figure 5 page 8).

Les (SVM) solveurs : programmation quadratique sous matlab

• Mon QP : méthode de contraintes actives
• quadprog : le solveur à tout faire de matlab (ce qui suppose que vous avez intallé la boite à outil optimization de matlab)
• CVX : méthode de point intérieur
• libsvm : méthode sochastique composante par composante (SMO à la Gauss Seidel)

Les livres sur les SVM

• V. N. Vapnik, The nature of statistical learning theory (Springer-Verlag, 1995)
• B. Schölkopf, Bernhard; and Smola, Alexander J.; Learning with Kernels, (MIT Press, 2002)
• Shawe-Taylor, John; and Cristianini, Nello; Kernel Methods for Pattern Analysis, (Cambridge University Press, 2004)
• Steinwart, Ingo; and Christmann, Andreas; Support Vector Machines, (Springer-Verlag,2008).

• Livres en français :

• Antoine CORNUEJOLS - Laurent MICLET Apprentissage artificiel : Concepts et algorithmes (2ème éd.) (Eyrolles, 2010)
• J. Hérault et Ch. Jutten, Réseaux neuronaux et traitement du signal (Hermès, 1994)
• M. Milgram, Reconnaissance des formes, méthodes numériques et connexionnistes, (Armand Colin, collection 2ai, 1993
• J.-P. Nadal, Réseaux de neurones : de la physique à la psychologie, (Armand Colin, collection 2ai, 1993)
• G. Weisbuch, Dynamique des systèmes complexes : une introduction aux réseaux d'automates, (InterEditions/Editions du CNRS, 1989)