Réseaux de neurones, réseaux bayesiens et applications
ASI 4 - INSA de Rouen	le forum RNA
Philippe Leray (philippe.leray@insa-rouen.fr)	le forum MATLAB
	la toolbox BNT
	le projet

Le but de l'UV est de familiariser les étudiants avec les techniques d'estimation fonctionnelle en régression et en discrimination et des modèles comme les réseaux de neurones et les réseaux bayésiens, puis d'aborder un certain nombre d'applications de ces techniques.

La première partie du cours pose le problème dans le cadre linéaire (régression linéaire, discrimination linéaire) puis abordera le problème d'estimation de performances.

Dans la seconde partie, le cours se concentrera sur les estimateurs non linéaires comme les réseaux de neurones de type « perceptrons multicouches », fonctions de base radiales et les cartes de Kohonen. Dans cette partie, une classification des différentes approches connexionnistes sera aussi évoquée et une technique d'apprentissage courante (la rétropropagation) sera étudiée en détails.

La dernière partie du cours portera sur la notion de modèles graphiques, et particulièrement les réseaux bayesiens en abordant les problèmes d'inférence, d'apprentissage et éventuellement les "extensions" de ces modèles (temporelle, pour le diagnostic, ...).

Cours		TD/TP		Données (+ fichiers Matlab)
Les Probabilités Conditionnelles	145Ko	Probabilités Conditionnelles et Classification		Heart Disease Database (Statlog)
La Régression Linéaire	294Ko	Régression Linéaire et Sélection de Variables		Delve Computer-Activity Database (cpuSmall)
La Discrimination Linéaire	407Ko	Discrimination Linéaire		generation_dataDiscr.m
Apprentissage et Généralisation	342Ko	Evaluation et Comparaison des Méthodes de Discrimination Linéaire		Heart Disease Database (Statlog)
Perceptrons Multicouches et autres RN	2800Ko
Rétropropagation du gradient		Rétropropagation du gradient		generation_dataBP.m
Réseaux de Neurones et Sélection de variables	317Ko	Sélection de Variables et MLP		Vagues de Breiman bruitées
Réseaux Bayésiens : introduction - inférence	1738Ko	Introduction aux RB	131Ko
Réseaux Bayésiens : apprentissage	1427Ko	Apprentissage des RB	102Ko	BNT add-ons (zip) + données Heart discrétisées
Réseaux Bayésiens : extensions	1153Ko

Le neurone biologique (S. Canu)
La Régression Flexible (S. Canu)		La Régression Flexible	57Ko
HMM et Réseaux Bayesiens temporels	459Ko	HMM (TD)		dhmm_demo.m
Réseaux de Neurones et Séries temporelles	622Ko	Séries Temporelles		Melbmax Dataset
Examen 2001/2002	345Ko	Corrigé indicatif de l'examen	370Ko
Examen 2002/2003	236Ko	Corrigé indicatif de l'examen	81Ko
Examen 2003/2004	153Ko
Examen 2004/2005	108Ko

• Outils Statistiques
  • Stixbox : Statistics toolbox for Matlab, Octave, and Matcom/Mideva (sur servasi)
  • Statbox : Statistics Toolbox for Matlab (sur servasi)
  • Bootstrap Matlab Toolbox (sur servasi)
  • Gmlab : Generalized Linear Models in Matlab (sur servasi)
  • Time Series Analysis (sur servasi)
• Réseaux de Neurones
  • Netlab : Neural Networks for Pattern Recognition (sur servasi)
  • NNSYSID Toolbox 2 : Neural Network based Identification of Nonlinear Dynamic Systems (sur servasi)
  • SOM toolbox 2.0 : Self Organizing Maps (Cartes de Kohonen) (sur servasi)
• Réseaux Bayesiens
  • BNT 2.0 : Bayes Net Toolbox - le site français  (sur servasi)
• Reconnaissance des Formes
  • STPRTool : Statistical Pattern Recognition Toolbox for Matlab (sur servasi)
• Divers (graphiques, ...)
  • Datatool : Data visualization toolbox for Matlab (sur servasi)

• Pour commencer, les FAQ de comp.ai.neural-nets.
  
  
• Livres en anglais :
• J. Hertz, A. Krogh & R. G. Palmer, An introduction to the theory of Neural Computation (Addison-Wesley)
• D. Michie, D.J. Spiegelhalter & C.C. Taylor, Machine Learning, Neural and Statistical Classification, (Ellis Horwood)
  
• C.M. Bishop, Neural Networks for Pattern Recognition (Oxford: Oxford University Press)
  
• B.D. Ripley, Pattern Recognition and Neural Networks (Cambridge: Cambridge University)
  
• L. Devroye, L. Györfi and G. Lugosi, A Probabilistic Theory of Pattern Recognition, (Springer-Verlag)
  
• S. Haykin, Neural Networks, a Comprehensive Foundation. (Macmillan)
• V. N. Vapnik, The nature of statistical learning theory (Springer-Verlag)
  
• I. Nabney, Netlab: Algorithms for Pattern Recognition, (Springer-Verlag)
• K. Fukunaga , Introduction to Statistical Pattern Recognition (Second Edition) (Academic Press)
• R.O. Duda, P E. Hart and D. G. Stork, Pattern Classification (2nd ed) (Wiley)
• J. Pearl, Probabilistic Reasoning in Intelligent Systems (Morgan Kaufman)
• F.V. Jensen, An introduction to Bayesian networks (UCL Press)
<>R. G. Cowell, A.P. Dawid, S. L. Lauritzen, D. J. Spiegelhalter, Probabilistic Networks and Expert Systems (Springer)


• Livres en français :
  • J. Hérault et Ch. Jutten, Réseaux neuronaux et traitement du signal (Hermès)
    
  • M. Milgram, Reconnaissance des formes, méthodes numériques et connexionnistes, (Armand Colin, collection 2ai)
  • J.-P. Nadal, Réseaux de neurones : de la physique à la psychologie, (Armand Colin, collection 2ai)
  • G. Weisbuch, Dynamique des systèmes complexes : une introduction aux réseaux d'automates, (InterEditions/Editions du CNRS)
  • P. Naïm, P.H. Wuillemin, Ph. Leray, O.Pourret, A. Becker, Réseaux Bayésiens (Eyrolles)
    
    
• Articles de références :
  • SearchIndex scientific literature digital library
    
  
  
• Bases de Données en ligne :
  • Delve : Data for Evaluating Learning in Valid Experiments
  • UCI Machine Learning Repository
  • UCI KDD Archives
  • M Competition : des données de compétition sur les séries temporelles
  • Time Series Data Library
  • Machine Learning Network :datasets
  • Data and Story Library
    
    
• Cours en ligne (liste non exhaustive):
  • Université Lille 1&3
    • Apprentissage à partir d'exemples (François Denis, Rémi Gilleron)
  • Université de Montréal
    • IFT 6266 Algorithmes d'apprentissage (Y. Bengio)
  • Berkeley
    • CS 281B: Advanced Topics in Learning and Decision Making (Michael Jordan)
    • CS 294-5 : Statistical Learning Theory (Michael Jordan)
    • CS 294/Stat 242A : Multivariate Statistics and Machine Learning (Michael Jordan)
  • Duke University, Durham, North Carolina
    • STA 294: Belief Networks (Mark Peot)
      
  • University of Wisconsin-Madison
    • CS 731 : Advanced methods in artificial intelligence, with biomedical applications (David Page)
    • CS 760 : Machine Learning (Jude Shavlik)
  • Kansas State University
    • CIS 798 : Topics in Intelligent Systems and Machine Learning (William H. Hsu)
    • CIS 830 : Advanced Topics in Artificial Intelligence / Data Engineering (William H. Hsu)
  • Harvard Medical School, Boston
  • HST951 : Medical Decision Support (L. Ohno-Machado, I. Kohane, P. Szolovits)
  • George Mason University
  • SYST/STAT 664 : Bayesian Inference and Decision Theory (Kathryn Blackmond Laskey)
  • INFT 819 Computational Models For Probabilistic Inference (Kathryn Blackmond Laskey)
  • Monash University (Victoria, Australie)
  • CSC443 : Reasoning Under Uncertainty (Ann Nicholson)
• University of Sheffield (UK)
  • Neural Networks (K. Gurney)
    
    
• Des encyclopédies de statistiques pour les ingénieurs en ligne (et très claires!)
• Engineering Statistics Handbook (Statistical Engineering Division, US' National Institute of Standards and Technology)
• Electronic Statistics Textbook (StatSoft, Inc)
  
  
• Liens divers
  • Forecasting Principles : Un site très complet sur la prévision
  • Business forecasting : idem
    
    
• Quelques présentations/démonstrations sur le Web
  • Bayesian Networks and Decision-Theoretic Reasoning for Artificial Intelligence (J. Breese & D. Koller, Microsoft Research)
  • Java Demonstrations of Neural Net Concepts (Computation and Neural Networks Laboratory - Wayne State University)
  • Introduction à l'inférence exacte dans les modèles graphiques dirigés (D. Bellot)