Réseau de neurones
Inspirés des neurones du cerveau, les réseaux de neurones artificiels n’ont rien de biologique.
Ce sont des fonctions mathématiques à plusieurs paramètres, ajustables. L’analogie date des premiers automates proposés en 1943 par Warren McCulloch et Walter Pitts. Comme dans les neurones du cerveau où des connexions se créent, disparaissent ou se renforcent en fonction de différents stimuli et produisent une action, les réseaux de neurones artificiels (ou formels) ajustent des paramètres (baptisés poids synaptiques en référence au fonctionnement biologique du cerveau) en fonction de données d’entrée afin de fournir la meilleure réponse possible.
En machine learning, un neurone fait une combinaison linéaire des entrées qu’il reçoit, à laquelle il ajoute une valeur appelée biais. Une fonction non linéaire, dite d’activation, (comme par exemple tangente hyperbolique) est alors appliquée à la valeur de sortie. Cette valeur est ensuite transmise à la couche de neurone suivante. Chaque neurone effectue ainsi un calcul très rudimentaire, et c’est la succession des couches de neurones qui permet d’obtenir des réseaux complexes. Durant cette phase dite « d’entraînement », le réseau va ajuster automatiquement les paramètres de chaque neurone, c’est-à-dire les valeurs des poids et du biais afin de minimiser l’erreur moyenne calculée sur l’ensemble des exemples entre la sortie attendue et celle observée. L‘hypothèse est qu’après cette phase d’entraînement, le réseau sera capable de traiter de manière satisfaisante de nouveaux exemples, dont la sortie est inconnue, en fonction de ce qu’il a « appris ». Cette phase d’apprentissage peut se faire sur des caractères manuscrits, des objets dans une image, des sons…
Dans un réseau de neurones à deux couches, la première couche est constituée d’un ensemble de neurones connectés en parallèle et fournissant un ensemble de sorties, elles-mêmes combinées pour devenir les entrées d’un nouvel ensemble de neurones formant une seconde couche (inspiré d’un article d’Interstices).