Une équipe de jeunes chercheurs coordonnée par le Dr Pietro Rotondo (Université de Parme) et comprenant le Dr Mauro Pastore (LPENS/LPTMS) a proposé une théorie effective capable de prédire les performances atteintes par une classe de réseaux neuronaux profonds (“entièrement connectés”).
Ces modèles traitent l’entrée qu’ils reçoivent, sous la forme de vecteurs à haute dimension (par exemple, des images), via des couches successives de transformations linéaires (multiplications par des matrices de “poids”) et non linéaires (applications terme à terme de “fonctions d’activation” appropriées), pour produire une sortie à basse dimension (par exemple, des étiquettes classant les images). Une certaine règle d’entrée-sortie est mise en œuvre en réglant les poids pour qu’ils s’adaptent aux exemples dans une base de données d’apprentissage, et l’efficacité du modèle est évaluée par ses performances de généralisation, c’est-à-dire sa capacité à prédire correctement les associations entrée-sortie sur des nouveaux exemples.
En particulier, la théorie proposée est capable de déterminer la capacité de généralisation du réseau à partir de ses paramètres fondamentaux (la largeur des couches internes – contrôlant le nombre de poids dans chacune d’entre elles, les fonctions d’activation, etc.) et des données utilisées pour l’entraîner.
Cette découverte contribue à combler l’écart entre la théorie et les applications pratiques de l’intelligence artificielle, ouvrant la voie à l’exploration de systèmes de plus en plus complexes et de plus en plus proches de ceux que nous utilisons au quotidien.
La collaboration comprend des chercheurs de plusieurs institutions françaises et italiennes, avec la contribution fondamentale de deux jeunes chercheurs, Rosalba Pacelli (PoliTo et UniBocconi) et Sebastiano Ariosto (Uninsubria), qui soutiendront leur thèse de doctorat dans les prochains mois.
Couleurs d’un réseau neuronal profond – Paramètres d’un modèle ResNet-18 sous forme des lignes abstraites, nuancées en fonction de leur valeur numérique. La multitude de lignes qui symbolise ici un réseau infini s’éparpille pour devenir une structure finie.
En savoir plus :
https://www.nature.com/articles/s42256-023-00767-6
Informations complémentaires :
Laboratoire de physique de L’École normale supérieure (LPENS, ENS Paris/CNRS/Sorbonne Université/Université de Paris)
Auteur correspondant : Mauro Pastore
Contact communication : L’équipe de communication