Perturbations, optimisation et statistiques

Dans presque toutes les applications d'apprentissage automatique, des décisions doivent être prises en fonction des connaissances actuelles. Étonnamment, prendre ce qui est considéré comme la meilleure décision n'est pas toujours la meilleure stratégie, même dans un contexte d'apprentissage supervisé. Un ensemble de travaux émergents sur l'apprentissage sous différentes règles applique des perturbations aux procédures de décision et d'apprentissage. Ces méthodes fournissent des règles d'apprentissage simples et très efficaces avec des garanties théoriques améliorées. Ce livre décrit les méthodes basées sur les perturbations développées en apprentissage automatique pour enrichir de nouvelles méthodes d'optimisation de solides garanties statistiques, offrant aux lecteurs un aperçu de l'état de l'art.

Les chapitres abordent les idées de modélisation récentes qui ont émergé dans le cadre des perturbations, y compris Perturb & MAP, l'herding et l'utilisation de réseaux neuronaux pour mapper le bruit générique à la distribution sur des données très structurées. Ils décrivent de nouvelles procédures d'apprentissage pour les modèles de perturbation, y compris un algorithme EM amélioré et un algorithme d'apprentissage qui vise à faire correspondre les moments des échantillons de modèles aux moments des données. Ils discutent de la compréhension de la relation entre les modèles de perturbation et leurs homologues traditionnels, un chapitre montrant que le point de vue des perturbations peut conduire à de nouveaux algorithmes dans le cadre traditionnel. Et ils considèrent la régularisation basée sur les perturbations dans les réseaux neuronaux, offrant une compréhension plus complète du dropout et étudiant les perturbations dans le contexte des réseaux neuronaux profonds.