Résumé | L'algorithme d'apprentissage inductif utilise un ensemble de données comme entrée et formule une hypothèse comme résultat. Un ensemble de données est généralement constitué d'un nombre infini d'hypothèses; par conséquent, des facteurs autres que les données doivent déterminer l'algorithme d'apprentissage résultant. Dans l'apprentissage automatique, ces autres facteurs sont appelés biais de l'apprenant. Les algorithmes d'apprentissage classiques ont un biais fixe qui est virtuellement contenu dans leur conception. Des algorithmes d'apprentissage mis au point récemment règlent leur biais de façon dynamique tout en cherchant à formuler une hypothèse. Les algorithmes qui corrigent le biais de cette manière ne sont pas compris aussi bien que les algorithmes classiques. Dans le présent document, nous démontrons que l'effet Baldwin a une incidence sur la conception et l'analyse des algorithmes à correction de biais. L'effet Baldwin a été proposé en 1896 dans le but d'expliquer comment des phénomènes qui pourraient sembler accuser une évolution lamarckiste (hérédité des caractères acquis) peuvent découler d'une évolution purement darwinienne. Hinton et Nowlan ont présenté un modèle de calcul de l'effet Baldwin en 1987. Nous étudions une variante de leur modèle, que nous avons construit explicitement de manière à illustrer les leçons tirées de l'effet Baldwin pour la recherche dans le domaine des algorithmes à correction de biais. La principale leçon qui en est tirée est qu'il semble qu'une bonne stratégie de correction de biais dans un algorithme d'apprentissage consiste à débuter avec un biais faible et à le corriger en l'amenant graduellement à un biais fort. |
---|