Reconciling deep learning with tabular data
Léo Grinsztajn · 2024
Réconcilier l'apprentissage profond avec les données tabulaires L'apprentissage profond a connu un succès remarquable en vision par ordinateur et traitement du langage, mais ses performances restent encore décevantes sur les données tabulaires, pourtant omniprésentes. Dans cette thèse, nous analysons d'abord les difficultés que posent ces données aux réseaux de neurones. Pour étayer cette analyse, nous développons de nouveaux standards d'évaluation, contribuant à la fiabilité du domaine. Nous proposons ensuite diverses améliorations, menant à de puissants modèles par défaut. Nous étudions également la représentation des attributs textuels et numériques: les modèles de langage peuvent être utiles pour représenter le texte, mais seulement dans certains régimes, et nous proposons un nouveau modèle exploitant à la fois le texte et les nombres. Enfin, nous montrons que de bonnes représentations des nombres améliorent les performances sur diverses tâches, au-delà même des données tabulaires.