Modèles de langage, comment ça se fabrique ?

Mod`eles de langage, comment ca¸ se fabrique ?Brigitte BigiCLIPS - Equipe GEODITC - Avril 2006Brigitte Bigi (CLIPS - Equipe GEOD) Mod`eles de langage, comment ca¸ se fabrique ? ITC - Avril 2006 1 / 48Plan1 Introduction2 Du texte brut au corpus3 Du corpus au Mod`ele de Langage4 Interpolation de Mod`eles de Langage5 Autres outils bien pratiquesBrigitte Bigi (CLIPS - Equipe GEOD) Mod`eles de langage, comment ¸ca se fabrique ? ITC - Avril 2006 2 / 48Introduction1 Introduction2 Du texte brut au corpus3 Du corpus au Mod`ele de Langage4 Interpolation de Mod`eles de Langage5 Autres outils bien pratiquesBrigitte Bigi (CLIPS - Equipe GEOD) Mod`eles de langage, comment ¸ca se fabrique ? ITC - Avril 2006 3 / 48IntroductionIntroductionUn mod`ele statistique du langage est une distributionde probabilit´es sur des mots ou suites de motsIl permet de classer les mots ou les phrases selon leurprobabilit´e d’apparitionIl faut estimer la probabilit´e P(W) d’un mot oud’une suite de mots W = w w ...w1 2 nPar exemple, estimer P(”une suite de cinq mots”)Brigitte Bigi (CLIPS - Equipe GEOD) Mod`eles de langage, comment ¸ca se fabrique ? ITC - Avril 2006 4 / 48IntroductionRappelOn fait l’hypoth`ese que chaque mot ne d´epend que des (n-1) motsqui le pr´ec`edentTrigrammen = 3un mot d´epend des 2 mots qui le pr´ec`edentOn apprend la distribution de probabilit´e des n-grams`a partir d’un ensemble de textes que l’on appelle corpusBrigitte Bigi (CLIPS - Equipe GEOD) ...