Partager via


Prise en charge linguistique pour la reconnaissance d’entités nommées personnalisées

Utilisez cet article pour en savoir plus sur les langues actuellement prises en charge par la reconnaissance d’entité nommée personnalisée.

Option multilingue

Avec les NER personnalisées, vous pouvez effectuer l’apprentissage d’un modèle dans une langue et l’utiliser pour extraire des entités à partir de documents dans une autre langue. Particulièrement intéressante, cette fonctionnalité permet d’économiser du temps et des efforts. Plutôt que de créer des projets distincts pour chaque langage, vous pouvez gérer des jeux de données multilingues au sein d’un seul projet. Il n’est pas nécessaire que tout votre jeu de données soit dans la même langue, mais vous devez activer l’option multilingue lors de la création de votre projet ou plus tard, dans les paramètres du projet. Si vous constatez que votre modèle donne de mauvais résultats dans certaines langues pendant le processus d’évaluation, envisagez d’ajouter des données dans ces langues à votre jeu d’apprentissage.

Vous pouvez entraîner entièrement votre projet avec des documents en anglais, et l’interroger en français, allemand, mandarin, japonais, coréen et d’autres langues. La reconnaissance d’entités nommées personnalisées vous permet de mettre facilement à l’échelle vos projets en plusieurs langues en utilisant la technologie multilingue pour entraîner vos modèles.

Chaque fois que vous identifiez qu’une langue particulière ne fonctionne pas aussi bien que les autres langues, vous pouvez ajouter des documents supplémentaires pour cette langue dans votre projet. Sur la page Étiquetage des données de Language Studio, vous pouvez sélectionner la langue du document que vous ajoutez. Lorsque vous introduisez de nouveaux documents pour cette langue dans le modèle, celui-ci se familiarise avec la syntaxe de cette langue et apprend à mieux la prédire.

Vous ne devez pas nécessairement ajouter le même nombre de documents pour chaque langue. Vous devez créer la majeure partie de votre projet dans une seule langue, et n’ajouter que quelques documents dans les langues les moins performantes. Si vous créez un projet qui est principalement en anglais et que vous commencez à le tester en français, en allemand et en espagnol, vous constaterez peut-être que l’allemand ne fonctionne pas aussi bien que les deux autres langues. Dans ce cas, envisagez d’ajouter 5 % de vos documents anglais d’origine en allemand, effectuez l’apprentissage d’un nouveau modèle et procédez à un nouveau test en allemand. Vous devez normalement obtenir de meilleurs résultats pour les requêtes en allemand. Plus vous ajoutez de documents étiquetés, plus les résultats sont susceptibles d’être améliorés.

Quand vous ajoutez des données dans une autre langue, vous ne devez pas redouter qu’elles aient une incidence négative sur les autres langues.

Support multilingue

La NER personnalisée prend en charge les fichiers .txt dans les langues suivantes :

Langage Code langue
Afrikaans af
Amharique am
Arabe ar
Assamais as
Azéri az
Biélorusse be
Bulgare bg
Bengali bn
Breton br
Bosniaque bs
Catalan ca
Tchèque cs
Gallois cy
Danois da
Allemand de
Grec el
Anglais (US) en-us
Espéranto eo
Espagnol es
Estonien et
Basque eu
Persan fa
Finnois fi
Français fr
Frison occidental fy
Irlandais ga
Gaélique écossais gd
Galicien gl
Goudjrati gu
Hausa ha
Hébreu he
Hindi hi
Croate hr
Hongrois hu
Arménien hy
Indonésien id
Italien it
Japonais ja
Javanais jv
Géorgien ka
Kazakh kk
Khmer km
Kannada kn
Coréen ko
Kurde (Kurmanji) ku
Kirghiz ky
Latin la
Lao lo
Lituanien lt
Letton lv
Malgache mg
Macédonien mk
Malayalam ml
Mongol mn
Marathi mr
Malais ms
Birman my
Népalais ne
Néerlandais nl
Norvégien (bokmål) nb
Odia or
Pendjabi pa
Polonais pl
Pachto ps
Portugais (Brésil) pt-br
Portugais (Portugal) pt-pt
Roumain ro
Russe ru
Sanskrit sa
Sindhi sd
Cingalais si
Slovaque sk
Slovène sl
Somali so
Albanais sq
Serbe sr
Soundanais su
Suédois sv
Swahili sw
Tamoul ta
Télougou te
Thaï th
Filipino tl
Turc tr
Ouïgour ug
Ukrainien uk
Ourdou ur
Ouzbek uz
Vietnamien vi
Xhosa xh
Yiddish yi
Chinois (simplifié) zh-hans
Zoulou zu

Étapes suivantes