Compartilhar via

Suporte a idiomas para o reconhecimento de entidade nomeada personalizado

  • Artigo

Este artigo oferece informações sobre os idiomas atualmente compatíveis com o recurso de reconhecimento de entidade nomeada personalizado.

Opção multilíngue

Com o NER personalizado, você pode treinar um modelo em um idioma e usá-lo para extrair entidades de um documento em um idioma diferente. Esse recurso é poderoso porque ajuda a economizar tempo e esforço. Em vez de criar projetos separados para cada idioma, você lida com conjuntos de dados de vários idiomas em apenas um projeto. Seu conjunto de dados não precisa estar totalmente no mesmo idioma, mas você deve habilitar a opção multilíngue para o projeto durante a criação ou posteriormente nas configurações do projeto. Se o modelo estiver apresentando um baixo desempenho em determinados idiomas durante o processo de avaliação, considere adicionar mais dados nesses idiomas ao conjunto de treinamento.

Você pode treinar seu projeto inteiramente com documentos em inglês e consultá-lo em: francês, alemão, mandarim, japonês, coreano e outros. O reconhecimento de entidade nomeada personalizado facilita a escala de seus projetos para vários idiomas usando a tecnologia multilíngue para treinar seus modelos.

Sempre que você identificar que um idioma específico não está sendo executado, bem como outros idiomas, você pode adicionar documentos para esse idioma em seu projeto. Na página rotulagem de dados no Language Studio, você pode selecionar o idioma do documento que você está adicionando. Quando você introduz mais documentos para esse idioma no modelo, ele recebe mais informações da sintaxe desse idioma e aprende a prever melhor.

Você não precisa adicionar a mesma quantidade de documentos para cada idioma. Você deve criar a maioria do seu projeto em um idioma e adicionar apenas alguns documentos em idiomas que observar não estão funcionando bem. Se você criar um projeto que esteja principalmente em inglês e começar a testá-lo em francês, alemão e espanhol, poderá observar que o alemão não é executado, bem como os outros dois idiomas. Nesse caso, considere adicionar 5% dos documentos originais em inglês em alemão, treinar um novo modelo e testar em alemão novamente. Você deverá ver resultados melhores para consultas em alemão. Quanto mais documentos rotulados você adicionar, maior será a probabilidade de aprimoramento dos resultados.

Quando você adiciona dados em outro idioma, não deve esperar que eles afetem negativamente outros idiomas.

Suporte ao idioma

O NER personalizado dá suporte a arquivos .txt nos seguintes idiomas:

Linguagem Código de idioma
Africâner af
Amárico am
Árabe ar
Assamês as
Azerbaidjano az
Bielorrusso be
Búlgaro bg
Bengali bn
Bretão br
Bósnio bs
Catalão ca
Tcheco cs
Galês cy
Dinamarquês da
Alemão de
Grego el
Inglês (EUA) en-us
Esperanto eo
Espanhol es
Estoniano et
Basco eu
Persa fa
Finlandês fi
Francês fr
Frísio ocidental fy
Irlandês ga
Gaélico escocês gd
Galego gl
Guzerate gu
Hausa ha
Hebraico he
Híndi hi
Croata hr
Húngaro hu
Armênia hy
Indonésio id
Italiano it
Japonês ja
Javanês jv
Georgiano ka
Cazaque kk
Khmer km
canarim kn
Coreano ko
Curdo (Kurmanji) ku
Kyrgyz ky
Latim la
Lao lo
Lituano lt
Letão lv
Malgaxe mg
Macedônio mk
Malaiala ml
Mongol mn
Marati mr
Malaio ms
Birmanês my
Nepali ne
Holandês nl
Norueguês (Bokmal) nb
Oriá or
Panjabi pa
Polonês pl
Pashto ps
Português (Brasil) pt-br
Português (Portugal) pt-pt
Romeno ro
Russo ru
Sânscrito sa
Sindhi sd
Sinhala si
Eslovaco sk
Esloveno sl
Somali so
Albanês sq
Sérvio sr
Sundanês su
Sueco sv
Swahili sw
Tâmil ta
Télugo te
Tailandês th
Filipino tl
Turco tr
Uyghur ug
Ucraniano uk
Urdu ur
Uzbek uz
Vietnamita vi
Xhosa xh
Iídiche yi
Chinês (Simplificado) zh-hans
Zulu zu

Próximas etapas