Dukungan bahasa untuk pengenalan entitas bernama kustom

Gunakan artikel ini untuk mempelajari tentang bahasa yang saat ini didukung oleh fitur pengenalan entitas bernama kustom.

Opsi multibahasa

Dengan NER khusus, Anda dapat melatih model dalam satu bahasa dan menggunakannya untuk mengekstrak entitas dari dokumen dalam bahasa lain. Fitur ini sangat kuat karena membantu menghemat waktu dan usaha. Alih-alih membangun proyek terpisah untuk setiap bahasa, Anda dapat menangani set data multibahasa dalam satu proyek. Himpunan data Anda tidak harus sepenuhnya dalam bahasa yang sama tetapi Anda harus mengaktifkan opsi multibahasa untuk proyek Anda saat membuat atau nanti di pengaturan proyek. Jika Anda melihat model Anda berperforma buruk dalam bahasa tertentu selama proses evaluasi, pertimbangkan untuk menambahkan lebih banyak data dalam bahasa ini ke set pelatihan Anda.

Anda dapat melatih proyek Anda sepenuhnya dengan dokumen bahasa Inggris, dan menanyakannya dalam bahasa: Prancis, Jerman, Mandarin, Jepang, Korea, dan lainnya. Pengenalan entitas bernama kustom memudahkan Anda menskalakan proyek ke berbagai bahasa dengan menggunakan teknologi multibahasa untuk melatih model Anda.

Setiap kali Anda mengidentifikasi bahwa bahasa tertentu tidak berperforma sebaik bahasa lain, Anda dapat menambahkan lebih banyak dokumen untuk bahasa itu di proyek Anda. Di halaman pelabelan data di Language Studio, Anda dapat memilih bahasa dokumen yang Anda tambahkan. Saat Anda memperkenalkan lebih banyak dokumen untuk bahasa itu ke model, itu diperkenalkan ke lebih banyak sintaks bahasa itu, dan belajar untuk memprediksinya dengan lebih baik.

Anda tidak diharapkan untuk menambahkan jumlah dokumen yang sama untuk setiap bahasa. Anda harus membangun sebagian besar proyek Anda dalam satu bahasa, dan hanya menambahkan beberapa dokumen dalam bahasa yang Anda amati tidak berperforma baik. Jika Anda membuat proyek yang terutama dalam bahasa Inggris, dan mulai mengujinya dalam bahasa Prancis, Jerman, dan Spanyol, Anda mungkin mengamati bahwa bahasa Jerman tidak memiliki performa sebaik dua bahasa lainnya. Dalam hal ini, pertimbangkan untuk menambahkan 5% dari dokumen asli bahasa Inggris Anda dalam bahasa Jerman, latih model baru dan uji dalam bahasa Jerman lagi. Seharusnya hasilnya menjadi lebih baik untuk kueri Jerman. Semakin banyak dokumen berlabel yang Anda tambahkan, semakin besar kemungkinan hasilnya akan menjadi lebih baik.

Ketika Anda menambahkan data dalam bahasa lain, Anda seharusnya tidak mengharapkannya berdampak negatif terhadap bahasa lain.

Dukungan bahasa

NER kustom mendukung file .txt dalam bahasa berikut:

Bahasa Kode bahasa
Afrikaans af
Amharik am
Arab ar
Assam as
Azerbaijani az
Belarusia be
Bulgaria bg
Bengali bn
Breton br
Bosnia bs
Katalan ca
Cheska cs
Wales cy
Dansk da
Jerman de
Yunani el
Inggris (US) en-us
Esperanto eo
Spanyol es
Esti et
Basque eu
Persia (Farsi) fa
Suomi fi
Prancis fr
Frisia Barat fy
Irlandia ga
Gaelik Skotlandia gd
Galisia gl
Gujarat gu
Hausa ha
Ibrani he
Hindi hi
Kroasia hr
Hungaria hu
Armenia hy
Indonesia id
Italia it
Jepang ja
Jawa jv
Georgia ka
Kazakh kk
Khmer km
Kannada kn
Korea ko
Kurdi (Kurmanji) ku
Kirgiz ky
Latin la
Laos lo
Lituavi lt
Latvi lv
Malagasi mg
Makedonia mk
Malayalam ml
Mongolia mn
Marathi mr
Melayu ms
Birma my
Nepal ne
Belanda nl
Norwegia (Bokmal) nb
Oriya or
Punjabi pa
Polski pl
Pashto ps
Portugis (Brasil) pt-br
Portugis (Portugal) pt-pt
Rumania ro
Rusia ru
Sanskrit sa
Sindhi sd
Sinhala si
Slovak sk
Sloven sl
Somali so
Albania sq
Serbia sr
Sunda su
Swedia sv
Swahili sw
Tamil ta
Telugu te
Thailand th
Filipino tl
Turki tr
Uyghur ug
Ukraina uk
Urdu ur
Uzbek uz
Vietnam vi
Xhosa xh
Yiddi yi
Tionghoa (Aksara Sederhana) zh-hans
Zulu zu

Langkah berikutnya