Language Studio'da konuşmalarınızı etiketleme

Projeniz için bir şema derledikten sonra, projenize eğitim konuşmaları eklemeniz gerekir. Konuşmalar, kullanıcılarınızın projeyle etkileşim kurarken kullanacağı ifadelere benzer olmalıdır. Konuşma eklediğinizde, hangi amaca ait olduğunu atamanız gerekir. Konuşma eklendikten sonra, ifadenizin içinde bulunan ve varlık olarak ayıklamak istediğiniz sözcükleri etiketleyebilirsiniz.

Veri etiketleme, geliştirme yaşam döngüsünde önemli bir adımdır; bu veriler, modelinizin etiketlenmiş verilerden öğrenebilmesi için modelinizi eğitirken bir sonraki adımda kullanılacaktır. Konuşmaları zaten etiketlediyseniz, doğrudan projenize aktarabilirsiniz, ancak verilerinizin kabul edilen veri biçimine uygun olduğundan emin olmanız gerekir. Etiketlenmiş verileri projenize aktarma hakkında daha fazla bilgi edinmek için bkz. proje oluşturma. Etiketlenmiş veriler, modele metin yorumlamayı bildirir ve eğitim ve değerlendirme için kullanılır.

Önkoşullar

Verilerinizi etiketleyebilmeniz için önce şunları yapmanız gerekir:

• Başarıyla oluşturulan bir proje.

Daha fazla bilgi için proje geliştirme yaşam döngüsüne bakın.

Veri etiketleme yönergeleri

Şemanızı oluşturduktan ve projenizi oluşturduktan sonra verilerinizi etiketlemeniz gerekir. Modelinizin projenizdeki amaçlar ve varlıklarla hangi sözcüklerin ve cümlelerin ilişkilendirileceğini bilmesi için verilerinizi etiketlemek önemlidir. Modellerinizi eğitmek için kullanılacak verileri tanıtarak ve iyileştirerek konuşmalarınızı etiketlemek için zaman harcamak isteyeceksiniz.

Konuşma eklerken ve bunları etiketlerken şunları aklınızda bulundurun:

• Makine öğrenmesi modelleri, sağladığınız etiketli örneklere göre genelleştirir; Ne kadar çok örnek sağlarsanız modelin daha iyi genelleştirmeler yapması için o kadar fazla veri noktası gerekir.

• Etiketlenmiş verilerinizin duyarlığı, tutarlılığı ve eksiksizliği, model performansını belirlemede önemli faktörlerdir.

  • Tam olarak etiketle: Her amacı ve varlığı her zaman doğru türde etiketle. Yalnızca sınıflandırılmasını ve ayıklanmasını istediğiniz verileri dahil edin, etiketlerinizde gereksiz verilerden kaçının.
  • Tutarlı bir şekilde etiketle: Aynı varlığın tüm konuşmalarda aynı etikete sahip olması gerekir.
  • Etiket tamamen: Her amaç için çeşitli konuşmalar sağlayın. Tüm konuşmalarınızda varlığın tüm örneklerini etiketle.

Konuşmaları net bir şekilde etiketleme

• Varlıklarınızın başvurduğunu kavramların iyi tanımlandığından ve ayrıştırılabilir olduğundan emin olun. Farklılıkları güvenilir bir şekilde kolayca belirleyip belirleyemediğini kontrol edin. Bunu yapamazsanız bu, öğrenilen bileşenin de zorluk çekeceğinin göstergesi olabilir.

• Varlıklar arasında benzerlik varsa, verilerinizin aralarındaki fark için sinyal sağlayan bazı yönleri olduğundan emin olun.

  Örneğin, uçuş rezervasyonu yapmak için bir model oluştursanız, kullanıcı "Boston'dan Seattle'a bir uçuş istiyorum" gibi bir ifade kullanabilir. Bu tür konuşmalar için kaynak şehir ve hedef şehrin benzer olması beklenir. "Kaynak şehir"i ayırt etmeye ilişkin bir sinyal, genellikle "kimden" sözcüğünden önce geliyor olabilir.

• Hem eğitim hem de test verilerinizde her varlığın tüm örneklerini etiketlediğinizden emin olun. Bir yaklaşım, verilerinizdeki bir sözcüğün veya tümceciğin tüm örneklerini bulmak için arama işlevini kullanarak bunların doğru etiketlenip etiketlenmediğini denetlemektir.

• Öğrenilen bileşeni olmayan varlıklar ve bunu yapanlar için test verilerini etiketleyin. Bu, değerlendirme ölçümlerinizin doğru olmasını sağlamaya yardımcı olur.

• Çok Dilli projeler için, diğer dillerde konuşmalar eklemek modelin bu dillerdeki performansını artırır, ancak verilerinizi desteklemek istediğiniz tüm dillerde çoğaltmaktan kaçının. Örneğin, bir calender bot'un kullanıcılarla olan performansını geliştirmek için geliştirici çoğunlukla İngilizce, birkaçı da İspanyolca veya Fransızca olmak üzere örnekler ekleyebilir. Aşağıdakiler gibi ifadeler ekleyebilir:

  • "Matt ve Kevin ile yarın saat 12'de bir toplantı ayarla." (İngilizce)
  • "Haftalık güncelleştirme toplantısına belirsiz olarak yanıtla." (İngilizce)
  • "Cancelar mi próxima reunión." (İspanyolca)

Konuşmalarınızı etiketleme

Konuşmalarınızı etiketlemek için aşağıdaki adımları kullanın:

1. Language Studio'da proje sayfanıza gidin.

2. Sol taraftaki menüden Veri etiketleme'yi seçin. Bu sayfada, konuşmanızı eklemeye ve etiketlemeye başlayabilirsiniz. Ayrıca üstteki menüden Konuşma dosyasını karşıya yükle'ye tıklayarak konuşmanızı doğrudan karşıya yükleyebilir ve kabul edilen biçimi izlediğinden emin olabilirsiniz.

3. En üstteki özetlerden görünümü eğitim kümesi veya test kümesi olacak şekilde değiştirebilirsiniz. Eğitim ve test kümeleri ve bunların model eğitimi ve değerlendirmesi için nasıl kullanıldığı hakkında daha fazla bilgi edinin.

   

   İpucu

   Test kümesini eğitim verilerini bölmeden otomatik olarak bölmeyi kullanmayı planlıyorsanız tüm konuşmalarınızı eğitim kümesine ekleyin.

4. Amaç seçin açılan menüsünden amaçlardan birini, konuşma dilini (çok dilli projeler için) ve konuşmanın kendisini seçin. İfadeyi eklemek için konuşmanın metin kutusundaki enter tuşuna basın.

5. Konuşmadaki varlıkları etiketlemek için iki seçeneğiniz vardır:

   Seçenek	Açıklama
   Fırça kullanarak etiketleme	Sağ bölmedeki varlığın yanındaki fırça simgesini seçin ve ardından etiketlemek istediğiniz konuşmadaki metni vurgulayın.
   Satır içi menüyü kullanarak etiket	Varlık olarak etiketlemek istediğiniz sözcüğü vurguladığınızda bir menü görüntülenir. Bu sözcükleri etiketlemek istediğiniz varlığı seçin.

6. Sağ taraftaki bölmede , Etiketler özetinin altında projenizdeki tüm varlık türlerini ve her biri için etiketlenmiş örneklerin sayısını bulabilirsiniz.

7. Dağıtım özetinin altında, eğitim ve test kümeleri arasındaki dağıtımı görüntüleyebilirsiniz. Görüntülemek için iki seçeneğiniz vardır:

   • Belirli bir varlığın tüm etiketlenmiş örneklerinin sayısını görüntüleyebileceğiniz etiketlenmiş varlık başına toplam örnek sayısı.
   • Bu varlığın en az bir etiketlenmiş örneğini içeriyorsa her ifadenin sayıldığı etiketli varlık başına benzersiz konuşmalar.
   • Amaç başına konuşma sayısını görüntüleyebileceğiniz ifade sayısı.

Not

Liste ve önceden oluşturulmuş bileşenler veri etiketleme sayfasında gösterilmez ve buradaki tüm etiketler yalnızca öğrenilen bileşen için geçerlidir.

Etiketi kaldırmak için:

1. Konuşmanızın içinden etiketi kaldırmak istediğiniz varlığı seçin.
2. Görüntülenen menüyü kaydırın ve Etiketi kaldır'ı seçin.

Bir varlığı silmek için:

1. Sağ taraftaki bölmede düzenlemek istediğiniz varlığı seçin.
2. Varlığın yanındaki üç noktayı seçin ve açılan menüden istediğiniz seçeneği belirleyin.

Azure OpenAI ile konuşma önerin

CLU'da, GPT modellerini kullanarak projenize eklenecek konuşmaları önermek için Azure OpenAI kullanın. Öncelikle Azure OpenAI'de erişim elde etmeniz ve bir kaynak oluşturmanız gerekir. Ardından GPT modelleri için bir dağıtım oluşturmanız gerekir. Buradaki önkoşul adımlarını izleyin.

Başlamadan önce, konuşma önerme özelliği yalnızca Dil kaynağınız aşağıdaki bölgelerdeyse kullanılabilir:

• Doğu ABD
• Orta Güney ABD
• West Europe

Veri Etiketleme sayfasında:

1. Konuşma önerin düğmesini seçin. Sağ tarafta Azure OpenAI kaynağınızı ve dağıtımınızı seçmenizi isteyen bir bölme açılır.
2. Azure OpenAI kaynağı seçiminde, Dil kaynağınızın Azure OpenAI kaynağınıza doğrudan erişmesini sağlayan Bağlan'ı seçin. Dil kaynağınıza Azure OpenAI kaynağınıza rolünü Cognitive Services User atar ve bu da geçerli Dil kaynağınızın Azure OpenAI hizmetine erişmesine olanak tanır. Bağlantı başarısız olursa, Azure OpenAI kaynağınıza doğru rolü el ile eklemek için aşağıdaki adımları izleyin.
3. Kaynak bağlandıktan sonra dağıtımı seçin. Azure OpenAI dağıtımı için önerilen modeldir text-davinci-002.
4. Öneri almak istediğiniz amacı seçin. Seçtiğiniz amacın konuşma önerileri için etkinleştirilecek en az 5 kaydedilmiş konuşma olduğundan emin olun. Azure OpenAI tarafından sağlanan öneriler, bu amaç için eklediğiniz en son konuşmaları temel alır.
5. Konuşma oluştur'a tıklayın. İşlem tamamlandıktan sonra önerilen konuşmalar, çevresinde yapay zeka tarafından oluşturulan notunun yer aldığı noktalı bir çizgiyle gösterilir. Bu önerilerin kabul edilmesi veya reddedilmesi gerekir. Bir öneriyi kabul etmek, bunu projenize kendiniz eklemişsiniz gibi ekler. Reddedildiğinde öneri tamamen silinir. Yalnızca kabul edilen konuşmalar projenizin bir parçası olur ve eğitim veya test için kullanılır. Her konuşmanın yanındaki yeşil onay veya kırmızı iptal düğmelerine tıklayarak kabul edebilir veya reddedebilirsiniz. Araç çubuğundaki Accept all ve Reject all düğmelerini de kullanabilirsiniz.

Bu özelliğin kullanılması, oluşturulan önerilen konuşmalara benzer sayıda belirteç için Azure OpenAI kaynağınıza bir ücret gerektirir. Azure OpenAI fiyatlandırması ile ilgili ayrıntıları burada bulabilirsiniz.

Azure OpenAI kaynağına gerekli yapılandırmaları ekleme

Dil kaynağınızı bir Azure OpenAI kaynağına bağlama işlemi başarısız olursa şu adımları izleyin:

Aşağıdaki seçenekleri kullanarak Dil kaynağınız için kimlik yönetimini etkinleştirin:

Azure portalı

Dil kaynağınızın Azure portal kullanarak etkinleştirmek için kimlik yönetimine sahip olması gerekir:

1. Dil kaynağınıza gidin
2. Sol taraftaki menüden Kaynak Yönetimi bölümünde Kimlik'i seçin
3. Sistem tarafından atanan sekmesinde Durum'uAçık olarak ayarladığınızdan emin olun

Language Studio

Language Studio kullanarak etkinleştirmek için Dil kaynağınızın kimlik yönetimi olmalıdır:

1. Ekranın sağ üst köşesindeki ayarlar simgesini seçin
2. Kaynakları Seç
3. Dil kaynağınız için Yönetilen Kimlik onay kutusunu seçin.

Yönetilen kimliği etkinleştirdikten sonra, Dil kaynağınızın yönetilen kimliğini kullanarak rolü Cognitive Services User Azure OpenAI kaynağınıza atayın.

1. Azure portal oturum açın ve Azure OpenAI kaynağınıza gidin.
2. Soldaki Access Control (IAM) sekmesini seçin.
3. Rol ataması ekle'yi > seçin.
4. "İş işlevi rolleri" öğesini seçin ve İleri'ye tıklayın.
5. Rol listesinden seçin Cognitive Services User ve İleri'ye tıklayın.
6. "Yönetilen kimliğe" erişim ata'yı ve ardından "Üye seç"i seçin.
7. "Yönetilen kimlik" altında "Dil" öğesini seçin.
8. Kaynağınızı arayın ve seçin. Ardından işlemi tamamlamak için aşağıdaki ve yanındaki Seç düğmesini seçin.
9. Ayrıntıları gözden geçirin ve Gözden Geçir + Ata'yı seçin.

Birkaç dakika sonra Language Studio'yu yenilediğinizde Azure OpenAI'ye başarıyla bağlanabileceksiniz.

Sonraki Adımlar

• Modeli Eğit