Bir dizi örnek konuşma ile toplu test

Önemli

LUIS 1 Ekim 2025'te kullanımdan kaldırılacak ve 1 Nisan 2023'den itibaren yeni LUIS kaynakları oluşturamayacaksınız. Devam eden ürün desteği ve çok dilli özelliklerden yararlanmak için LUIS uygulamalarınızı konuşma dili anlayışına geçirmenizi öneririz.

Toplu test, tahmin doğruluğunu ölçmek için etkin eğitilmiş sürümünüzü doğrular. Toplu test, etkin sürümünüzdeki her amacın ve varlığın doğruluğunu görüntülemenize yardımcı olur. Uygulamanız sık sık doğru amacı tanımlayamazsa veya konuşma içindeki varlıkları etiketlemede başarısız olursa, bir amaca daha fazla örnek konuşma eklemek gibi doğruluğu geliştirmek için uygun eylemi yapmak için toplu iş testi sonuçlarını gözden geçirin.

Toplu test için verileri gruplandırma

Toplu test için kullanılan konuşmaların LUIS'de yeni olması önemlidir. Bir veri ifade kümeniz varsa, konuşmaları üç kümeye bölün: bir amaca eklenen örnek konuşmalar, yayımlanan uç noktadan alınan konuşmalar ve luis eğitildikten sonra LUIS'i toplu test etmek için kullanılan konuşmalar.

Kullandığınız toplu JSON dosyası, başlangıç ve bitiş konumu da dahil olmak üzere etiketlenmiş üst düzey makine öğrenmesi varlıklarıyla konuşmalar içermelidir. Konuşmalar, uygulamada zaten bulunan örneklerin bir parçası olmamalıdır. Amaç ve varlıklar için olumlu tahminde bulunabilmek istediğiniz konuşmalar olmalıdır.

Testleri amaca ve/veya varlığa göre ayırabilir veya tüm testleri (en fazla 1000 konuşma) aynı dosyada bulabilirsiniz.

Toplu işlemi içeri aktarmayla ilgili yaygın hatalar

Toplu iş dosyanızı LUIS'e yüklerken hatalarla karşılaşırsanız aşağıdaki yaygın sorunları denetleyin:

• Toplu iş dosyasında 1.000'den fazla konuşma
• Varlık özelliği olmayan bir konuşma JSON nesnesi. özelliği boş bir dizi olabilir.
• Birden çok varlıkta etiketlenmiş Word'ler
• Bir alanda başlayan veya biten varlık etiketleri.

Toplu iş hatalarını düzeltme

Toplu testte hatalar varsa, bir amaca daha fazla konuşma ekleyebilir ve/veya LUIS'in amaçlar arasında ayrımcılığa neden olması için varlıkla daha fazla konuşma etiketleyebilirsiniz. Konuşmalar eklediyseniz ve bunları etiketlediyseniz ve toplu testte hala tahmin hataları alıyorsanız LUIS'in daha hızlı öğrenmesine yardımcı olmak için etki alanına özgü sözcük dağarcığına sahip bir tümcecik listesi özelliği eklemeyi göz önünde bulundurun.

LUIS portalı

LUIS portalını kullanarak toplu test yapma

Örnek bir uygulamayı içeri aktarma ve eğitma

gibi 1 pepperoni pizza on thin crustbir pizza siparişi alan bir uygulamayı içeri aktarma.

1. Uygulama JSON dosyasını indirip kaydedin.

2. LUIS portalında oturum açın ve abonelik ve yazma kaynağınızı seçerek bu yazma kaynağına atanan uygulamaları görün.

3. Yeni uygulama'nın yanındaki oku seçin ve JSON'ı yeni bir uygulamaya aktarmak için JSON Olarak İçeri Aktar'a tıklayın. Uygulamayı Pizza appolarak adlandırın.

4. Uygulamayı eğitmek için gezintinin sağ üst köşesindeki Eğit'i seçin.

Toplu testteki roller

Dikkat

Varlık rolleri toplu testte desteklenmez.

Toplu test dosyası

Örnek JSON, bir test dosyasının nasıl göründüğünü göstermek için etiketli bir varlığa sahip bir konuşma içerir. Kendi testlerinizde, doğru amaca ve makine öğrenmesi varlığı etiketli birçok ifadeye sahip olmanız gerekir.

1. Metin düzenleyicisinde oluşturun pizza-with-machine-learned-entity-test.json veya indirin .

2. JSON biçimli toplu iş dosyasında, testte tahmin etmek istediğiniz Amaca sahip bir konuşma ekleyin.

   [
       {
           "text": "I want to pick up 1 cheese pizza",
           "intent": "ModifyOrder",
           "entities": [
               {
                   "entity": "Order",
                   "startPos": 18,
                   "endPos": 31
               },
               {
                   "entity": "ToppingList",
                   "startPos": 20,
                   "endPos": 25
               }
           ]
       }
   ]
   

Toplu işlemi çalıştırma

1. Üst gezinti çubuğunda Test'i seçin.

2. Sağ taraftaki panelde Batch test paneli'ni seçin.

   

3. İçeri aktar'ı seçin. Görüntülenen iletişim kutusunda Dosya Seç'i seçin ve test etmek için en fazla 1.000 konuşma içeren doğru JSON biçimine sahip bir JSON dosyası bulun.

   İçeri aktarma hataları, tarayıcının üst kısmındaki kırmızı bir bildirim çubuğunda bildirilir. İçeri aktarmada hatalar olduğunda veri kümesi oluşturulmaz. Daha fazla bilgi için bkz . Yaygın hatalar.

4. Dosyanın dosya konumunu pizza-with-machine-learned-entity-test.json seçin.

5. Veri kümesini pizza test adlandırın ve Bitti'yi seçin.

6. Çalıştır düğmesini seçin.

7. Toplu test tamamlandıktan sonra aşağıdaki sütunları görebilirsiniz:

   Sütun	Açıklama
   İl	Testin durumu. Bkz. sonuçlar yalnızca test tamamlandıktan sonra görünür.
   Veri Akışı Adı	Teste verdiğiniz ad.
   Size	Bu toplu test dosyasındaki test sayısı.
   Son Çalıştırma	Bu toplu test dosyasının son çalıştırma tarihi.
   Son sonuç	Testteki başarılı tahminlerin sayısı.

8. Testin ayrıntılı sonuçlarını görüntülemek için Sonuçları göster'i seçin.

   İpucu

   • İndir'i seçtiğinizde karşıya yüklediğiniz dosya indirilir.
   • Toplu testin başarısız olduğunu görürseniz, en az bir konuşma amacı tahminle eşleşmedi.

Amaçlar için toplu iş sonuçlarını gözden geçirme

Toplu test sonuçlarını gözden geçirmek için Sonuçları gör'e tıklayın. Test sonuçları, test konuşmalarının etkin sürüme göre nasıl tahmin edileceğini grafiksel olarak gösterir.

Toplu iş grafiği dört çeyrek sonuç görüntüler. Grafiğin sağındaki filtredir. Filtre amaçları ve varlıkları içerir. Grafiğin bir bölümünü veya grafiğin içindeki bir noktayı seçtiğinizde, ilişkili konuşmalar grafiğin altında görüntülenir.

Grafiğin üzerine gelindiğinde fare tekerleği grafikteki ekranı büyütebilir veya azaltabilir. Grafikte birbirine sıkı bir şekilde kümelenmiş birçok nokta olduğunda bu yararlı olur.

Grafik dört çeyrektedir ve bölümlerden ikisi kırmızı görüntülenir.

1. Filtre listesinde ModifyOrder amacını seçin. Konuşma Gerçek Pozitif olarak tahmin edilir, yani ifade toplu iş dosyasında listelenen pozitif tahminle başarıyla eşleşmiştir.

   

   Filtreler listesindeki yeşil onay işaretleri, her amaç için testin başarısını da gösterir. Diğer tüm amaçlar 1/1 pozitif puanla listelenir çünkü konuşma her amaca göre test edilmiştir ve toplu iş testinde listelenmeyen amaçlar için negatif bir testtir.

2. Onay amacını seçin. Bu amaç toplu iş testinde listelenmediğinden, toplu iş testinde listelenen ifadenin negatif testidir.

   

   Filtredeki yeşil metin ve kılavuz ile belirtildiği gibi negatif test başarılı oldu.

Varlıklar için toplu test sonuçlarını gözden geçirme

ModifyOrder varlığı, alt varlıklara sahip bir makine varlığı olarak, üst düzey varlığın eşleşip eşleşmediğini ve alt varlıkların nasıl tahmin edileceğini görüntüler.

1. Filtre listesinde ModifyOrder varlığını ve ardından kılavuzdaki daireyi seçin.

2. Varlık tahmini grafiğin altında görüntülenir. Ekran, beklentiyle eşleşen tahminler için düz çizgiler ve beklentiyle eşleşmeyen tahminler için noktalı çizgiler içerir.

   

Grafik sonuçlarını filtreleme

Grafiği belirli bir amaç veya varlığa göre filtrelemek için sağ taraftaki filtreleme panelinde amacı veya varlığı seçin. Graftaki veri noktaları ve bunların dağıtım güncelleştirmesi seçiminize göre güncelleştirilir.

Grafik sonucu örnekleri

LUIS portalındaki grafikte aşağıdaki eylemleri gerçekleştirebilirsiniz:

Tek noktalı konuşma verilerini görüntüleme

Grafikte, tahmininin kesin puanını görmek için bir veri noktasının üzerine gelin. Sayfanın en altındaki konuşmalar listesinde ilgili ifadeyi almak için bir veri noktası seçin.

Bölüm verilerini görüntüleme

Dört bölümlü grafikte, grafiğin sağ üst kısmındaki Yanlış Pozitif gibi bölüm adını seçin. Grafiğin altında, bu bölümdeki tüm konuşmalar listedeki grafiğin altında görüntülenir.

Önceki bu görüntüde, konuşma switch on TurnAllOn amacıyla etiketlenmiştir, ancak Hiçbiri amacının tahmini alınmıştı. Bu, TurnAllOn amacının beklenen tahmini yapmak için daha fazla örnek ifadeye ihtiyacı olduğunu gösteren bir göstergedir.

Grafiğin kırmızı renkli iki bölümü, beklenen tahminle eşleşmeyen konuşmaları gösterir. Bunlar, LUIS'in daha fazla eğitime ihtiyaç duyduğu konuşmaları gösterir.

Grafiğin yeşil renkli iki bölümü beklenen tahminle eşleşiyordu.

REST API

REST API kullanarak toplu test

LUIS, LUIS portalını ve REST API'yi kullanarak toplu test yapmanızı sağlar. REST API uç noktaları aşağıda listelenmiştir. LUIS portalını kullanarak toplu test yapma hakkında bilgi için bkz . Öğretici: toplu test veri kümeleri. Yer tutucu değerlerini kendi LUIS Tahmin anahtarınız ve uç noktanızla değiştirerek aşağıdaki URL'lerin tamamını kullanın.

LUIS anahtarınızı Ocp-Apim-Subscription-Key üst bilgi içine eklemeyi ve olarak ayarlamayı Content-Type application/jsonunutmayın.

Toplu test başlatma

Uygulama sürüm kimliği veya yayımlama yuvası kullanarak toplu iş testi başlatın. Aşağıdaki uç nokta biçimlerinden birine post isteği gönderin. Toplu iş dosyanızı isteğin gövdesine ekleyin.

Yayımlama yuvası

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-NAME>/evaluations

Uygulama sürümü kimliği

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations

Bu uç noktalar, durumu denetlemek ve sonuçları almak için kullanacağınız bir işlem kimliği döndürür.

Devam eden bir toplu iş testinin durumunu alma

Durumunu aşağıdaki uç nokta biçimlerinden almak için başlattığınız toplu iş testinden işlem kimliğini kullanın:

Yayımlama yuvası

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/status

Uygulama sürümü kimliği

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/status

Toplu testten sonuçları alma

Aşağıdaki uç nokta biçimlerinden sonuçlarını almak için başlattığınız toplu iş testinden işlem kimliğini kullanın:

Yayımlama yuvası

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/result

Uygulama sürümü kimliği

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/result

Konuşmaların toplu dosyası

Toplu test için veri kümesi olarak bilinen konuşmalardan oluşan bir toplu iş dosyası gönderin. Veri kümesi, en fazla 1.000 etiketli konuşma içeren JSON biçimli bir dosyadır. Bir uygulamada en fazla 10 veri kümesini test edebilirsiniz. Daha fazlasını test etmeniz gerekiyorsa, bir veri kümesini silin ve yenisini ekleyin. Modeldeki tüm özel varlıklar, toplu iş dosyası verilerinde karşılık gelen varlıklar olmasa bile toplu iş testi varlıkları filtresinde görünür.

Toplu iş dosyası konuşmalardan oluşur. Her konuşmanın, algılanmasını beklediğiniz makine öğrenmesi varlıklarıyla birlikte beklenen bir amaç tahminine sahip olması gerekir.

Varlıkları olan amaçlar için toplu söz dizimi şablonu

Toplu iş dosyanızı başlatmak için aşağıdaki şablonu kullanın:

{
    "LabeledTestSetUtterances": [
        {
            "text": "play a song",
            "intent": "play_music",
            "entities": [
                {
                    "entity": "song_parent",
                    "startPos": 0,
                    "endPos": 15,
                    "children": [
                        {
                            "entity": "pre_song",
                            "startPos": 0,
                            "endPos": 3
                        },
                        {
                            "entity": "song_info",
                            "startPos": 5,
                            "endPos": 15
                        }
                    ]
                }
            ]
        }
    ]
}

Batch dosyası, bir varlığın başlangıcını ve sonunu not etmek için startPos ve endPos özelliklerini kullanır. Değerler sıfır tabanlıdır ve boşlukta başlamamalı veya bitmemelidir. Bu, startIndex ve endIndex özelliklerini kullanan sorgu günlüklerinden farklıdır.

Varlıkları test etmek istemiyorsanız özelliğini ekleyin entities ve değerini boş bir dizi []olarak ayarlayın.

REST API toplu test sonuçları

API tarafından döndürülen birkaç nesne vardır:

• Duyarlılık, geri çekme ve F puanı gibi amaçlar ve varlık modelleri hakkında bilgiler.
• Her varlık için duyarlılık, geri çekme ve F puanı gibi varlık modelleri hakkında bilgiler
  • bayrağını verbose kullanarak varlık hakkında ve entityTypeFScoregibi entityTextFScore daha fazla bilgi edinebilirsiniz.
• Tahmin edilen ve etiketlenmiş amaç adlarıyla konuşmalar sağlandı
• Hatalı pozitif varlıkların listesi ve hatalı negatif varlıkların listesi.

Sonraki adımlar

Test, LUIS uygulamanızın doğru amaçları ve varlıkları tanımadığını gösteriyorsa, daha fazla konuşma etiketleyerek veya özellik ekleyerek LUIS uygulamanızın performansını geliştirmek için çalışabilirsiniz.

• Önerilen konuşmaları LUIS ile etiketleme
• LUIS uygulamanızın performansını geliştirmek için özellikleri kullanma