Konuşma dili anlama modelinizi eğitin

Konuşmalarınızı etiketlemeyi tamamladıktan sonra modeli eğitmeye başlayabilirsiniz. Eğitim, modelin etiketli konuşmalarınızdan öğrendiği işlemdir.

Modeli eğitmek için bir eğitim işi başlatın. Yalnızca başarıyla tamamlanan işler bir model oluşturur. Eğitim işlerinin süresi yedi gün sonra dolar, bu süreden sonra iş ayrıntılarını alamazsınız. Eğitim işiniz başarıyla tamamlandıysa ve bir model oluşturulduysa, iş süresinin dolmasından etkilenmez. Aynı anda yalnızca bir eğitim işi çalıştırabilirsiniz ve aynı projedeki diğer işleri başlatamazsınız.

Eğitim süreleri, basit projelerle ilgilenirken birkaç saniye içinde herhangi bir yerde olabilir ve konuşma sayısı üst sınırına ulaştığınızda birkaç saate kadar sürebilir.

Eğitim başarıyla tamamlandıktan sonra model değerlendirmesi otomatik olarak tetikleniyor. Değerlendirme işlemi, test kümesindeki konuşmalar üzerinde tahmin çalıştırmak için eğitilen modeli kullanarak başlar ve tahmin edilen sonuçları sağlanan etiketlerle karşılaştırır (bu da bir doğruluk temeli oluşturur).

Önkoşullar

• Yapılandırılmış bir Azure blob depolama hesabıyla başarıyla oluşturulmuş bir proje
• Etiketli konuşmalar

Eğitim verilerini dengeleme

Eğitim verileri söz konusu olduğunda şemanızı dengeli tutmaya çalışmanız gerekir. Bir amacın büyük miktarlarda ve çok azının dahil olması, belirli amaçlara karşı büyük ölçüde sapmalı bir modele neden olur.

Bu sorunu çözmek için eğitim kümenizi aşağı örneklemeniz veya buna eklemeniz gerekebilir. Altörnekleme şu şekilde yapılabilir:

• Eğitim verilerinin belirli bir yüzdesini rastgele silme.
• Veri kümesini analiz ederek ve fazla temsil edilen yinelenen girişleri kaldırarak daha sistematik bir şekilde.

Ayrıca Language Studio'da Veri etiketleme sekmesinde konuşma öner'i seçerek eğitim kümesine ekleyebilirsiniz. Konuşma Language Understanding benzer konuşmalar oluşturmak için Azure OpenAI'ye bir çağrı gönderir.

Ayrıca eğitim kümesinde istenmeyen "desenleri" de aramalısınız. Örneğin, belirli bir amaca yönelik eğitim kümesinin tümü küçük harfse veya belirli bir tümcecikle başlıyorsa. Bu gibi durumlarda eğittiğiniz model, genelleştirebilmek yerine eğitim kümesindeki bu istenmeyen yanlılıkları öğrenebilir.

Eğitim kümesine büyük/küçük harf ve noktalama çeşitliliğinin getirilmesini öneririz. Modelinizin varyasyonları işlemesi bekleniyorsa, bu çeşitliliği de yansıtan bir eğitim kümesine sahip olduğundan emin olun. Örneğin, bazı ifadeleri uygun büyük/küçük harfe, bazılarını ise küçük harfe ekleyin.

Veri bölme

Eğitim işlemine başlamadan önce, projenizdeki etiketli konuşmalar bir eğitim kümesine ve bir test kümesine bölünür. Her biri farklı bir işleve hizmet eder. Eğitim kümesi modeli eğitmede kullanılır. Bu küme, modelin etiketlenmiş konuşmaları öğrendiği kümedir. Test kümesi, eğitim sırasında değil yalnızca değerlendirme sırasında modele tanıtılmayan bir kör kümedir.

Model başarıyla eğitildikten sonra, test kümesindeki konuşmalardan tahminler yapmak için kullanılabilir. Bu tahminler değerlendirme ölçümlerini hesaplamak için kullanılır. Tüm amaçlarınızın ve varlıklarınızın hem eğitim hem de test kümesinde yeterli temsili olduğundan emin olun.

Konuşma dili anlama, veri bölme için iki yöntemi destekler:

• Test kümesini eğitim verilerinden otomatik olarak bölme: Sistem, seçtiğiniz yüzdelere göre etiketli verilerinizi eğitim ve test kümeleri arasında böler. Önerilen bölme yüzdesi eğitim için %80 ve test için %20'dir.

Not

Test kümesini eğitim verilerinden otomatik olarak bölme seçeneğini belirlerseniz, sağlanan yüzdelere göre yalnızca eğitim kümesine atanan veriler bölünür.

• Eğitim ve test verilerinin el ile bölünmesini kullanın: Bu yöntem kullanıcıların hangi konuşmaların hangi kümeye ait olması gerektiğini tanımlamasına olanak tanır. Bu adım yalnızca etiketleme sırasında test kümenize konuşmalar eklediyseniz etkinleştirilir.

Eğitim modları

CLU, modellerinizi eğitmesi için iki modu destekler

• Standart eğitim , modellerinizi görece hızlı bir şekilde eğitmek için hızlı makine öğrenmesi algoritmalarını kullanır. Bu şu anda yalnızca İngilizce kullanılabilir ve birincil dili İngilizce (ABD) veya İngilizce (Birleşik Krallık) kullanmayan tüm projelerde devre dışıdır. Bu eğitim seçeneği ücretsizdir. Standart eğitim, konuşma eklemenizi ve bunları hiçbir ücret ödemeden hızlı bir şekilde test etmenizi sağlar. Gösterilen değerlendirme puanları, projenizde nerede değişiklik yapabileceğinize ve daha fazla konuşma ekleyeceğiniz konusunda size yol göstermelidir. Birkaç kez yineleyip artımlı geliştirmeler yaptıktan sonra, modelinizin başka bir sürümünü eğitmek için gelişmiş eğitimi kullanmayı düşünebilirsiniz.

• Gelişmiş eğitim , modellerinizi verilerinizle özelleştirmek için en son makine öğrenmesi teknolojisini kullanır. Bunun modelleriniz için daha iyi performans puanları göstermesi beklenir ve CLU'nun çok dilli özelliklerini de kullanmanıza olanak tanır. Gelişmiş eğitimin fiyatı farklıdır. Ayrıntılar için fiyatlandırma bilgilerine bakın.

Kararlarınıza yol göstermek için değerlendirme puanlarını kullanın. Standart eğitim modunu kullandığınızdan farklı olarak, gelişmiş eğitimde belirli bir örneğin yanlış tahmin edildiği zamanlar olabilir. Ancak, genel değerlendirme sonuçları gelişmiş kullanımı daha iyiyse, son modelinizi kullanmanız önerilir. Böyle bir durum söz konusu değilse ve çok dilli bir özellik kullanmak istemiyorsanız standart modla eğitilen modeli kullanmaya devam edebilirsiniz.

Not

Her algoritma puanlarını farklı şekilde ayarladıkça eğitim modları arasında amaç güven puanlarındaki davranışlarda bir fark görmeyi beklemelisiniz.

Modeli eğitme

Language Studio

Modelinizi Language Studio'dan eğitmeye başlamak için:

1. Sol taraftaki menüden Modeli eğit'i seçin.

2. Üstteki menüden Eğitim işi başlat'ı seçin.

3. Yeni model eğit'i seçin ve metin kutusuna yeni bir model adı girin. Aksi takdirde mevcut modeli yeni veriler üzerinde eğitilen bir modelle değiştirmek için Var olan modelin üzerine yaz'ı ve ardından mevcut bir modeli seçin. Eğitilen modelin üzerine yazmak geri alınamaz, ancak yeni modeli dağıtana kadar dağıtılan modellerinizi etkilemez.

4. Eğitim modunu seçin. Daha hızlı eğitim için Standart eğitim'i seçebilirsiniz, ancak yalnızca İngilizce kullanılabilir. Alternatif olarak, diğer diller ve çok dilli projeler için desteklenen gelişmiş eğitim'i seçebilirsiniz, ancak daha uzun eğitim süreleri içerir. Eğitim modları hakkında daha fazla bilgi edinin.

5. Bir veri bölme yöntemi seçin. Test kümesini eğitim verilerinden otomatik olarak bölmeyi seçebilirsiniz; burada sistem konuşmalarınızı belirtilen yüzdelere göre eğitim ve test kümeleri arasında böler. Ya da eğitim ve test verilerinin el ile bölünmesini kullanabilirsiniz. Bu seçenek yalnızca konuşmalarınızı etiketlediğinizde test kümenize konuşma eklediyseniz etkinleştirilir.

6. Eğit düğmesini seçin.

   

7. Listeden eğitim işi kimliğini seçin. Bu iş için eğitim ilerleme durumunu, iş durumunu ve diğer ayrıntıları denetleyebileceğiniz bir panel görüntülenir.

   Not

   • Yalnızca başarıyla tamamlanan eğitim işleri model oluşturur.
   • Konuşma sayısına bağlı olarak eğitim birkaç dakika ile birkaç saat arasında sürebilir.
   • Aynı anda yalnızca bir eğitim işi çalıştırabilirsiniz. Çalışan iş tamamlanana kadar aynı proje içindeki diğer eğitim işlerini başlatamazsınız.
   • Modelleri eğitmek için kullanılan makine öğrenmesi düzenli olarak güncelleştirilir. Önceki bir yapılandırma sürümünde eğitmek için Eğitim işi başlat sayfasında değiştirmek için Burayı seçin'i seçin ve önceki bir sürümü seçin.

REST API'leri

Eğitim işini başlatma

Eğitim işi göndermek için aşağıdaki URL' yi, üst bilgileri ve JSON gövdesini kullanarak bir POST isteği oluşturun.

İstek URL’si

API isteğinizi oluştururken aşağıdaki URL'yi kullanın. Yer tutucu değerlerini kendi değerlerinizle değiştirin.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:train?api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	EmailApp
{API-VERSION}	Çağırdığınız API'nin sürümü .	2023-04-01

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

İstek gövdesi

İsteğinizde aşağıdaki nesneyi kullanın. Model, eğitim tamamlandıktan sonra parametre için modelLabel kullandığınız değerden sonra adlandırılır.

{
  "modelLabel": "{MODEL-NAME}",
  "trainingMode": "{TRAINING-MODE}",
  "trainingConfigVersion": "{CONFIG-VERSION}",
  "evaluationOptions": {
    "kind": "percentage",
    "testingSplitPercentage": 20,
    "trainingSplitPercentage": 80
  }
}

Anahtar	Yer tutucu	Değer	Örnek
modelLabel	{MODEL-NAME}	Model adınız.	Model1
trainingConfigVersion	{CONFIG-VERSION}	Eğitim yapılandırma modeli sürümü. Varsayılan olarak en son model sürümü kullanılır.	2022-05-01
trainingMode	{TRAINING-MODE}	Eğitim için kullanılacak eğitim modu. Desteklenen modlar Standart eğitimdir, daha hızlı eğitimdir, ancak yalnızca diğer diller ve çok dilli projeler için desteklenen İngilizce ve Gelişmiş eğitimler için kullanılabilir, ancak daha uzun eğitim süreleri içerir. Eğitim modları hakkında daha fazla bilgi edinin.	standard
kind	percentage	Bölme yöntemleri. Olası Değerler veya manualşeklindedirpercentage. Daha fazla bilgi için modeli eğitmeye bakın.	percentage
trainingSplitPercentage	80	Etiketli verilerinizin eğitim kümesine dahil edilecek yüzdesi. Önerilen değer şeklindedir 80.	80
testingSplitPercentage	20	Test kümesine eklenecek etiketli verilerinizin yüzdesi. Önerilen değer şeklindedir 20.	20

Not

trainingSplitPercentage ve testingSplitPercentage yalnızca olarak ayarlanırsa Kindpercentage gereklidir ve her iki yüzdenin toplamı da 100'e eşit olmalıdır.

API isteğinizi gönderdikten sonra başarılı olduğunu belirten bir 202 yanıt alırsınız. Yanıt üst bilgilerinde değeri ayıklayın operation-location . Şu şekilde biçimlendirilir:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

Eğitim işi durumunu almak için bu URL'yi kullanabilirsiniz.

Eğitim işi durumunu alma

Eğitim verilerinizin boyutuna ve şemanızın karmaşıklığına bağlı olarak eğitim biraz zaman alabilir. Başarıyla tamamlanana kadar eğitim işinin durumunu yoklamayı sürdürmek için aşağıdaki isteği kullanabilirsiniz.

Başarılı bir eğitim isteği gönderdiğinizde, işin durumunu denetlemek için tam istek URL'si (uç noktanız, proje adınız ve iş kimliğiniz dahil) yanıtın operation-location üst bilgisinde yer alır.

Modelinizin eğitim ilerleme durumunu almak için aşağıdaki GET isteğini kullanın. Aşağıdaki yer tutucu değerlerini kendi değerlerinizle değiştirin.

İstek URL’si

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{YOUR-ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	EmailApp
{JOB-ID}	Modelinizin eğitim durumunu bulma kimliği.	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx
{API-VERSION}	Çağırdığınız API'nin sürümü .	2023-04-01

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

Yanıt Gövdesi

İsteği gönderdikten sonra aşağıdaki yanıtı alırsınız. Durum parametresi "başarılı" olarak değişene kadar bu uç noktayı yoklamayı sürdürebilirsiniz.

{
  "result": {
    "modelLabel": "{MODEL-LABEL}",
    "trainingConfigVersion": "{TRAINING-CONFIG-VERSION}",
    "trainingMode": "{TRAINING-MODE}",
    "estimatedEndDateTime": "2022-04-18T15:47:58.8190649Z",
    "trainingStatus": {
      "percentComplete": 3,
      "startDateTime": "2022-04-18T15:45:06.8190649Z",
      "status": "running"
    },
    "evaluationStatus": {
      "percentComplete": 0,
      "status": "notStarted"
    }
  },
  "jobId": "xxxxx-xxxxx-xxxx-xxxxx-xxxx",
  "createdDateTime": "2022-04-18T15:44:44Z",
  "lastUpdatedDateTime": "2022-04-18T15:45:48Z",
  "expirationDateTime": "2022-04-25T15:44:44Z",
  "status": "running"
}

Anahtar	Değer	Örnek
modelLabel	Model adı	Model1
trainingConfigVersion	Eğitim yapılandırması sürümü. Varsayılan olarak en son sürüm kullanılır.	2022-05-01
trainingMode	Seçtiğiniz eğitim modu.	standard
startDateTime	Eğitimin başladığı zaman	2022-04-14T10:23:04.2598544Z
status	Eğitim işinin durumu	running
estimatedEndDateTime	Eğitim işinin bitmek üzere tahmini süresi	2022-04-14T10:29:38.2598544Z
jobId	Eğitim işi kimliğiniz	xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx
createdDateTime	Eğitim işi oluşturma tarihi ve saati	2022-04-14T10:22:42Z
lastUpdatedDateTime	Eğitim işi son güncelleştirme tarihi ve saati	2022-04-14T10:23:45Z
expirationDateTime	Eğitim işi sona erme tarihi ve saati	2022-04-14T10:22:42Z

Eğitim işini iptal etme

Language Studio

Language Studio'dan bir eğitim işini iptal etmek için

1. Modeli eğit sayfasında iptal etmek istediğiniz eğitim işini seçin ve üstteki menüden İptal'i seçin.

REST API'leri

Bir eğitim işini iptal etmek için aşağıdaki URL' yi, üst bilgileri ve JSON gövdesini kullanarak bir POST isteği oluşturun.

İstek URL’si

API isteğinizi oluştururken aşağıdaki URL'yi kullanın. Aşağıdaki yer tutucu değerlerini kendi değerlerinizle değiştirin.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}/:cancel?api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	EmailApp
{JOB-ID}	Bu, eğitim işi kimliğidir.	XXXXX-XXXXX-XXXX-XX
{API-VERSION}	Çağırdığınız API'nin sürümü .	2023-04-01

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

API isteğinizi gönderdikten sonra başarılı olduğunu belirten bir 202 yanıtı alırsınız ve bu da eğitim işinizin iptal edildiğini gösterir. Başarılı bir çağrı, işin durumunu denetlemek için kullanılan üst Operation-Location bilgiyle sonuçlanır.

Sonraki adımlar

• Model değerlendirme ölçümleri