Aracılığıyla paylaş

Azure AI Studio'da modellerde ince ayar yapma

  • Makale

Önemli

Bu makalede işaretlenen (önizleme) öğeler şu anda genel önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Hassas ayarlama, örnek verileri kullanarak mevcut büyük dil modelini (LLM) yeniden eğitir. Sonuç, sağlanan örnekler için iyileştirilmiş yeni ve özel bir LLM'dir.

Bu makale, hassas ayarlamanın kullanım örneğiniz için doğru çözüm olup olmadığına karar vermenize yardımcı olabilir. Bu makalede ayrıca Azure AI Studio'nun ince ayar gereksinimlerinizi nasıl destekleyebileceğiniz açıklanmaktadır.

Bu makalede ince ayarlama, insan geri bildirimi (RLHF) aracılığıyla sürekli ön eğitim veya pekiştirici öğrenme için değil, denetimli ince ayarlamayı ifade eder. Denetimli ince ayar, belirli veri kümelerinde önceden eğitilmiş modelleri yeniden eğitme işlemidir. Amaç genellikle belirli görevlerde model performansını geliştirmek veya temel modeli ilk eğittiğiniz sırada iyi temsil etmeyen bilgileri tanıtmaktır.

İnce ayarlama ile çalışmaya başlama

Hassas ayarlamanın kullanım örneğiniz için doğru çözüm olup olmadığına karar verirken şu önemli terimleri bilmeniz yararlı olur:

  • İstem mühendisliği , doğal dil işleme modelleri için istem tasarlamayı içeren bir tekniktir. Bu işlem, modelin performansını iyileştirmek için yanıtlardaki doğruluğu ve ilgililiği artırır.
  • Alma artırılmış oluşturma (RAG), dış kaynaklardan veri alıp bir istem içine ekleyerek LLM performansını artırır. RAG, işletmelerin özelleştirilmiş çözümler elde etmelerine yardımcı olurken veri ilgi düzeyini korur ve maliyetleri iyileştirir.

İnce ayar, uygun şekilde kullanmak için uzmanlık gerektiren gelişmiş bir tekniktir. Aşağıdaki sorular, ince ayarlamaya hazır olup olmadığınızı ve süreç boyunca ne kadar iyi düşündüğünüzu değerlendirmenize yardımcı olabilir. Sonraki adımlarınıza yol göstermek veya daha uygun olabilecek diğer yaklaşımları belirlemek için bu soruları kullanabilirsiniz.

Modelde neden ince ayar yapmak istiyorsunuz?

Şu durumda ince ayarlamaya hazır olabilirsiniz:

  • Hassas ayarlama için belirli bir kullanım örneğini açıkça ifade edebilir ve ince ayar yapmak istediğiniz modeli tanımlayabilirsiniz.

    hassas ayarlama için iyi kullanım örnekleri modelin içeriği belirli ve özelleştirilmiş bir stilde, tonda veya biçimde çıktıya yönlendirmesini içerir. Ayrıca modeli yönlendirmek için gereken bilgilerin istem penceresine sığamayacak kadar uzun veya karmaşık olduğu senaryoları da içerir.

  • Alternatif yaklaşımlardaki zorlukları nasıl giderdiğinize ve performansı geliştirmek için olası çözümler olarak test ettiğinize ilişkin net örneklere sahipsiniz.

  • Kenar olaylarında tutarsız performans, modeli yönlendirmek için bağlam penceresine yeterli çekim istemi sığdıramama veya yüksek gecikme süresi gibi temel bir model kullanarak eksiklikleri belirlediniz.

Şu durumda ince ayara hazır olmayabilirsiniz:

  • Model veya veri kaynağı hakkında yeterli bilgi yok.
  • Modele hizmet vermek için doğru verileri bulamazsınız.
  • hassas ayarlama için net bir kullanım örneğiniz yok veya "Modeli daha iyi hale getirmek istiyorum" ifadesinden daha fazlasını ifade edebilirsiniz.

Maliyeti birincil motivasyonunuz olarak belirlerseniz dikkatli olun. hassas ayarlama, istemleri kısaltarak veya daha küçük bir model kullanmanıza izin vererek belirli kullanım durumlarının maliyetlerini düşürebilir. Ancak genellikle eğitim için daha yüksek ön maliyet vardır ve kendi özel modelinizi barındırmak için ödemeniz gerekir.

Alternatif yaklaşımlarla çalışmayan nedir?

İstem mühendisliğinin ne kadar kısa olduğunu anlamak, ince ayarınıza yaklaşma konusunda rehberlik sağlamalıdır. Temel model uç durumlarda mı yoksa özel durumlarda mı başarısız oluyor? Temel model tutarlı bir şekilde doğru biçimde çıkış sağlamıyor mu ve bağlam penceresine düzeltmek için yeterli örneği sığdıramıyor musunuz?

Temel model ve istem mühendisliğiyle ilgili hata örnekleri, ince ayar için toplamaları gereken verileri ve ince ayarlı modelinizi nasıl değerlendirmeniz gerektiğini belirlemenize yardımcı olabilir.

İşte bir örnek: Müşteri, doğal dil sorularını belirli, standart olmayan bir sorgu dilindeki sorgulara dönüştürmek için GPT-3.5 Turbo kullanmak istiyor. Müşteri, isteminde ("Her zaman GQL döndür") rehberlik sağlar ve veritabanı şemasını almak için RAG kullanır. Ancak söz dizimi her zaman doğru değildir ve genellikle uç durumlar için başarısız olur. Müşteri, modelin daha önce başarısız olduğu durumlar da dahil olmak üzere binlerce doğal dil sorusu ve veritabanı için eşdeğer sorgu örnekleri toplar. Müşteri daha sonra modelde ince ayar yapmak için bu verileri kullanır. Yeni ince ayarlı modelin mühendislik istemi ve alma ile birleştirilmesi, model çıkışlarının doğruluğunu kullanım için kabul edilebilir standartlara kadar getirir.

Şimdiye kadar ne denediniz?

hassas ayarlama, üretken yapay zeka yolculuğunuzun başlangıç noktası değil gelişmiş bir özelliktir. LLM'leri kullanmanın temellerini zaten biliyor olmalısınız. İlk olarak, performans için bir temel elde etmek için istem mühendisliği ve/veya RAG ile temel modelin performansını değerlendirmelisiniz.

İnce ayar yapmadan performansa yönelik bir taban çizgisine sahip olmak, ince ayarlamanın model performansını geliştirip geliştirmediğini bilmek için önemlidir. Hatalı verilerle ince ayar yapmak temel modeli daha kötü hale getirir, ancak taban çizgisi olmadan regresyonları algılamak zordur.

Şu durumda ince ayarlamaya hazır olabilirsiniz:

  • İstem mühendisliği ve RAG tabanlı yaklaşımlar hakkında kanıt ve bilgi gösterebilirsiniz.
  • Kullanım örneğiniz için denediğiniz ince ayar dışındaki tekniklerle belirli deneyimleri ve zorlukları paylaşabilirsiniz.
  • Mümkün olduğunda taban çizgisi performansına yönelik nicel değerlendirmeleriniz vardır.

Şu durumda ince ayara hazır olmayabilirsiniz:

  • Başka hiçbir tekniği test etmediniz.
  • özellikle LLM'ler için ince ayarlamanın nasıl uygulandığı hakkında yeterli bilginiz veya anlayışınız yok.
  • İnce ayarlamayı değerlendirecek karşılaştırma ölçüleriniz yok.

hassas ayarlama için hangi verileri kullanacaksınız?

Harika bir kullanım örneği olsa bile, ince ayarlama yalnızca sağlayabileceğiniz verilerin kalitesi kadar iyidir. Hassas ayarlamalar yapmak için zaman ve çaba harcamaya istekli olmanız gerekir. Farklı modeller farklı veri hacimleri gerektirir, ancak genellikle oldukça büyük miktarlarda yüksek kaliteli seçilmiş veri sağlayabilmeniz gerekir.

Bir diğer önemli nokta, yüksek kaliteli verilerde bile verileriniz ince ayar için gerekli biçimde değilse, biçimlendirme için mühendislik kaynaklarını işlemeniz gerektiğidir.

Şu durumda ince ayarlamaya hazır olabilirsiniz:

  • İnce ayar için bir veri kümesi tanımlamışsınız.
  • Veri kümeniz eğitim için uygun biçimdedir.
  • Veri kümesi kalitesinden emin olmak için bir düzeyde küratör kullandınız.

Şu durumda ince ayara hazır olmayabilirsiniz:

  • Uygun bir veri kümesi tanımlanmadı.
  • Veri kümesi biçimi, ince ayar yapmak istediğiniz modelle eşleşmiyor.

Hassas modelinizin kalitesini nasıl ölçebilirsiniz?

Bu sorunun tek bir doğru yanıtı yoktur, ancak ince ayar ile başarının nasıl göründüğüne ilişkin hedefleri açıkça tanımlamış olmanız gerekir. İdeal olarak, bu çaba sadece nitel olmamalıdır. Kullanıcı kabul testi veya A/B'nin ince ayarlı modeli bir temel modele göre test etme işlemine ek olarak doğrulama için bir veri saklama kümesi kullanma gibi nicel başarı ölçülerini içermelidir.

Azure AI Studio'da ince ayarlama için desteklenen modeller

Artık kullanım örneğiniz için ne zaman ince ayar kullanacağınızı bildiğinize göre, ince ayar için kullanılabilecek modelleri bulmak için Azure AI Studio'ya gidebilirsiniz. Aşağıdaki tabloda, Azure AI Studio'da ince ayar yapabileceğiniz modellerin yanı sıra bunlara ince ayar yapabileceğiniz bölgeler açıklanmaktadır.

Model ailesi Model Kimliği Bölgelere ince ayar
Azure OpenAI modelleri İnce ayar yapabileceğiniz Azure OpenAI Hizmeti modelleri arasında ve gpt-4o-minibulunurgpt-4.

hassas ayarlama için kullanılabilen Azure OpenAI modelleri hakkında ayrıntılı bilgi için bu kılavuzun devamında yer alan Azure OpenAI Hizmeti modelleri belgelerine veya Azure OpenAI modelleri tablosuna bakın.		 İnce ayar yapabileceğiniz Azure OpenAI Hizmeti modelleri arasında Orta Kuzey ABD ve İsveç Merkezi yer alır.

Azure OpenAI modellerini bir AI Studio projesinde ve proje dışında kullanıyorsanız desteklenen bölgeler farklılık gösterebilir.

Bölgelerin ince ayarının ayrıntıları için Bkz . Azure OpenAI Hizmeti modelleri belgeleri.
Phi-3 aile modelleri Phi-3-mini-4k-instruct
Phi-3-mini-128k-instruct
Phi-3-medium-4k-instruct
Phi-3-medium-128k-instruct		 Doğu ABD 2
Meta Llama 2 aile modelleri Meta-Llama-2-70b
Meta-Llama-2-7b
Meta-Llama-2-13b
Llama-2-7B-chat
Llama-2-70B-chat		 Batı ABD3
Meta Llama 3.1 aile modelleri Meta-Llama-3.1-70b-Instruct
Meta-Llama-3.1-8b-Instruct		 Batı ABD3

Bu tabloda, ince ayarlamayı destekleyen Azure OpenAI Hizmeti modelleri ve ince ayarlamanın kullanılabildiği bölgeler hakkında daha fazla ayrıntı sağlanır.

Azure OpenAI modellerinde ince ayarlama

Not

gpt-35-turbo - Bu modelin ince ayarı bölgelerin bir alt kümesiyle sınırlıdır ve temel modelin kullanılabilir olduğu her bölgede kullanılamaz.

AI Studio projesinde Azure OpenAI modellerini kullanarak proje dışından farklı ayarlamalar yapmak için desteklenen bölgeler farklılık gösterebilir.

Model Kimliği Bölgelere ince ayar Maksimum istek (belirteçler) Eğitim Verileri (en fazla)
babbage-002 Orta Kuzey ABD
İsveç Orta
Batı İsviçre		 16,384 Eylül 2021
davinci-002 Orta Kuzey ABD
İsveç Orta
Batı İsviçre		 16,384 Eylül 2021
gpt-35-turbo (0613) Doğu ABD2
Orta Kuzey ABD
İsveç Orta
Batı İsviçre		 4,096 Eylül 2021
gpt-35-turbo (1106) Doğu ABD2
Orta Kuzey ABD
İsveç Orta
Batı İsviçre		 Giriş: 16.385
Çıkış: 4.096		 Eylül 2021
gpt-35-turbo (0125) Doğu ABD2
Orta Kuzey ABD
İsveç Orta
Batı İsviçre		 16,385 Eylül 2021
gpt-4 (0613) 1 Orta Kuzey ABD
Orta İsveç		 8192 Eylül 2021
gpt-4o-mini1 (2024-07-18) Orta Kuzey ABD
Orta İsveç		 Giriş: 128.000
Çıkış: 16.384
Eğitim örneği bağlam uzunluğu: 64.536		 Ekim 2023
gpt-4o1 (2024-08-06) Doğu ABD2
Orta Kuzey ABD
Orta İsveç		 Giriş: 128.000
Çıkış: 16.384
Eğitim örneği bağlam uzunluğu: 64.536		 Ekim 2023

1 GPT-4 şu anda genel önizleme aşamasındadır.

İlgili içerik