Microsoft Foundry'de etkileşimli eğitim (önizleme) için temel kavramlar

Important

Bu makalede önizleme olarak işaretlenmiş öğeler şu anda önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve Microsoft üretim iş yükleri için bunu önermez. Bazı özellikler desteklenmeyebilir veya kısıtlı özelliklere sahip olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları.

Important

Etkileşimli eğitim için açık erişim onayı gerekir. Önizleme kayıt formu aracılığıyla erişim isteyin ve eğitim oturumu oluşturmadan önce onay bekleyin.

Etkileşimli eğitim, Microsoft Foundry modeli çalıştırırken programınızın modelin nasıl öğrendiğini denetlemesini sağlar. training driver olarak da adlandırılan programınız örnekleri seçer, yanıtları değerlendirir ve modelin ne zaman güncelleştirileceğine karar verir.

Aşağıdaki kavramlar, bir eğitim döngüsünün parçalarının birbirine nasıl uyduğunu açıklar. Kod ve uygulama ayrıntıları için bkz. SDK kısa başvuru kılavuzu.

Eğitim oturumları

eğitim oturumu, denemeniz çalışırken modeli ve geçerli eğitim ilerleme durumunu barındırır. Sürücünüz, yanıt oluşturma veya bir güncelleştirme uygulama gibi ayrı işlemler ister.

Oturum, yönetilen bir iş veya dağıtımdan farklı bir amaca hizmet eder:

Resource Purpose
Etkileşimli eğitim oturumu Programınız eğitim döngüsünü her seferinde bir işlem denetler.
Yönetilen ince ayar görevi Hizmet, sağladığınız veri ve ayarlarla önceden tanımlanmış bir eğitim iş akışı çalıştırır.
Serving dağıtımı Eğitilmiş bir model, bir uygulamadan gelen istekleri yanıtlar.

Deneme çalışırken sürücünüz oturumu etkin tutar. Yalnızca oturumda tutulan ilerleme durumu dayanıklı bir kayıt değildir; tamamlanmış bir eğitim kontrol noktası bunu korur.

LoRA bağdaştırıcıları

Temel model, başlangıç olarak kullandığınız modeldir. Ağırlıklar, davranışını şekillendiren öğrenilen değerlerdir.

Düşük dereceli uyarlama (LoRA) bağdaştırıcısı, temel modele eklenen küçük bir eğitilebilir ağırlık kümesidir. Eğitim, modelin tüm özgün ağırlıklarını yeniden eğitmek yerine adaptörü günceller.

Adaptör, deneyinizin öğrendiklerini içerir. Uyumlu bir temel modele bağlı kalır; bu model için tek başına bir ikame değildir.

Uygulama ayrıntıları için bkz. Oturum oluşturun.

Eğitim kademeleri

Bir eğitim kademesi, eğitimi çalıştırmak için kullanılan hizmet seçeneğini açıklar. Katmanlar, eğitimin nerede çalıştırıldığına, kapasitenin nasıl sağlandığına ve geçerli hizmet garantilerine göre farklılık gösterebilir.

Kullanabileceğiniz seçenekler modele, bölgeye ve projeye bağlıdır. Eğitim katmanları, eğitilmiş bir modeli sunmak için kullanılan dağıtım seçeneklerinden ayrıdır. Bkz. Eğitim türleri.

İleti biçimlendirme

İletilerinizin seçili modelin anladığı bir forma dönüştürülmesi gerekir. Bu biçim ayrıca kullanıcı istemlerini, asistan yanıtlarını ve araçlar tarafından döndürülen bilgileri ayırt eder.

  • Tokenlar, modelin okuyup oluşturduğu sözcükler veya sözcük bölümleri gibi küçük metin birimleridir.
  • Belirteç oluşturucu , metni belirteçlere, belirteçleri de metne dönüştürür.
  • Sohbet şablonu , modelin konuşmacıları ayırt edebilmesi ve yanıtın nereden başladığını tanıyabilmesi için iletileri düzenler.
  • Oluşturucu, iletileri modelin biçiminde hazırlar ve oluşturulan yanıtları okunabilir içeriğe dönüştürür.

Farklı modeller farklı ileti biçimleri kullanabilir. Tutarlı biçimlendirme, eğitim programının bir etkileşimin hangi bölümlerinin öğrenmeye katkıda bulunması gerektiğini belirlemesine yardımcı olur.

Görüntü tabanlı eğitim, projeniz için uyumlu bir görsel-dil modeli ve görüntü eğitimi desteği de gerektirir. Görüntüleri anlayan bir ileti biçimlendiricisi, onlar için eğitimin mevcut olduğunu kanıtlamaz.

Eğitim döngüsü

Etkileşimli eğitim, yanıt oluşturma, öğrenme sinyallerini hesaplama ve güncelleştirmeleri uygulama adımlarını birbirinden ayırır. Sürücünüz bu işlemleri bir iş akışında birleştirir.

Operation Ne anlama gelir?
Örnekleme Model, bağdaştırıcının seçili anlık görüntüsünden yanıtlar oluşturur.
ileri yayılım Model, bir güncelleştirme için değişiklik toplamadan kayıp değerini ölçebilmeniz veya öğrenme sinyallerini inceleyebilmeniz için örnekleri işler.
Gradyan hesaplaması Eğitim, öğrenme hedefini geliştirmek için bağdaştırıcının ağırlıklarının nasıl değişebileceğini hesaplar.
Optimizer güncellemesi Optimizatör, adaptörü değiştirmek için birikmiş gradyanları uygular.
Değerlendirme Sürücünüz, eğitimden ayrı tutulan örneklerde performansı ölçer.

Gradyanlar, adaptördeki olası değişiklikleri tanımlar. Optimizasyon algoritması bu gradyanları bir güncelleştirmeye dönüştürür. Gradyanların hesaplanması adaptörü tek başına değiştirmez.

Birkaç örnek kümesi, bir güncelleştirmeye gradyan katkısında bulunabilir. Güncelleştirmeden sonra, bağdaştırıcının en son öğrenilen durumunu kullanmak için örnekleme için yenilenen bir anlık görüntü gerekir.

Değerlendirme, önemsediğiniz görevdeki performansı denetlemek için eğitim için kullanılmayan eğitim dışında tutulan örnekleri kullanır. Daha düşük bir eğitim kaybı veya daha yüksek eğitim ödülü tek başına daha iyi performansı kanıtlamaz.

Koddaki ilgili işlemler için SDK hızlı başvuru kılavuzuna göz atın.

Kayıp fonksiyonları ve token ağırlıkları

Kayıp işlevi, eğitimin geliştirmeye çalıştığı hedefi ifade eder. Örnekleri ve öğrenme sinyallerini bağdaştırıcıda yapılan değişikliklere yol gösteren bir ölçüye dönüştürür.

Öğrenme yaklaşımı Güncellemeye ne yön verir
Denetimli öğrenme İstenen yanıtlar modelin ne üreteceğini gösterir.
Pekiştirici öğrenme Oluşturulan yanıtlar arasındaki puanlar ve karşılaştırmalar, hangi davranışın güçlendirileceğine yol gösterir.

Kayıp fonksiyonu, iş akışının bir parçasıdır. Örneklerinizi seçmez, yanıtlara not vermez veya eğitimin ne zaman durduruleceğine karar vermez.

Belirteç ağırlıkları, bir örneğin bölümlerinin öğrenmeye ne kadar güçlü bir şekilde katkıda bulunduğunu denetler. Maskeler katkıda bulunmaması gereken bölümleri dışlar.

Örneğin denetimli öğrenme iş akışı, kullanıcının istemini yeniden oluşturmayı öğrenmeden yardımcının yanıtından bilgi edinebilir.

Pekiştirici öğrenme için, öğrenme sinyali model tarafından oluşturulan yanıtları kullanıcı veya ortam tarafından sağlanan bilgilerden de ayırt eder. Model daha sonra değişse bile her yanıtı oluşturan modeldeki bilgileri kullanır.

Özel hedefler, model çıkışlarını sürücünüzdeki hesaplamalarla birleştirebilir. Sürücü hala öğrenme sinyallerini ve model güncelleştirmelerini koordine eder.

Veri yapıları ve örnekler için bkz. Denetimli verileri hazırlama ve RL verilerini hazırlama.

Öğrenme sinyalleri nasıl birleştirilir?

Farklı hedefler, öğrenme sinyallerini örneğin bunları toplamak veya ortalamasını almak gibi farklı şekillerde birleştirebilir. Uyumsuz yaklaşımların tek bir güncelleştirmede birleştirilmesi, ölçeğini değiştirebilir veya hizmetin bunu reddetmesine neden olabilir.

Aynı güncellemeye yapılan katkıların, öğrenme sinyallerini birleştirmek için tutarlı bir yolu olmalıdır. İş akışı uyumsuz bir yaklaşıma geçmeden önce bir güncelleştirme tamamlanmaktadır.

Ödüller, yayınlamalar ve avantajlar

Pekiştirme öğrenmesinde, sürücünüz modelin ne yaptığını değerlendirir ve bu değerlendirmeyi öğrenme sinyaline dönüştürür.

Concept Meaning
Rollout Oluşturulan yanıt veya araç çağrılarını ve gözlemleri içerebilen daha uzun bir etkileşim.
Ödül Bir rollout'un görevin hedefine ne kadar uygun olduğunu açıklayan bir puan. Programınız bu puanı verir.
Avantaj Yanıtın bir referanstan daha iyi mi yoksa daha kötü mü performans gösterdiğini gösteren karşılaştırma (örneğin, aynı istemdeki diğer yanıtlar).

Bir yaklaşım aynı istem için birkaç yanıt oluşturur ve her ödülü grubun ortalama ödülüyle karşılaştırır:

  • Ortalamanın üzerinde: Yanıtın olumlu bir üstünlüğü vardır.
  • Ortalamanın altında: Yanıtın bir dezavantajı vardır.
  • Eşit ödüller: Tüm yanıtlar sıfır avantaja sahip olduğundan bu karşılaştırma hiçbir öğrenme sinyali sağlamaz.

Matematik görevi için ödül, nihai yanıtın doğru olup olmadığını yansıtabilir. Yüksek biçimlendirme puanı yalnızca yanıtın doğru olduğunu belirlemez.

Sürücünüz, not verme kurallarını ve karşılaştırma yöntemini tanımlar. Tam örnekler için ince ayar örnekleri deposunu inceleyin.

İşlem tamamlandı

Her işlemin çalıştırılması zaman alır. bir isteği kabul eden hizmet, istenen işi tamamlamaktan farklıdır.

Statü Size ne söyler?
Kabul Edildi Hizmet, isteği alır. Çalışma hala bekliyor veya çalışıyor olabilir.
Completed İşlem tamamlanır ve sonucu bağımlı bir işlem tarafından kullanılabilir.
Zaman aşımına uğradı Sürücünüz artık beklemiyor. Bu, işlemin başarısız olduğunu veya hizmet üzerinde durduğunu kanıtlamaz.

Sıralama önemlidir: Güncelleştirme tamamlanmış gradyan hesaplamaya, yeni ağırlıklardan örnekleme ise tamamlanmış yenilemeye bağlıdır. Eksik sonuç başarılı bir sonuç veya sıfır değerli bir ölçüm değildir.

Uygulama ayrıntıları için bkz. Zaman uyumsuz işlemleri kullanma.

Checkpoints

Kontrol noktası belirli bir noktada model durumunu kaydeder. Eğitim kontrol noktaları ve örnekleyici kontrol noktaları farklı bilgileri korur.

Type Ne koruduğu Ne için kullanırsınız
Eğitim kontrol noktası Bağdaştırıcının öğrenilen ağırlıkları ve optimizasyon algoritmasının önceki güncelleştirmelere ilişkin kaydı. uyumlu bir oturumda ilerlemeyi geri yükleme veya eğitime devam etme.
Örnekleyici kontrol noktası Yanıt oluşturmak için bağdaştırıcı ağırlıklarının anlık görüntüsü. Eğitimi sürdürmek için gerekli bilgiler olmadan bağdaştırıcının seçili sürümünden örnekleme.

Örnekleyici yenilemesi, oluşturma için en son bağdaştırıcı durumunu hazırlar. Kaydedilmiş bir eğitim denetim noktasının yerine geçmez ve mutlaka kalıcı bir yapıt oluşturmaz.

Sürücünüzün, zaten hangi örnekleri kullandığı ve değerlendirmenin ne zaman gerçekleştiği gibi, korunması gereken kendi ilerleme durumu vardır. Model kontrol noktası bu ilerlemeyi otomatik olarak geri yüklemez.

Denetim noktası türlerinin hiçbiri bir uygulama uç noktası değildir. Eğitilen modeli bir uygulamada kullanmak ayrı bir dağıtım görevidir.

Kod örnekleri için bkz. Eğitimi kaydetme ve sürdürme.

Oturum yaşam döngüsü

Yüklemeyi kaldırma, oturumun etkin eğitim kaynaklarını serbest bırakır. Oturumu ve kaydedilmiş yapıtlarını silmekten farklı bir amaca hizmet eder.

Action Meaning
Incelemek Oturumun durumunu denetleyin ve kaydedilen denetim noktalarını belirleyin.
Boşalt Etkin oturumun işlem kaynaklarını serbest bırakın. Bu, checkpoint silme işlemi değildir.
Delete Oturumu kaldırın. Bu, kendi denetim noktalarını ve örnekleme kaynaklarını da kaldırabilir.

Yükten çıkarma isteği göndermek, temizleme işleminin tamamlandığını doğrulamaz. Sürücünüzün ağ bağlantısını kapatmak da oturumun yüklenmesinin kaldırılmasıyla aynı değildir.

Tamamlanmış bir eğitim kontrol noktası, oturum bitmeden önce ilerleme durumunu korur. Oturumu silmek kaydedilen durumu kaldırabilir, bu nedenle silme işlemi hesaplama kaynağını serbest bırakma işlemiyle değiştirilemez.

Uygulama ayrıntıları için bkz. Kaynakları kapatma.

İlgili içerik

Kavramları kullanmaya hazır olduğunuzda bu kaynakları keşfedin:

  • Son güncelleştirme: