Kılavuz: Özel bir modeli dağıtma ve sorgulama

Bu makalede, Mozaik Yapay Zeka Modeli Sunma'yı kullanarak geleneksel ml modeli olan özel bir modeli dağıtma ve sorgulamaya yönelik temel adımlar sağlanır. Modelin Unity Kataloğu'na veya çalışma alanı modeli kayıt defterine kaydedilmesi gerekir.

Bunun yerine üretken yapay zeka modellerini sunma ve dağıtma hakkında bilgi edinmek için aşağıdaki makalelere bakın:

1. Adım: Modeli günlüğe kaydetmek

Model yayını için modelinizi kaydetmenin farklı yolları vardır.

Kayıt tutma tekniği Açıklama
Otomatik kaydetme Bu, makine öğrenmesi için Databricks Runtime kullandığınızda otomatik olarak açılır. Bu en kolay yoldur, ancak size daha az denetim sağlar.
MLflow'un yerleşik özelliklerini kullanarak kayıt tutma MLflow'un yerleşik model çeşitleriyle modeli manuel olarak kaydedebilirsiniz.
pyfunc ile özelleştirilmiş günlük kaydı Özel bir modeliniz varsa veya çıkarımdan önce veya sonra ek adımlara ihtiyacınız varsa bunu kullanın.

Aşağıdaki örnekte, MLflow modelinizi transformer türünü kullanarak kaydetme ve modeliniz için gereken parametreleri belirleme işlemleri gösterilmektedir.

with mlflow.start_run():
    model_info = mlflow.transformers.log_model(
        transformers_model=text_generation_pipeline,
        artifact_path="my_sentence_generator",
        inference_config=inference_config,
        registered_model_name='gpt2',
        input_example=input_example,
        signature=signature
    )

Modeliniz günlüğe kaydedildikten sonra modelinizin Unity Kataloğu veya MLflow Model Kayıt Defterikayıtlı olup olmadığını denetleyin.

2. Adım: Sunum Kullanıcı Arabirimini kullanarak uç nokta oluşturma

Kayıtlı modeliniz günlüğe kaydedildikten ve kullanıma hazır olduktan sonra, Sunma kullanıcı arabirimini kullanarak bir model sunma uç noktası oluşturabilirsiniz.

  1. Kenar çubuğunda Sunma'ya tıklayarak Sunma kullanıcı arabirimini görüntüleyin.

  2. Sunum uç noktası oluştur'a tıklayın.

    Databricks kullanıcı arabiriminde model sunma bölmesi

  3. Ad alanında uç noktanız için bir ad belirtin.

  4. Sunulan varlıklar bölümünde

    1. Varlık alanına tıklayarak Sunulan varlık seçin formunu açın.
    2. Hizmet vermek istediğiniz model türünü seçin. Form, seçiminize göre dinamik olarak güncelleştirilir.
    3. Hangi modele ve model sürümüne hizmet vermek istediğinizi seçin.
    4. Hizmet sunulan modelinize yönlendirecek trafik yüzdesini seçin.
    5. Kullanılacak boyut hesaplamasını seçin.
    6. İşlem Ölçeği Genişletmealtında, bu hizmet modelinin aynı anda işleyebileceği istek sayısına karşılık gelen işlem ölçeği genişletme boyutunu seçin. Bu sayı yaklaşık olarak QPS x model yürütme süresine eşit olmalıdır.
      1. Kullanılabilir boyutlar 0-4 istekler için Küçük , Orta 8-16 istekleri ve 16-64 istekler için Büyük'tür .
    7. Uç noktanın kullanımda değilken sıfıra ölçeklendirilmesi gerekip gerekmediğini belirtin.

  5. Oluştur’a tıklayın. Sunum uç noktaları sayfası, Sunum uç noktası durumu olarak Hazır Değil gösterilir.

    Uç nokta sunan bir model oluşturma

Databricks Sunum API'si ile program aracılığıyla bir uç nokta oluşturmayı tercih ediyorsanız, bkz Özel model sunum uç noktalarını oluşturma.

3. Adım: Uç noktayı sorgulama

Sunulan modelinize puanlama isteklerini test etmenin ve göndermenin en kolay ve en hızlı yolu, Sunma kullanıcı arabirimini kullanmaktır.

  1. Sunma uç noktası sayfasında Sorgu uç noktasıöğesini seçin.

  2. Model giriş verilerini JSON biçiminde ekleyin ve İstek Göndertıklayın. Model giriş örneğiyle günlüğe kaydedildiyse, giriş örneğini yüklemek için Örneği Göster'e tıklayın.

       {
   "inputs" : ["Hello, I'm a language model,"],
   "params" : {"max_new_tokens": 10, "temperature": 1}
   }

Puanlama istekleri göndermek için desteklenen anahtarlardan biriyle bir JSON ve giriş biçimine karşılık gelen bir JSON nesnesi oluşturun. Desteklenen biçimler ve API kullanarak puanlama istekleri gönderme yönergeleri için Özel modeller için sorgu sunma uç noktaları bölümüne bakın.

Azure Databricks Hizmet Sunma UI'si dışında, hizmet veren uç noktanıza erişmeyi planlıyorsanız bir DATABRICKS_API_TOKEN gerekir.

Önemli

Databricks, üretim senaryoları için en iyi güvenlik uygulaması olarak üretim sırasında kimlik doğrulaması için makineden makineye OAuth belirteçleri kullanmanızı önerir.

Databricks, test ve geliştirme için çalışma alanı kullanıcıları yerine hizmet sorumlularına ait bir kişisel erişim belirteci kullanılmasını önerir. Hizmet sorumluları için belirteç oluşturma hakkında bilgi almak için bkz Hizmet sorumlusu için belirteçleri yönetme.

Örnek not defterleri

Model Sunumu ile MLflow transformers modelini sunmak için aşağıdaki not defterine bakın.

Hugging Face transformer model not defterini dağıtın

Not Defteri alma

Model Sunumu ile MLflow pyfunc modelini sunmak için aşağıdaki not defterine bakın. Model dağıtımlarınızı özelleştirme hakkında ek ayrıntılar için bkz . Model Sunma ile Python kodu dağıtma.

MLflow pyfunc modeli not defteri dağıtımını gerçekleştir

Not Defteri alma

  • Last updated on