Bir Databricks uygulamasına bir Unity Gateway model hizmet kaynağı ekle

Important

Bu özellik Genel Önizleme aşamasındadır.

Unity Gateway model servislerini Databricks Apps kaynakları olarak ekleyin, böylece uygulamanız, sohbet, tamamlamalar ve gömme gibi çıkarım taleplerini Unity Catalog'da yönetilen yapay zeka modellerine gönderebilir. Unity Gateway model hizmetleri, system.ai kapsamında sunulan token başına ödeme temel modellerini ve oluşturduğunuz model hizmetlerini içerir.

Note

Unity Gateway model hizmetleri için kullanım atıfı yalnızca standart Databricks uygulamaları için doğrudur. Genie uygulama oluşturucu uygulamaları gibi mikro VM ortamında çalışan uygulamalar, doğru kullanım ilişkilendirmesini bildirmez.

Unity Gateway kullanım takibi sayfasına bakınız.

Yetki gereksinimleri

Bir Unity Gateway model hizmetine erişmek için uygulamanın hizmet sorumlusunun ana katalogda USE SCHEMA, ana şemada EXECUTE ve model hizmetinde USE CATALOG ayrıcalığına sahip olması gerekir. Model servis kaynağını eklediğinizde, Azure Databricks bu ayrıcalıkları otomatik olarak uygulamanın hizmet sorumlusuna verir.

Bu otomatik verme işleminin başarılı olması için her ayrıcalık için aşağıdakilerden birinin geçerli olması gerekir:

  • İçin USE CATALOG: Ya tüm hesap kullanıcılarının katalog üzerinde USE CATALOG ayrıcalıkları vardır ya da sizin katalog üzerinde MANAGE ayrıcalığınız vardır.
  • için USE SCHEMA: Ya tüm hesap kullanıcılarının şema üzerinde USE SCHEMA yetkisi vardır, ya da sizin şema üzerinde MANAGE yetkiniz vardır.
  • EXECUTE için: Ya tüm hesap kullanıcıları model hizmetinde EXECUTE ayrıcalığına sahiptir ya da model hizmetinde MANAGE ayrıcalığına sahipsiniz.

Bkz Unity Kataloğu ayrıcalıkları referansı.

Bir Unity Gateway model hizmet kaynağı ekleyin

Bir Unity Gateway model hizmeti kaynağı olarak eklemeden önce, uygulama kaynak ön koşullarını gözden geçirin.

  1. Uygulama kaynakları bölümünde bir uygulama oluştururken veya düzenlerken + Kaynak ekle>Model seçeneğine tıklayın.
  2. Kaynak seçicide, Unity Gateway bölümünden bir model hizmeti seçin. Seçici ayrıca Serving Endpoints bölümünde özel serving endpoint'leri de listeler. Bu uç noktalardan birini bağlamak için, bkz. Databricks uygulamasına bir model sunum uç noktası kaynağı ekleme. Token başına ödemeli foundation model kullanmak için system.ai kataloğundan bir model hizmeti seçin.
  3. Uygulamanız için izin düzeyini seçin:
    • Yürütebilir: Uygulamanın hizmet sorumlusuna EXECUTE model hizmetine çıkarım istekleri gönderme ayrıcalığı tanır. Bu, model hizmeti için mevcut olan tek izin seviyesidir.
  4. (İsteğe bağlı) Uygulama yapılandırmanızda model hizmetine başvurmak için kullandığınız özel bir kaynak anahtarı belirtin. Varsayılan anahtardır model.

Databricks Asset Bundles ile yapılandırma

Uygulamanızı Declarative Automation Bundles kullanarak tanımlarsanız, model hizmetini uc_securable paket yapılandırmanıza kaynak olarak ekleyin:

resources:
  apps:
    my_app:
      name: 'my-app'
      source_code_path: ./app
      resources:
        - name: 'model'
          uc_securable:
            securable_full_name: '<catalog>.<schema>.<model_service>'
            securable_type: 'MODEL_SERVICE'
            permission: 'EXECUTE'

Declarative Automation Bundles'taki uygulama kaynakları hakkında bilgi için app.resources bölümüne bakınız.

Ortam değişkenleri

Bir uygulamayı Unity Gateway model hizmet kaynağı ile dağıttığınızda, Azure Databricks, model hizmetinin tam üç parçalı Unity Kataloğu adını çevre değişkenleri aracılığıyla ortaya çıkarır ve bu değişkenlere valueFrom alanını kullanarak başvurabilirsiniz.

Örnek yapılandırma:

env:
  - name: MODEL_SERVICE_NAME
    valueFrom: model # Use your custom resource key if you set one

valueFrom alanı, model hizmetinin tam üç parçalı Unity Catalog adına çözülür (örneğin, system.ai.databricks-dbrx-instruct). Azure Databricks SDK veya Unity Gateway REST API üzerinden model servisini çağırırken bu ismi kullanın.

Daha fazla bilgi için bkz. Kaynaklara erişmek için ortam değişkenlerini kullanma.

Unity Gateway model service kaynağını kaldırın

Bir uygulamadan bir Unity Gateway model servis kaynağını kaldırdığınızda, uygulamanın hizmet sorumlusu model hizmeti üzerinde EXECUTE ayrıcalığını kaybeder. Model hizmetinin kendisi değişmeden kalmaya devam ediyor ve uygun izinlere sahip diğer kullanıcılar ve uygulamalar için erişilebilir olmaya devam ediyor.

En iyi yöntemler

Unity Gateway model service kaynaklarıyla çalışırken aşağıdakileri göz önünde bulundurun:

  • EXECUTE mevcut tek izin seviyesidir. Uygulamaya çıkarım talepleri gönderme erişimi tanır ve model hizmetinde idari ayrıcalıklar vermez.
  • Ek kurulum olmadan token başına ödeme foundation model'lerini kullanmak için katalogdan system.ai bir model hizmeti seçin.
  • Ortam değişkeni, tam üç parçalı Unity Catalog adına (catalog.schema.model_service) çözümlenir. Bu değeri Azure Databricks SDK veya REST API üzerinden model servisini çağırırken kullanın.
  • Uygulama kodunuzda çıkarım hatalarını ve oran sınırlarını ele alın. Unity Gateway, her model hizmetinde yapılandırılmış istek hızı sınırlarını ve güvenlik kısıtlamalarını uygular.
  • Model kaynak seçicisi ayrıca, Serving Endpoints bölümü altında gruplanmış klasik model hizmet uç noktalarını da listeler. Model servisleri ve servis uç noktaları aynı uygulamada bir arada bulunabilir.
  • Son güncelleştirme: