Aracılığıyla paylaş

Azure Databricks ile model sunma

  • Makale

Bu makalede, avantajları ve sınırlamaları da dahil olmak üzere Mozaik Yapay Zeka Modeli Sunma açıklanmaktadır.

Model Sunma nedir?

Mozaik Yapay Zeka Modeli Sunma, yapay zeka modellerini dağıtmak, yönetmek ve sorgulamak için birleşik bir arabirim sağlar. Hizmet ettiğiniz her model, web veya istemci uygulamanızla tümleştirebileceğiniz bir REST API olarak kullanılabilir.

Model Sunma, modelleri dağıtmak için yüksek oranda kullanılabilir ve düşük gecikme süreli bir hizmet sağlar. Hizmet, talep değişikliklerini karşılamak için ölçeği otomatik olarak artırıp azaltır ve altyapı maliyetlerinden tasarruf ederken gecikme süresi performansını da en iyi duruma getirir. Bu işlev sunucusuz işlem kullanır. Daha fazla ayrıntı için Model Sunma fiyatlandırma sayfasına bakın.

Model sunma, aşağıdakilerin sunulmasını destekler:

  • Özel modeller. Bunlar MLflow biçiminde paketlenmiş Python modelleridir. Bunlar Unity Kataloğu'na veya çalışma alanı modeli kayıt defterine kaydedilebilir. Örnek olarak scikit-learn, XGBoost, PyTorch ve Hugging Face transformatör modelleri verilebilir.
    • Aracı hizmeti özel model olarak desteklenir. Oluşturma yapay zeka uygulaması için bkz . Aracı dağıtma
  • Temel Model API'leri tarafından kullanıma sunulan en yeni açık modeller. Bu modeller, iyileştirilmiş çıkarımları destekleyen, seçilmiş temel model mimarileridir. Llama-2-70B-chat, BGE-Large ve Mistral-7B gibi temel modeller, belirteç başına ödeme fiyatlandırmasıyla anında kullanılabilir ve performans garantileri ve ince ayarlı model varyasyonları gerektiren iş yükleri sağlanan aktarım hızıyla dağıtılabilir.
  • Dış modeller. Bunlar Databricks dışında barındırılan üretken yapay zeka modelleridir. Dış modellere hizmet veren uç noktalar merkezi olarak yönetilebilir ve müşteriler bunlar için hız sınırları ve erişim denetimi oluşturabilir. Örnek olarak OpenAI GPT-4, Anthropic'in Claude ve diğerleri verilebilir.

Not

AI Playground'i kullanarak desteklenen büyük dil modelleriyle etkileşim kurabilirsiniz. AI Playground, LLM'leri test edebileceğiniz, sorabileceğiniz ve karşılaştırabileceğiniz sohbet benzeri bir ortamdır. Bu işlev Azure Databricks çalışma alanınızda kullanılabilir.

Model sunma, CRUD ve sorgulama görevleri için birleşik bir REST API ve MLflow Dağıtım API'sini sunar. Buna ek olarak, tüm modellerinizi ve ilgili hizmet uç noktalarını yönetmek için tek bir kullanıcı arabirimi sağlar. Analiz iş akışlarına kolay tümleştirme için yapay zeka işlevlerini kullanarak modellere doğrudan SQL'den de erişebilirsiniz.

Azure Databricks'te özel modeller sunma hakkında giriş niteliğinde bir öğretici için bkz . Öğretici: Özel model dağıtma ve sorgulama.

Databricks'te temel modeli sorgulamaya yönelik başlangıç öğreticisi için bkz . Databricks'te LLM'leri sorgulamaya başlama.

Model Sunma neden kullanılır?

  • Herhangi bir modeli dağıtma ve sorgulama: Model Sunma, Databricks'te veya harici olarak barındırılmalarından bağımsız olarak tüm modelleri tek bir konumda yönetebileceğiniz ve tek bir API ile sorgulayabileceğiniz birleşik bir arabirim sağlar. Bu yaklaşım, çeşitli bulutlar ve sağlayıcılar arasında üretimde modelleri deneme, özelleştirme ve dağıtma sürecini basitleştirir.
  • Özel verilerinizle modelleri güvenli bir şekilde özelleştirme: Veri Zekası Platformu üzerinde oluşturulan Model Sunma, Databricks Özellik Deposu ve Mozaik Yapay Zeka Vektör Arama ile yerel tümleştirme aracılığıyla özelliklerin ve eklemelerin modellere tümleştirilmesini kolaylaştırır. Daha da iyi doğruluk ve bağlamsal anlayış için modeller özel verilerle ince ayar yapabilir ve Model Sunma'ya zahmetsizce dağıtılabilir.
  • Modelleri yönetme ve izleme: Sunum Kullanıcı Arabirimi, şirket dışında barındırılanlar da dahil olmak üzere tüm model uç noktalarını tek bir yerde merkezi olarak yönetmenizi sağlar. İzinleri yönetebilir, kullanım sınırlarını izleyebilir ve ayarlayabilir ve tüm model türlerinin kalitesini izleyebilirsiniz. Bu sayede SaaS'ye erişimi demokratikleştirebilir ve kuruluşunuzdaki LLM'leri açabilir ve uygun korumaların yerinde olduğundan emin olursunuz.
  • İyileştirilmiş çıkarım ve hızlı ölçeklendirme ile maliyeti azaltın: Databricks, büyük modeller için en iyi aktarım hızını ve gecikme süresini elde etmek için bir dizi iyileştirme gerçekleştirmiştir. Uç noktalar, talep değişikliklerini karşılamak için ölçeği otomatik olarak artırıp azaltarak altyapı maliyetlerinden tasarruf sağlarken gecikme süresi performansını da en iyi duruma getirir.

Not

Gecikme süresine duyarlı olan veya saniye başına yüksek sorgu gerektiren iş yükleri için Model Sunma, özel model sunan uç noktalarda yol iyileştirmesi sunar. Bkz . Hizmet veren uç noktalarda yol iyileştirmeyi yapılandırma.

  • Model Sunma için güvenilirlik ve güvenlik getirme: Model Sunma, yüksek kullanılabilirlik ve düşük gecikme süreli üretim kullanımı için tasarlanmıştır ve ek yük gecikme süresi 50 ms'den kısa olan saniyede 25 binden fazla sorgu destekleyebilir. Hizmet veren iş yükleri birden çok güvenlik katmanıyla korunarak en hassas görevler için bile güvenli ve güvenilir bir ortam sağlar.

Gereksinim -leri

  • Unity Kataloğu'nda veya Çalışma Alanı Modeli Kayıt Defteri'nde kayıtlı model.
  • Uç nokta ACL'lerini sunma bölümünde açıklandığı gibi kayıtlı modellerdeki izinler.
  • MLflow 1.29 veya üzeri

Çalışma alanınız için Model Sunma'yı etkinleştirme

Çalışma alanınızda Model Sunma'yı etkinleştirmek için ek adım gerekmez.

Sınırlamalar ve bölge kullanılabilirliği

Mozaik Yapay Zeka Modeli Sunma, güvenilir performans sağlamak için varsayılan sınırlar uygular. Bkz. Model Sunma sınırları ve bölgeleri. Bu sınırlar veya desteklenmeyen bir bölgedeki bir uç nokta hakkında geri bildiriminiz varsa Databricks hesap ekibinize ulaşın.

Model Sunma'da veri koruması

Databricks, veri güvenliğini ciddiye alır. Databricks, Mozaik Yapay Zeka Modeli Sunma'yı kullanarak analiz ettiğiniz verilerin önemini anlar ve verilerinizi korumak için aşağıdaki güvenlik denetimlerini uygular.

  • Model Sunma için her müşteri isteği mantıksal olarak yalıtılmış, kimliği doğrulanmış ve yetkilendirilmiştir.
  • Mozaik AI Modeli Sunma, bekleyen (AES-256) ve aktarımdaki (TLS 1.2+) tüm verileri şifreler.

Tüm ücretli hesaplar için Mozaik AI Model Sunma, herhangi bir modeli eğitmek veya Databricks hizmetlerini geliştirmek için hizmete gönderilen kullanıcı girişlerini veya hizmetten çıkışları kullanmaz.

Databricks Foundation Model API'leri için, hizmeti sağlamanın bir parçası olarak Databricks, uygunsuz kullanımları veya zararlı kullanımları önleme, algılama ve azaltma amacıyla girişleri ve çıkışları geçici olarak işleyebilir ve depolayabilir. Giriş ve çıkışlarınız diğer müşterilerinkilerden yalıtılır, otuz (30) güne kadar çalışma alanınızla aynı bölgede depolanır ve yalnızca güvenlik veya uygunsuz kullanım sorunlarını algılamak ve yanıtlamak için erişilebilir.

Ek kaynaklar