Mozaik AI Ağ Geçidi tanıtımı

Bu makalede desteklenen üretken yapay zeka modellerine ve uç noktalara hizmet veren ilişkili modellerine erişimi idare etmeye ve izlemeye yönelik Databricks çözümü olan Mozaik AI Ağ Geçidi açıklanmaktadır.

Mozaik AI Ağ Geçidi nedir?

Mozaik AI Ağ Geçidi, kuruluş içindeki üretken yapay zeka modellerinin ve aracılarının kullanımını ve yönetimini kolaylaştırmak için tasarlanmıştır. Hizmet sunan uç noktaları modellemek için idare, izleme ve üretime hazır olma durumunu getiren merkezi bir hizmettir. Ayrıca yapay zekanın kuruluşunuzda benimsenmesini demokratikleştirmek ve hızlandırmak için yapay zeka trafiğini çalıştırmanıza, güvenli hale getirmenize ve yönetmenize olanak tanır.

Tüm veriler, Unity Kataloğu'ndaki Delta tablolarına kaydedilir.

AI Gateway verilerinizden içgörüleri görselleştirmeye başlamak için GitHub'dan örnek AI Gateway panosunu indirin. Bu pano, kullanım izleme ve yük günlüğü çıkarım tablolarındaki verilerden yararlanıyor.

JSON dosyasını indirdikten sonra panoyu çalışma alanınıza aktarın. Panoları içeri aktarma yönergeleri için Pano dosyasını içeri aktarma bölümüne bakın.

Desteklenen özellikler

Aşağıdaki tablo, kullanılabilir AI Gateway özelliklerini ve uç nokta türlerini sunan modelin bunları desteklediğini tanımlar.

Özellik	Tanım	Harici model uç noktası	Foundation Model API'lerin tahsisli aktarım kapasitesi uç noktası	Temel Model API'leri belirteç başına ödeme uç noktası	Mosaic Yapay Zeka ajanları	Özel model uç noktası
İzin ve hız sınırlama	Kimlerin erişimi olduğunu ve ne kadar erişime sahip olduğunu denetleme.	Destekleniyor	Destekleniyor	Destekleniyor	Desteklenmiyor	Destekleniyor
Veri yükü kaydı	çıkarım tablolarını kullanarak model API'lerine gönderilen verileri izleyin ve denetleyin.	Destekleniyor	Destekleniyor	Destekleniyor	Destekleniyor	Destekleniyor
Kullanımı izleme	sistem tablolarını kullanarak uç noktalarda operasyonel kullanımı ve ilişkili maliyetleri izleyin.	Destekleniyor	Destekleniyor	Destekleniyor	Desteklenmiyor	Destekleniyor
AI Korumaları	İsteklerde ve yanıtlarda istenmeyen ve güvenli olmayan verileri önleyin. Bkz. AI Guardrails.	Destekleniyor	Destekleniyor	Destekleniyor	Desteklenmiyor	Desteklenmiyor
Yedek Seçenekler	Dağıtım sırasında ve sonrasındaki üretim kesintilerini en aza indirin.	Destekleniyor	Desteklenmiyor	Desteklenmiyor	Desteklenmiyor	Desteklenmiyor
Trafik ayırma	Modeller arasında trafiğin yükünü dengeleme.	Destekleniyor	Destekleniyor	Desteklenmiyor	Desteklenmiyor	Destekleniyor

Mozaik AI Ağ Geçidi, etkinleştirilmiş özellikler bazında ücretlendirilir. Ücretli özellikler arasında yük günlüğü ve kullanım izleme yer alır. Sorgu izinleri, hız sınırlama, geri dönüşler ve trafik bölme gibi özellikler ücretsizdir. Tüm yeni özellikler ücrete tabidir.

AI Korumaları

Önemli

Bu özellik Genel Önizlemededir.

AI Guardrails, kullanıcıların hizmet uç noktasında veri uyumluluğunu yapılandırmalarına ve uygulamalarına ve temel model üzerinde yapılan isteklerde zararlı içeriği azaltmalarına olanak tanır. Hatalı istekler ve yanıtlar engellenir ve kullanıcıya varsayılan bir ileti döndürülür. Model sunma uç noktasında korumaları nasıl yapılandıracağınızı öğrenin.

Önemli

AI Guardrails moderasyon hizmeti, Temel Model API'lerine bağımlıdır ve belirteç başına ödeme modeli ile çalışır. Bu bağımlılık, AI Guardrails moderation hizmetinin kullanılabilirliğini, Foundation Model API'lerini destekleyen ve token başına ödeme modelini kullanan bölgelerle sınırlar.

Aşağıdaki tablo yapılandırılabilir koruyucu önlemleri özetler. Bkz. Sınırlamaları.

Uyarı

30 Mayıs 2025'in ardından konu denetimi ve anahtar sözcük filtreleme yapay zeka korumaları artık desteklenmemektedir. bu özellikler iş akışlarınız için gerekliyse Databricks hesap ekibinize ulaşarak Özel korumalar Özel Önizlemesi'ne katılın.

Koruyucu Bariyer	Tanım
Güvenlik filtreleme	Güvenlik filtrelemesi modelinizin şiddet içeren suç, kendine zarar verme ve nefret söylemi gibi güvenli olmayan ve zararlı içerikle etkileşim kurmasını önler. AI Gateway güvenlik filtresi Meta Llama 3 ile derlenir. Databricks, güvenlik filtresi olarak Llama Guard 2-8b kullanır. Llama Guard güvenlik filtresi ve güvenlik filtresi için hangi konuların geçerli olduğu hakkında daha fazla bilgi edinmek için Meta Llama Guard 2 8B model kartına bakın. Meta Llama 3, LLAMA 3 Topluluk Lisansı, Telif Hakkı © Meta Platformları, Inc. altında lisanslanır. Tüm Hakları Saklıdır. Müşteriler, geçerli model lisanslarıyla uyumluluğu sağlamakla sorumludur.
Kişisel olarak tanımlanabilir bilgiler (PII) algılama	Müşteriler kullanıcılar için adlar, adresler, kredi kartı numaraları gibi hassas bilgileri algılayabilir. Bu özellik için AI Gateway, Abd'de şu PII kategorilerini algılamak için Presidio kullanır: kredi kartı numaraları, e-posta adresleri, telefon numaraları, banka hesap numaraları ve sosyal güvenlik numaraları. PII sınıflandırıcısı, yapılandırılmış ve yapılandırılmamış verilerdeki hassas bilgileri veya PII'yi tanımlamaya yardımcı olabilir. Ancak, otomatik algılama mekanizmaları kullandığından, hizmetin tüm hassas bilgileri bulacağının garantisi yoktur. Sonuç olarak ek sistemler ve korumalar kullanılmalıdır. Bu sınıflandırma yöntemlerinin kapsamı öncelikli olarak ABD telefon numaraları ve sosyal güvenlik numaraları gibi ABD PII kategorilerine göre belirlenmiştir.

AI Gateway'i kullan

Hizmet Sunma kullanıcı arabirimini kullanarak uç noktalara hizmet veren modelinizde AI Gateway özelliklerini yapılandırabilirsiniz. Bkz Model sunma uç noktalarında Yapay Zeka Ağ Geçidi'ni yapılandırma.

Sınırlamalar

AI Gateway özellikli uç noktaların sınırlamaları şunlardır:

• Yapay zeka korumaları kullanıldığında, istek küme boyutu - eklemeler küme boyutu, tamamlamalar küme boyutu veya sohbet istekleri için n parametresi - 16'yı aşamaz.
• işlevini çağırarak kullanır ve yapay zeka korumaları belirtirseniz, bu korumalar işlevin isteklerine ve ara yanıtlarına uygulanmaz. Ancak nihai çıktı yanıtına koruma önlemleri uygulanır.
• Metinden görüntüye iş yükleri desteklenmez.
• AI Gateway özellikleri etkinleştirilmiş token başına ödeme yapılan uç noktalarda toplu inference iş yükleri için yalnızca kullanım takibi desteklenir. endpoint_usage Sistem tablosunda yalnızca toplu çıkarım isteğine karşılık gelen satırlar görünür.
• Uç noktaları sunan özel modellerde yapay zeka korumaları ve geri dönüşler desteklenmez.
• Özel model sunma uç noktaları için, yalnızca oran sınırlaması ve kullanım izlemesini desteklemeyen iş yükleri rota-optimize edilmiş değildir.
• Rota için iyileştirilmiş model sunma uç noktaları için çıkarım tabloları Genel Önizleme aşamasındadır.
• Çıkarım tablosu sınırlamalarıyla ilgili ayrıntılar için bkz. AI Gateway özellikli çıkarım tablosu sınırlamaları.