Microsoft Dökümhane mimarisi

Microsoft Foundry, yapay zeka iş yüklerini katmanlı bir mimari aracılığıyla düzenler: idare için en üst düzey Foundry kaynağı, geliştirme izolasyonu için projeler ve depolama, arama ve gizli yönetimi için bağlı Azure hizmetleri.

Bu makale, BT operasyonları ve güvenlik ekiplerine Dökümhane kaynağı ve temel Azure hizmet mimarisi, bileşenleri ve diğer Azure kaynak türleriyle ilişkisi hakkında ayrıntılı bilgi sağlar. Foundry dağıtımınızı kuruluşunuzun gereksinimlerine göre özelleştirme konusunda yol göstermek için bu bilgileri kullanın. Kuruluşunuzda Foundry'yi dağıtma hakkında daha fazla bilgi için bkz. Foundry Dağıtımı.

Bu mimari ne zaman kullanılır?

Senaryonuz şunları içerdiğinde Foundry kaynak modelini göz önünde bulundurun:

  • İlk kez kurulum: Yeni bir yapay zeka projesi başlatıyorsunuz ve model erişimi, aracı barındırma ve değerlendirme araçlarını paketleyen tek bir kaynak istiyorsunuz.
  • Çok ekipli erişim: Birden çok ekibin paylaşılan model dağıtımları ve merkezi idare ile yalıtılmış projelere ihtiyacı vardır.
  • Compliance temelli tasarım: Kuruluşunuz hem kaynak hem de proje düzeylerinde özel ağ, müşteri tarafından yönetilen şifreleme veya Azure RBAC kapsamı gerektirir.
  • Azure OpenAI geçişi: Tek başına Azure OpenAI kaynağından geçiyorsunuz ve aracı ve değerlendirme özellikleri eklerken mevcut ilkeleri ve RBAC'yi korumak istiyorsunuz.

Tek geliştiricili keşifler için, tek bir proje içeren bir Dökümhane kaynağı önerilen varsayılan kaynaktır. İş yükünüz yalnızca aracı barındırma veya değerlendirme olmadan Azure OpenAI tamamlamaları gerektiriyorsa, tek başına Azure OpenAI kaynağı yeterli olabilir.

Azure yapay zeka kaynak türleri ve sağlayıcıları

Azure yapay zeka ürün ailesinde, kullanıcının yığındaki farklı katmanlarda gereksinimlerini destekleyen bu Azure kaynak sağlayıcıları kullanabilirsiniz.

Kaynak sağlayıcısı Amaç Desteklenen hizmetler
Microsoft. Bilişsel Hizmetler Önceden oluşturulmuş modellerin oluşturulmasını ve özelleştirilmesini aracı ve GenAI uygulama geliştirmeyi destekler. Döküm; Azure OpenAI; Döküm Araçları'nda Azure Konuşma; Döküm Araçları'nda Azure Dil; Döküm Araçları'nda Azure Görü
Microsoft Search Verileriniz üzerinde bilgi almayı destekler Azure Yapay Zeka Arama

Aracı oluşturma, model dağıtımı ve değerlendirme iş akışları dahil olmak üzere çoğu yapay zeka geliştirme senaryosu için, önerilen başlangıç noktası Foundry kaynağıdır. Dökümhane kaynakları, Azure OpenAI, Konuşma, Görüntü İşleme ve Dil gibi hizmetlerle beraber Microsoft.CognitiveServices sağlayıcısı ad alanını paylaşır. Bu paylaşılan sağlayıcı ad alanı, ilgili yapay zeka kaynakları arasında yönetim API'lerini, erişim denetimi desenlerini, ağ ve ilke davranışını hizalamaya yardımcı olur.

İş yükünüzle eşleşen kaynak türünü belirlemek için aşağıdaki tabloyu kullanın. Microsoft.CognitiveServices sağlayıcısı içindeki belirli kaynak türlerini ve özelliklerini gösterir.

Kaynak türü Kaynak sağlayıcısı ve türü Tip Desteklenen özellikler
Microsoft Dökümhanesi Microsoft.CognitiveServices/accounts AIServices Aracılar, Değerlendirmeler, Azure OpenAI, Konuşma, Görüntü İşleme, Dil ve İçerik Anlama
Dökümhane projesi Microsoft.CognitiveServices/accounts/projects AIServices Yukarıdakinin alt kaynağı
Azure Konuşma Döküm Araçları'nda Microsoft.CognitiveServices/accounts Speech Konuşma
Döküm Araçları'nda Azure Dili Microsoft.CognitiveServices/accounts Language Dil
Döküm Araçları'nda Azure Görüntü İşleme Microsoft.CognitiveServices/accounts Vision Vizyon

Aynı sağlayıcı ad alanları altındaki kaynak türleri aynı yönetim API'lerini paylaşır ve Azure İlkesi yapılandırması için benzer Azure rol tabanlı erişim denetimi (Azure RBAC) eylemleri, ağ yapılandırmaları ve diğer adlar kullanır. Azure OpenAI'den Foundry'ye yükseltiyorsanız, mevcut özel Azure ilkeleriniz ve Azure RBAC eylemleriniz uygulanmaya devam ediyor demektir.

Dökümhane kaynak hiyerarşisi

Aşağıdaki diyagramda model dağıtımları, güvenlik ayarları, bağlantılar ve iki proje içeren bir Dökümhane kaynağı gösterilmektedir. Depolama, Key Vault ve Azure Yapay Zeka Arama gibi bağlı Azure hizmetleri kendi idare sınırları altındaki ayrı Azure kaynaklarıdır:

Model dağıtımları, güvenlik ayarları, bağlantılar ve iki proje içeren bir idare sınırıyla Döküm kaynak hiyerarşisini gösteren diyagram. Depolama, Key Vault ve Azure Yapay Zeka Arama gibi bağlı kaynaklar ayrı idare sınırları olarak gösterilir.

Önemli

Depolama, Key Vault ve Azure Yapay Zeka Arama gibi bağlı kaynaklar kendi idare sınırlarına sahip bağımsız Azure kaynaklarıdır. Bu kaynaklar için ağ, erişim ilkeleri ve uyumluluk ayarlarını Foundry kaynağından ayrı olarak yönetirsiniz.

Mimariyi ve erişim sınırlarını planlarken bu modeli kullanın:

  • Foundry kaynağı: Ağ, güvenlik ve model dağıtımları gibi idare ayarlarını yönettiğiniz üst düzey Azure kaynağı.
  • Project: Ekiplerin kullanım örneklerini derlediği ve değerlendirdiği Dökümhane kaynağı içindeki geliştirme sınırı. Projeler, ekiplerin önceden yapılandırılmış bir ortamda prototip oluşturmasına olanak tanır ve yinelenen BT kurulumu olmadan mevcut model dağıtımlarını ve bağlantılarını yeniden kullanır.
  • Project assets: Bir project kapsamındaki dosyalar, aracılar, değerlendirmeler ve ilgili yapıtlar.
  • Bağlantılı kaynaklar: Depolama, Key Vault ve Azure Yapay Zeka Arama gibi hizmetler, Dökümhane kaynağı tarafından bağlantılar aracılığıyla başvurulur. Bu kaynakların ayrı idare sınırları vardır, bu nedenle ağ ve erişim ilkelerini bağımsız olarak yönetirsiniz.

Bu ayrım, geliştirme ekipleri proje düzeyi sınırları içinde çalışırken BT ekiplerinin kaynak düzeyinde merkezi denetimler uygulamasına olanak tanır.

Not

Yeni API'lerin çoğu proje kapsamında kullanılabilir. Ancak, başlangıçta openAI, Konuşma, Görüntü İşleme ve Dil hizmetleri aracılığıyla Azure hesap düzeyinde desteklenen bazı özellikler proje kapsamında değil yalnızca Dökümhane kaynak düzeyinde kullanılabilir. Örneğin Translator API'sini yalnızca Dökümhane kaynak düzeyinde kullanabilirsiniz. İş yüklerinizin gerektirdiği API kapsamlarına göre dağıtım yapınızı planlayın.

Kaygıların güvenlik temelli ayrımı

Dökümhane, güvenli ve ölçeklenebilir yapay zeka iş yüklerinden emin olmak için yönetim ve geliştirme işlemleri arasında net bir ayrım uygular.

Üst düzey kaynak idaresi

Üst düzey Dökümhane kaynağı, güvenliği yapılandırma, diğer Azure hizmetleriyle bağlantı kurma ve dağıtımları yönetme gibi yönetim işlemlerini kapsar. Ayrılmış proje kapsayıcıları geliştirme etkinliklerini yalıtır ve erişim denetimi, dosyalar, aracılar ve değerlendirmeler için sınırlar sağlar.

Rol tabanlı erişim denetimi

Azure RBAC eylemleri bu endişe ayrımını yansıtır. Dağıtım ve proje oluşturma gibi denetim düzlemi eylemleri aracı oluşturma, değerlendirmeleri çalıştırma ve dosyaları karşıya yükleme gibi veri düzlemi eylemlerinden farklıdır. RBAC atamalarını hem üst düzey kaynak hem de tek tek proje düzeyinde kapsamlayabilirsiniz. Güvenli otomasyonu ve hizmet erişimini desteklemek için yönetilen kimlikleri her iki kapsamda atayın. Daha fazla bilgi için bkz: Microsoft Foundry için Rol tabanlı erişim denetimi.

En az ayrıcalıklı uyumlandırma için genel başlangıç atamaları şunlardır:

  • Foundry kaynak kapsamındaki her geliştirici kullanıcı aslı için Foundry User.

    Önemli

    Foundry RBAC rolleri yakın zamanda yeniden adlandırıldı. Foundry User, Foundry Owner, Foundry Hesabı Sahibi ve Foundry Project Manager daha önce Azure Yapay Zeka Kullanıcısı, Azure Yapay Zeka Sahibi, Azure Yapay Zeka Hesabı Sahibi ve Azure Yapay Zeka Project Yöneticisi olarak adlandırıldı. Yeniden adlandırma kullanıma sunulmaya devam ederken bazı yerlerde önceki adları görmeye devam edebilirsiniz. Rol kimlikleri ve temel izinler yeniden adlandırma ile değiştirilmez.

  • Foundry User, Foundry kaynağı kapsamındaki her proje için yönetilen kimlik.

Rol tanımları ve kapsam planlama kılavuzu için bkz. Microsoft Foundry için Rol tabanlı erişim denetimi.

İzleme ve gözlemlenebilirlik

Azure İzleyici, ölçümleri kapsama göre böler. Yönetim ve kullanım ölçümlerini üst düzey kaynakta görüntüleyebilir, değerlendirme performansı veya aracı etkinliği gibi projeye özgü ölçümlerin kapsamı tek tek proje kapsayıcıları olarak belirlenir.

Önemli izleme özellikleri şunlardır:

  • Kaynak düzeyinde ölçümler: Tüm projelerde belirteç tüketimi, model gecikme süresi, istek sayıları ve hata oranları.
  • Project düzeyinde ölçümler: Değerlendirme çalıştırması sonuçları, aracı çağırma sayıları ve dosya işlemi etkinliği.
  • Diagnostic logging: Analiz ve saklama için günlükleri Log Analytics, Depolama veya Event Hubs'a yönlendirmek için tanılama ayarlarını etkinleştirin.

Daha fazla bilgi için bkz. Azure İzleyici genel bakış.

Bilgi işlem altyapısı

Foundry, model barındırma, aracı yürütme ve toplu işlem için hesaplama altyapısını yönetir. Bu bölüm dağıtım türlerini, aracı ve değerlendirme altyapısını, sanal ağ tümleştirmesini, kiracı yalıtımını, içerik güvenliği denetimlerini ve bölgesel kullanılabilirliği kapsar.

Model dağıtım türleri

Dökümhane, model barındırma için veri işleme kapsamına göre gruplandırılmış birden çok dağıtım türünü destekler: genel (bölgeler arası), veri bölgesi (tanımlı sınır içinde) ve bölgesel (tek bölge). Her tür gecikme süresi, aktarım hızı ve veri işleme konumunu farklı şekilde dengeler:

Dağıtım türü Veri işleme Fatura
Genel Standart Azure tarafından yönetilen bölgeler arası Jeton başına ödeme
Genel Sağlandı Azure tarafından yönetilen bölgeler arası Saatlik ayrılmış kapasite
Genel Toplu İşlem Azure tarafından yönetilen bölgeler arası Toplu jeton fiyatlandırması
Veri Bölgesi Standart Veri bölgesi sınırı içinde Jeton başına ödeme
Veri Bölgesi Kuruldu Veri bölgesi sınırı içinde Saatlik ayrılmış kapasite
Veri Bölgesi Kümesi Veri bölgesi sınırı içinde Toplu jeton fiyatlandırması
Standart Tek bölge Jeton başına ödeme
Bölgesel Tahsis Edildi Tek bölge Saatlik ayrılmış kapasite
Geliştirici Herhangi bir Azure bölgesi (veri yerleşimi garantisi yok) Token başına ödeme (yalnızca özelleştirilmiş model değerlendirmesi; 24 saat ömrü; SLA yok)

Doğru dağıtım türünü seçme hakkında ayrıntılı bilgi için bkz. DökümHane Modelleri için dağıtım türleri.

Ses tabanlı istem aracıları sese özel model desenlerini de destekler. GPT-Realtime gibi konuşmadan konuşmaya bir model, ses girdisini işler ve tek bir modelde sesli çıktı üretir. Basamaklı ses deneyimi ayrı konuşma tanıma, metin modeli ve konuşma sentezi aşamalarını kullanır. Gecikme süresi, model, ses ve dil gereksinimlerinize göre deseni seçin. Kullanılabilir modeller ve bölgeler seçili Dökümhane modeli dağıtımına bağlıdır.

Aracılar, değerlendirmeler ve toplu işleme

Aracılar, değerlendirmeler ve toplu işler tam olarak Microsoft tarafından yönetilir. Aracı iş yükleri, ağdan yalıtılmış senaryolar için sanal ağ tümleştirmesini destekleyen platformun kapsayıcı altyapısında çalışır. Değerlendirmeler model uç noktalarını çağırır, çıkışları puanlama ölçütleriyle karşılaştırır ve sonuçları proje kapsamında depolar. Toplu işleme, azaltılmış belirteç başına fiyatlandırma ile zaman uyumsuz yürütme için çıkarım isteklerini kuyruklar. Üç iş yükü türünün sonuçlarına portal veya SDK üzerinden erişilebilir.

Sanal ağ tümleştirmesi

Aracılarınız dış sistemlere bağlandığında, container ekleme kullanarak ağ trafiğini yalıtabilirsiniz. Platform sanal ağınıza bir alt ağ ekler ve aynı sanal ağ içindeki Azure kaynaklarınız ile yerel iletişim sağlar.

Dökümhane, dışarıya yönelik izolasyon için iki ağ modelini destekler.

Modeli Nasıl çalışır? Ödünleşme
Müşteri tarafından yönetilen sanal ağ (BYO) VNet'i ve Microsoft.App/environments için atanmış özel bir alt ağı sağlarsınız. Platform, alt ağınıza eklenir ve özel Azure kaynaklarınız ile yerel iletişim sağlar. Ağ yapılandırması üzerinde tam denetim; kendi ağ yönetiminizi gerektirir.
Yönetilen sanal ağ Foundry, sanal ağı sizin yerinize yönetir. Daha basit kurulum; özelleştirme seçeneklerini sınırlar. Ayrıntılar için bkz . Yönetilen sanal ağı yapılandırma.

Not

Ağdan yalıtılmış bazı senaryolar için portal yerine SDK veya CLI gerekir. Örneğin, tüm genel erişimi engelleyen özel uç noktaları olan dağıtımlar portal kullanıcı arabirimi aracılığıyla yapılandırılamaz. Ayrıntılar için bkz. Foundry için özel bağlantı yapılandırma.

Kiracı yalıtımı

İş yükleri, Dökümhane kaynağı başına mantıksal olarak yalıtılmış ortamlarda çalışır. Müşteri yazılım kodu, çalışma zamanı kapsayıcılarını diğer kiracılarla paylaşmaz.

İçerik güvenliği ve korumalar

Foundry, içerik güvenliği denetimlerini model ve agent çıkarım hattına tümleştirir. Korumalar algılama risklerini, tarama için müdahale noktalarını ve bir risk algılandığında yanıt eylemlerini tanımlar. Müdahale noktaları kullanıcı girişini, çıktıyı, araç çağrılarını (önizleme) ve araç yanıtlarını (önizleme) içerir. İçerik filtreleri model istekleriyle satır içinde çalışır ve dağıtım başına yapılandırılabilir. Daha fazla bilgi için bkz . Korumalar ve denetimlere genel bakış ve İçerik filtreleme önem düzeyleri.

Bölgesel kullanılabilirlik

İşlem özellikleri Azure bölgeye göre farklılık gösterir. Model kullanılabilirliği, dağıtım türü seçenekleri ve Aracılar veya değerlendirmeler gibi özellik desteği bölgeler arasında farklılık gösterebilir. Sağlamadan önce hedef bölgenizin gerekli özellikleri desteklediğini onaylayın. Geçerli kullanılabilirlik için bkz. Bulut bölgeleri arasında özellik kullanılabilirliği.

Veri depolama

Dökümhane, çok çeşitli yapay zeka iş yüklerini desteklemek için esnek ve güvenli veri depolama seçenekleri sağlar.

Dosya yükleme için yönetilen depolama

Varsayılan kurulumda Foundry, müşteri tarafından sağlanan bir depolama hesabı gerektirmeden OpenAI modelleri ve Aracıları gibi belirli kullanım örnekleri için mantıksal olarak ayrılmış ve doğrudan dosya yüklemelerini destekleyen Microsoft yönetilen depolama hesaplarını kullanır.

Kendi depolama alanınızı getirme

İsteğe bağlı olarak kendi Azure Depolama hesaplarınızı bağlayabilirsiniz. Değerlendirmeler ve toplu işlem gibi döküm araçları, bu hesaplardan girişleri okuyabilir ve çıkışları bu hesaplara yazabilir. Desteklenen senaryolarla ilgili ayrıntılar için bkz. Aracı hizmetiyle kendi kaynaklarınızı getirme.

Durum Depolama Ajanı

  • Temel aracı kurulumu, iş parçacıklarını, iletileri ve dosyaları mantıksal ayrım içinde Microsoft tarafından yönetilen çok kiracılı depolama alanında depolar.
  • standard aracı kurulumu ile dosyalar, konuşmalar ve vektör depoları gibi tüm müşteri verileri için kendi Azure kaynaklarınızı getirirsiniz. Bu yapılandırmada veriler, depolama hesaplarınızdaki proje tarafından yalıtılır.

Müşteri tarafından yönetilen anahtar şifrelemesi

Varsayılan olarak, Azure hizmetleri FIPS 140-2 uyumlu 256 bit AES şifrelemesiyle yönetilen Microsoft anahtarları kullanarak bekleyen ve aktarımdaki verileri şifreler. Kod değişikliği gerekmez.

Bunun yerine kendi anahtarlarınızı kullanmak için, Foundry için müşteri tarafından yönetilen anahtarları etkinleştirmeden önce bu önkoşulları onaylayın:

  • Key Vault, Foundry kaynağınızla aynı Azure bölgesinde dağıtılır.
  • Key Vault'ta geçici silme ve temizleme koruması etkinleştirilmiştir.
  • Yönetilen kimlikler, Azure RBAC kullanılırken Key Vault Şifreleme Kullanıcısı rolü gibi gerekli temel izinlere sahiptir.

Kendi Key Vault'unuzu getirin

Varsayılan olarak, Foundry tüm API anahtar tabanlı bağlantı sırlarını yönetilen bir Azure Key Vault içinde depolar. Gizlilik bilgilerini kendiniz yönetmeyi tercih ediyorsanız anahtar kasanızı Foundry kaynağına bağlayın. Tek bir Azure Key Vault bağlantısı, tüm proje ve kaynak düzeyindeki bağlantı gizli anahtarlarını yönetir. Daha fazla bilgi için bkz. Azure Key Vault Foundry bağlantısı kurma.

Veri şifreleme hakkında daha fazla bilgi edinmek için bkz. Foundry ile şifreleme için müşteri tarafından yönetilen anahtarlar.

Veri yerleşimi ve uyumluluk

Foundry, hareketsiz durumdaki tüm verileri belirlenen Azure coğrafyasında depolar. Çıkarım verileri (istemler ve tamamlamalar) dağıtım türüne göre işlenir: genel dağıtımlar herhangi bir Azure bölgesine yönlendirilebilir, veri bölgesi dağıtımları ABD veya AB bölgesinde kalır ve standart veya bölgesel dağıtımlar yalnızca dağıtım bölgesinde işlenir. Ayrıntılar için bkz . Dağıtım türleri. Foundry bölgeler arası otomatik yük devretmeyi desteklemez. Kuruluşunuz çok bölgeli kullanılabilirlik gerektiriyorsa, her hedef bölgeye ayrı Dökümhane kaynakları dağıtın ve uygulama katmanında veri eşitleme ve yönlendirmeyi yönetin. Uyumluluk sertifikası ayrıntıları için bkz. Azure uyumluluk belgeleri.

Mimari kararlarını doğrulama

Dağıtımdan önce, hedef ortamınız için aşağıdakileri doğrulayın:

İlgili içerik

  • Last updated on