Aracılığıyla paylaş

İçerik alma yoluyla genişletilmiş içerik oluşturma (RAG) deseninde (önizleme) LLM'ler ve Azure OpenAI

  • Makale

Önemli

Bu, bir önizleme özelliğidir. Bu bilgiler, yayınlanmadan önce büyük ölçüde değiştirilebilecek bir yayın öncesi özelliğe ilişkindir. Burada verilen bilgilerle ilgili olarak Microsoft açık veya zımni hiçbir garanti vermez.

Bu makale, içerik alma yoluyla genişletilmiş içerik oluşturma (RAG) deseni bağlamında Büyük Dil Modellerinin (LLM'ler) ve Azure OpenAI'nın kullanılmasına ilişkin bir açıklayıcı örnek sunar. Özellikle, önemli korkulukları göz önünde bulundurarak, Egemen Giriş Bölgelerinde bu teknolojileri nasıl uygulayabileceğinizi araştırıyor.

Senaryo

Ortak bir senaryo, içerik alma yoluyla genişletilmiş içerik oluşturma (RAG) deseni ile kendi verilerinizi kullanarak konuşmalara katılmak için LLM'leri kullanmaktır. Bu desen, LLM'lerin muhakeme yeteneklerini kullanmanızı ve modelin ince ayarlanmasını gerektirmeden belirli verilerinize göre yanıtlar üretmenizi sağlar. LLM'lerin mevcut iş süreciniz veya çözümlerinizle sorunsuz bir şekilde tümleştirilmesini sağlar.

Hakimiyet için Bulut - AI ve LLM Başvuru Mimarisi

Microsoft Cloud for Sovereignty, bir Hakimiyet Giriş Bölgesi (SLZ) içinde tipik bir içerik alma yoluyla genişletilmiş içerik oluşturma (RAG) mimarisini gösteren bir başvuru mimarisi sağlar. Genel ve önerilen uygulama teknolojisi seçimleri, terminoloji, teknoloji ilkeleri, ortak yapılandırma ortamları ve uygulanabilir servislerin bileşimine genel bir bakış sağlar.

Hakim AI ve LLM yapılandırmalarının başvuru mimarisi.

Bu başvuru mimari diyagramının yazdırılabilir PDF'sini indirin.

Anahtar aşamalar/veri akışı aşağıdaki gibidir:

Uygulama giriş bölgeleri

Yönetim grubu hiyerarşisinde, bu servisler önemsiz bir yönetim grubundaki aboneliğe yerleştirilir.

Veri kaynakları ve dönüşüm kanalları

Veri kaynakları ve dönüşüm kanallarının çoğu zaman bir organizasyonda, iş operasyonlarından oluşan hatlar için varoluşlarıdır. RAG uygulamaları gibi LLM uygulamalarını mevcut verilerle tümleştirerek yeni iş yükleri haline gelirler.

Veri akışı denetimini sağlamak için başvuru mimarisi, veri kaynakları için veri etki alanına hizalanmış veri giriş alanlarını önerir ve LLM uygulamaları tarafından kullanılan veri ürünleri oluşturmak için veri dönüşüm ardışık düzenlerini bu kaynaklara yakın bir yere yerleştirir. Bu yaklaşım, LLM tabanlı çözüme sağlanan verilerin ayrı ayrı barındırılan hassas bir şekilde yönetilmesini sağlar.

Veri dönüşümü bileşenleri verileri, LLM tabanlı bir uygulama tarafından, yerleme amacıyla semantik veya vektörel arama yoluyla aranabilecek ve kullanılabilecek bir biçime dönüştürmek için farklı teknolojiler ve hizmetlerden yararlanmaktadır. Bu ardışık hatlar kendi başına çalışabilir veya Azure AI hizmetleri veya OpenAI gibi Yapay Zeka hizmetlerini kullanarak verileri bir vektörel aramaya veya semantik arama veritabanına dönüştürmek için kullanılabilir.

AI hizmetlerini kullanırken ağ eşlemesi her zaman özel bitiş noktaları aracılığıyla (merkez üzerinden veya doğrudan) kullanılabilir olmasını sağlar. Yönetişim, güvenlik ve uyumluluk nedeniyle, veri dönüşümü bileşenleri LLM iş yükü için bir arama veritabanına hangi verilerin ve hangi biçimde sağlandığını belirleme yetkisine sahiptir.

Veri dönüşümü bileşenleri, LLM iş yüklerinin dayalı olduğu arama veritabanlarına en iyi sonucu sağlamak için çeşitli veri kaynağı türleri kullanabilir. Bu veri kaynakları, müşteri ortamına bağlı olarak SQL veritabanları, veri gölleri ve hatta özel veri çözümleri barındıran sanal makineler olabilir.

Veri kaynaklarına doğrudan Orchestrator uygulaması tarafından erişilmemesi gerekir, ancak bu kaynaklar yalnızca sanal ağın özel sınırları içinden kullanılabilir olmalıdır. Bu, Microsoft Azure Sanal Ağ (ör. sanal makineleri için olduğu gibi), Özel Bağlantı hizmetleri veya Sanal Ağ hizmetleri uç noktalarının doğrudan tümleştirilmesini gerektirir (yalnızca Özel Bağlantı veya doğrudan Sanal Ağ tümleştirmesi mevcut değilse).

AI ve LLM ile ilgili bileşenler, Corp veya Çevrimiçi yönetim grubu altındaki kendi aboneliklerinde iş yükleri olarak barındırılmalıdır (genel erişim gerekli olup olmamasına bağlı olarak). Bu bileşenler şunlardır:

Azure OpenAI Hizmeti , GPT gibi LLM'lerin ve Ada gibi Metin Katıştırmaları gibi işlemlerini kapsülleyerek, OpenAI tarafından Orchestrator uygulamasına sağlanan standart API'ler aracılığıyla erişilebilir olmasını sağlar.

Bir Orchestrator uygulaması, API veya UX tabanlı arabirim ile ön uç olarak görev yapar ve RAG tabanlı deneyimler oluşturmak için gereken farklı adımları düzenler. Bu genellikle bir web uygulaması veya web API'sidir. Bu adımlar genellikle şunları içerir:

  • istem dayandırma için semantik arama motorlarından veri çekme
  • istem dayandırma için veri kaynaklarından veri çekme
  • farklı istekleri LLM'ye doğru şekilde zincirleme

Orchestrator uygulaması Azure OpenAI Hizmetinin önceki etkileşimlere göre yerde tutulmasını sağlamak için gönderilen isteklerin ve alınan yanıtların geçmişini korur. Örneğin, ChatGPT veya Bing Chat gibi bir sohbet benzeri deneyimde, Orchestrator uygulaması konuşma oturumunun geçmişini LLM hizmeti arka ucu tarafından konuşma akışında ele alınacak şekilde korur veya önbelleğe alır.

Çevrimiçi bir ortamda, Orchestrator uygulaması uç nokta Web Uygulaması Güvenlik Duvarı ve DDoS koruma hizmetleri tarafından korunan ortak uç nokta aracılığıyla sağlanan tek uygulama olmalıdır. Ortak uç noktaları olmadan bir Corp ortamında barındırılıyorsa Orchestrator sanal makineler veya VM Ölçeklendirme Kümeleri gibi doğrudan Sanal Ağ ile tümleşik bir serviste barındırılır ya da Azure Uygulama Hizmetleri için olduğu gibi Özel Bağlantı veya Sanal Ağ hizmeti bitiş noktalarını destekleyen servisleri kullanır.

Arama Hizmetleri, çeşitli veri kaynaklarından gelen verileri LLM hizmetlerinin istem ve girişinde etkili kullanım için en iyi duruma getirilmiş bir biçimde sunar. Microsoft, Azure Yapay Zeka Arama tarafından desteklenen arama hizmetlerine dayalı olarak istem temeli için en iyi sonuçları elde etmek için vektörelleştirme ve semantik aramanın bir birleşimini öneriyor. Semantik sıralamanın kullanılması, arama sonuçlarını sıralamak için dil anlaşılması kullanılarak aramanın uygunluğunu artırır. Bu, LLM'ye istek göndermeden önce arama servisinden daha iyi arama sonuçları sayesinde istem topraklama daha doğru hale geldiğinden, RAG uygulamalarının kullanıcı deneyimini iyileştirir.

Yapay zeka servislerinin bir birleşimi, Orchestrator aracılığıyla son kullanıcılar için özelleştirilmiş deneyimler oluşturmak veya veri alma işlemlerini en iyi duruma getirmek için kullanılabilir. Formlardan yapılandırılmış bilgileri ayıklamak ve kullanıcı girişlerini verimli bir şekilde işlemek ve özetlemek için Azure Yapay Zeka Akıllı Belge gibi bir form tanıyıcı hizmeti kullandığınızı düşünün. Bu hizmet daha sonra tanınan form girişlerinden önemli sonuçları özetlemek için bir LLM ile işbirliği yapabilir. Başka bir senaryo, belgeleri PDF'ler veya word belgeleri gibi çeşitli biçimlerde metne dönüştürmek için belge tanıyıcı hizmetinin kullanılmasını içerir. Daha sonra, servisi katıştıran bir LLM metni daha ayrıntılı analiz için bu tanınan metni vektörize edebilir.

Özel Bağlantı hizmetleri, tüm hizmetlere yalnızca özel ortamdan erişilebilir olması gibi tüm bileşenler için dağıtılır. Tek istisna, Çevrimiçi giriş bölgesinde barındırılıyorsa, bir Web Uygulaması Güvenlik Duvarı'nın veya benzeri hizmetlerin arkasında herkese açık olarak sunulan Orchestrator uygulaması olabilir.

Altyapı bileşenleri

Altyapı bileşenleri iş yükünün bir parçası olarak veya merkezi olarak bir merkez ya da kimlik aboneliği içinde barındırılabilir.

Bir Hakimiyet Giriş Bölgesi uygulamasının merkezi altyapı bileşeni, her Hakimiy Giriş Bölgesi dağıtımı tarafından sağlanan sanal birağ olan Platform Bağlantı Merkezidir. Bu platform yönetimi grubundaki bağlantı aboneliğine yerleştirilir.

Paylaşılan ağ bileşenleri merkez sanal ağına yerleştirilir. Bu bileşenler genellikle şunları içerir:

  • Bir şirketin, ajansın veya organizasyonun şirket ağına bağlantı için ExpressRoute Devreleri veya VPN ağ geçitleri.

  • Güvenlik duvarları, ev aletleri veya Web Uygulaması Güvenlik Duvarı dahil Azure Güvenlik Duvarı tekliflerinin bir birleşimi kullanılarak uygulanabilir. Bu çözümler; trafik denetimi, filtreleme ve yönlendirmeye olanak sağlar.

  • İş yüklerini dağıtılmış hizmet reddi saldırılarına karşı korumak için DDoS koruma bileşenleri.

  • Giriş bölgeleri ile uygulanan tüm sanal veri merkezi manzarası genelinde kullanılan tüm hizmet türleri için Özel DNS Bölgeleri.

  • Veri kaynakları, dönüşüm ve LLM bileşenleri gibi çeşitli iş yüklerinin sanal ağlarını hub ağı üzerinden bağlamak için Sanal Ağ Eşlemesi.

  • İlkeler, gerektiğinde merkezin güvenlik duvarları aracılığıyla trafiği denetler.

Dikkat edilmesi gereken noktalar

Başvuru mimari diyagramı, Bir Hakim Giriş Bölgesi bağlamında LLM RAG tabanlı iş yükünün tipik bileşenlerini içeren temsilci bir örnek mimari gösterir. Önceki bölümlerde kapsanmayan dikkate alınması gereken bazı önemli noktalar vardır.

İyi Tasarlanmış Mimari Çerçevesi ve Bulut Benimseme Çerçevesi ilkelerine hizalama

Önceki bölümlerde İyi Tasarlanmış Mimari Çerçevesi (WAF) ve Bulut Benimseme Çerçevesi (CAF) ile ilgili bazı hizalama özelliklerinden kısa bir süre bahsedilmiştir. Tüm mimari kararların CAF ve Azure Giriş Bölgeleri, CAF bulut ölçeğinde analizleri ve Azure OpenAI'da WAF perspektifi de dahil olmak üzere WAF ilkeleriyle tamamen hizalanmış olması gerektiğini unutmayın.

Korumalarla ilgilenmek giriş bölgesi ortamlarında standart bir yordam olsa da, LLM ve Yapay Zeka iş yükleri için bazı alanlarda başka değerlendirmeler yapılması gerekir. İş yükü aboneliği için altyapıyı tasarlarken ve tanımlarken Azure Güvenlik Temeli uyumluluğunu ve Hakimiyet Temel İlkesi inisiyatif standartlarını izlemek en iyisidir.

LLM RAG tabanlı bu standartların uygulamaları için dikkat edilmesi gereken önemli noktalar:

Veri yerleşimi ve bölge seçimi

Hakimiyet, veri bulunmasına katı gereksinimler getirmektedir ve bu nedenle dağıtımları bir SLZ'deki belirli Azure bölgeleriyle sınırlandırabilir. LLM iş yükleri için bir bölge seçmek gereken servislerin kullanılabilirliğiyle sınırlıdır:

  • Azure OpenAI ve Azure AI Araması'nın, verilerinizi barındırdığınız hedef bölgenizde ve veri bulunabilirliği ve/veya yakınlık nedenleriyle iş yükünüzde kullanılabildiğini doğrulayın. Ayrıca, bu servisler performans perspektifinden son kullanıcının uygulama deneyimi için önemlidir.

  • İkinci olarak, Azure OpenAI'a bakıldığında, ilgili LLM modellerinin kullanılabilirliği tüm bölgeler genelinde eşit olarak kullanılamadığından önemlidir.

  • Veri kaynakları veya diğer bilişsel hizmetler belirlenen hedef bölgenizde mevcut değilse, bunları veri yerleşimi gereksinimlerinize uygun şekilde başka bir bölgede bulup çalıştırabilirsiniz. Ancak Azure OpenAI hizmeti ve Azure AI Araması, performans nedenleriyle Orchestrator uygulamasıyla aynı bölgede olmalıdır.

Sosyal İlişkiler Kurma

Corp ortamlarında ortak bitiş noktalarına izin verilmez. Bu nedenle, tüm servisler bir Sanal Ağ'da kapsüllenmelidir. Servise bağlı olarak, sanal makine veya AKS kümeleri, Özel Bağlantı veya Sanal Ağ hizmeti uç noktaları gibi doğrudan kapsülleme yetenekleri sunabilir. Sanal Ağ hizmeti uç noktaları mümkün olan her yerde Özel Bağlantı ile değiştirilmelidir.

Kapsüllemenin yanı sıra, tüm hizmetler için ortak erişim devre dışı bırakılmalıdır. Son olarak, Azure İlkesi kullanılarak ilke uygulaması etkinleştirilmelidir, böylece karşılık gelen reddetme ilkeleri oluşturulamayan hizmetler için genel erişim yanlışlıkla etkinleştirilemez. Derinlikte savunma stratejisi, tüm hizmetler için ilgili denetim yeteneklerinin etkinleştirilmesini sağlamaktır.

Devam eden ve geçişte şifreleme

Azure'daki servislerin çoğu hem yoldaki şifrelemeyi hem de kullanım sırasındaki özellikleri destekler. Kullanılabilir olduğunda tüm servisler arasında şifrelemeyi dinlenmede ve yoldayken etkinleştirin. Toplu şifreleme için, şu anda TLS 1.2 olan en son TLS sürümünü etkinleştirin.

Yönetilen kimlikler

Kimlik bilgilerinin gizli bilgilerini yönetmemek için tüm servisler ve hizmetten servise iletişim için yönetilen kimlikler kullanın.

Key Vault'ta anahtar döndürme

Sertifika gibi güvenlik varlıkları her gerektiğinde, uyumluluğu korumak için Key Vault'ta bu gizli anahtarların anahtar döndürmesini etkinleştirin.

Ağ ve Uygulama Güvenlik Grupları

Bağımsız ve güvenli bir ortamda Ağ Güvenlik Grupları (NSG) ve Uygulama Güvenlik Grupları (ASG) kullanımına uyulmaktadır. Eksik güvenlik grupları, uyumsuz dağıtımlara yol açar. Her zamanki SSL portları HTTPS tabanlı olduğundan LLM/RAG iş yüklerinin güvendiği çoğu hizmet için kullanışlıdır. Kaynaklardan arama ve vektör veritabanlarına veri alımı için belirli portlar gerekir. Corp giriş bölgelerinde ortak IP'lere izin verilmez. Tüm hizmetlere yalnızca Sanal Ağ'da erişilebilir olması gerekir, bu da PaaS servisleri için Özel Bağlantı veya Sanal Ağ hizmeti bitiş noktalarının kullanılması gerekir.

Daha fazla güvenlik ve hakimiyet güvenlik vites düzenleri

Altyapınız ve uygulama tasarımınız için daha önceki bölümlerde kapsanan en önemli ve bariz korkuluklar, Hakimiyet veya Azure Giriş Bölgeleri dışında bile yeniden kullanılabilir. Diğer genel ilkeler, Günlük Analizleri çalışma alanları veya kuruluş ölçeği iniş alanlarındaki Microsoft Sentinel dağıtımları gibi merkezi olarak yönetilen kaynaklara bağlanır. Altyapınız ve uygulama tasarım süreciniz sırasında bu merkezi olarak yönetilen kaynakları dikkate almak çok önemlidir. Bunu yapmayı ihmal etmek, dağıtım sonrası için ek çaba ve zaman elde edilebilir. Nedensiz bir şekilde, Azure'un ilke uyumluluğu özelliği dağıtımdan sonra uyumlu olmayan kaynakları belirleyebilir. Ayrıca, hem Hükümdarlık hem de Azure Giriş Bölgeleri, çok sayıda kaynak için DeployIfNotExists ilkeleri sağlar ve süreci daha da basitleştirir.

Bu tür korumalar için bazı örnekler şunlardır:

  • Merkezi olarak yönetilen Log Analytics Çalışma Alanları oturum açmanın etkinleştirilmesi.

  • Azure Güvenlik Merkezi veya Bulut için Microsoft Defender ile tümleştirme.

  • Microsoft Sentinel gibi Güvenlik Bilgileri ve Olay Yönetimi (SIEM) paketleriyle tümleştirme.

  • Merkezi olarak yönetilen güvenlik duvarları, Web Uygulaması Güvenlik Duvarları veya DDoS koruması ile tümleştirme.

Bunlar, ilk dağıtımınızdan sonra gerekli olarak belirleyebileceğini birkaç vites düzenleridir. Dağıtımlarınızı bir sınama iniş alanında test etmek ve bu korkulukların yerine getirilmesini altyapınıza ve uygulama kod temelinize sürekli olarak tümleştirmeniz önerilir. Bu tamamen mümkün değilse bu korkulukların pek çoğu DeployIfNotExists ilkeleriyle dağıtım sonrası ele alınabilir.

Bu senaryoyı dağıtın

Hakimiyet Giriş Bölgeleri içindeki içerik alma yoluyla genişletilmiş içerik oluşturma (RAG) desenini temel alan Büyük Dil Modelleri (LLM'ler) ve Azure OpenAI'nın olanaklarından yararlanmak için öncelikle bir Hakim Giriş Bölgesi (SLZ) dağıtmanız ve yapılandırmanız ve Hakimiyet Temeli politikası inisiyatiflerini uygulamanız gerekir. SLZ ve tüm özelliklerine ayrıntılı genel bakış için GitHub'da Hakimiyet Giriş Bölgesi belgesine bakın.

SLZ, iş yüklerinin ve uygulamalarının dağıtılması için ilke ve ilke kümeleri, güvenlik uygulamaları ve tutarlı alt yapı uygulamaları sunan bir ortam sağlar. SLZ, Azure Giriş Bölgelerini temel alır ve bunu bağımsızlık gereksinimlerine özel korumalar ve güvenlik kontrolleriyle genişletir.

Müşterilerin değer elde etme süresini hızlandırmaya yardımcı olurken uyumluluk hedeflerine ulaşmalarına da yardımcı olmak için Microsoft Cloud for Sovereignty tutarlı bir şekilde tekrarlanabilir bir şekilde dağıtılabilen ve çalıştırılabilen kullanıma hazır iş yükü şablonları içerir. İş yükü şablonları Bağımsızlık İlkesi Temeli, Bağımsızlık Temeli ilke girişimleri ve Azure Giriş Bölgesi varsayılan ilkeleri ile uyumludur.

Bilgi Yardımcısı hızlandırıcısı

Bilgi Yardımcısı, kuruluşların Azure OpenAI'nın gücünü kuruluş kullanıcılarına ve onların özel etki alanı verilerine genişletmeye yönelik kendi özel üretken yapay zeka yeteneklerini oluşturması için bir başlangıç noktası sağlayan bir çözüm hızlandırıcısıdır. Hakimiyet için Bulut içinde dağıtılabilir ve bu makalede sağlanan başvuru mimarisi ve yönergeleriyle hizalanır. Hızlandırıcının dahili iş yükleri için Corp giriş bölgesinde dağıtılmalarını ve genel erişim için Çevrimiçi giriş bölgesine güvenli dağıtımlara yönelik yönergeleri izlemenizi öneririz.

Hızlandırıcı, müşterilere ve iş ortaklarına ücretsiz olarak sağlanan ve değerli zamanı hızlandırmaya yardımcı olabilecek kod, belge ve eğitim kaynaklarının bir birleşimidir.

Bilgi Yardımcısı hızlandırıcısının nasıl dağıtılacağı ve yapılandırılacağı hakkında daha fazla bilgi için GitHub'ın Bilgi Yardımcısı belgelerine bakın. Bu hızlandırıcıyla elde edilebilecek servis taleplerini kullanmak için Bilgi Yardımcısı Videosu'na bakın.