Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu öğreticide, Azure Yönetilen Redis'i büyük dil modeli (LLM) uygulamalarında anlamsal önbellek için Redis uç noktası olarak kullanmayı öğreneceksiniz. Anlamsal önbelleğe alma, ayrı bir Azure Managed Redis yönetilen özelliği değil, bir uygulama veya ağ geçidi desenidir. Azure Yönetilen Redis, önbelleğe alınmış istemleri, eklemeleri, meta verileri ve yanıtları depolayan ve arayan Redis uç noktası ve RediSearch vektör arama özellikleri sağlar.
Bu eğitimde şunları öğreniyorsunuz:
- Semantik önbelleğe alma işleminin uygulamanızda mı yoksa Azure API Management'ta mı çalışması gerektiğine karar verin.
- Azure Managed Redis, RediSearch, embedding'ler, TLS ve kimlik doğrulaması için önkoşulları yapılandırın.
- RedisVL ile Python anlamsal önbelleği uygulama.
- ağ geçidi düzeyinde anlamsal önbelleğe almayı Azure API Management ilkeleriyle yapılandırın.
- Üretim için eşikleri, TTL'leri, bölümleri, sürümleri ve gözlemlenebilirliği ayarlayın.
- Maliyet, performans ve ürüne uygunluk hususlarını anlayın.
Anlamsal önbelleğe alma nasıl çalışır?
Semantik önbelleğe alma, yeni bir istem, anlamca önbelleğe alınmış bir isteme yeterince yakın olduğunda önceki LLM yanıtlarını yeniden kullanabilir. Tipik bir istek akışı şöyledir:
- Uygulama veya API tüketicisinden bir istem alın.
- Önbellek tarafından kullanılan aynı embedding modelini kullanarak istem için bir embedding oluşturun.
- Vektör benzerliğine göre Azure Yönetilen Redis'te önbelleğe alınmış istem gömmelerini arayın.
- En yakın önbellek girdisi yapılandırılan eşik içindeyse ve gerekli kiracı, kullanıcı, model ve istem sürümü bölümüyle eşleşiyorsa, önbelleğe alınmış yanıtı döndürebilirsiniz.
- Kabul edilebilir bir eşleşme yoksa LLM'yi çağırın ve istem, yanıt, ekleme, meta veriler ve TTL'yi Redis'te depolayın.
Azure Yönetilen Redis bu düzeni destekleyebilir çünkü RediSearch, Redis veri yapıları üzerinden vektör benzerliği arama, meta veri filtreleme ve vektör dizinlerini destekler. Daha fazla bilgi için bkz. Azure Managed Redis'te vektör arama ve Redis vektör arama kavramları.
Bir uygulama yolu seçin
| Yol | Şu durumlarda kullanın: | Önbellek mantığının çalıştığı yer |
|---|---|---|
| RedisVL ile uygulama düzeyinde anlamsal önbellek | Uygulama kodunun sahibisiniz ve özel eşik, bölümleme, meta veriler veya model çağrısı mantığına ihtiyacınız vardır. | Uygulamanız Redis uç noktası olarak Azure Yönetilen Redis ile RedisVL SemanticCache kullanıyor. RedisVL SemanticCache, istem araması, yanıt depolama, TTL'ler, meta veriler, filtreler ve Redis COSINE uzaklığı eşiğini destekler. Ayrıntılar için redisVL SemanticCache API'sine bakın. |
| Azure API Management ile ağ geçidi düzeyinde anlamsal önbellek | Azure API Management üzerinden geçen LLM API'leri için merkezi anlamsal önbelleğe alma istiyorsunuz. | Azure API Management, arka uç çağrısından önce llm-semantic-cache-store ve arka uç yanıtından sonra llm-semantic-cache-lookup kullanır. Azure Yönetilen Redis, dış önbellek olarak yapılandırılır. Ayrıntılar için bkz. Azure API Management'de LLM API'leri için anlamsal önbelleğe almayı etkinleştirme. |
Prerequisites
- Azure aboneliği.
- RediSearch'in desteklendiği bir katmanda Azure Yönetilen Redis örneği. Azure Yönetilen Redis modülleri makalesinde katmana göre modül kullanılabilirliği listelenir.
- Azure Yönetilen Redis örneğini oluşturduğunuzda etkinleştirilen RediSearch modülü Modülleri oluşturma zamanında etkinleştirmeniz gerekir ve mevcut Azure Yönetilen Redis örneğine modülleri el ile ekleyemezsiniz. Daha fazla bilgi için bkz. Azure Yönetilen Redis ile Redis modüllerini kullanma.
- RediSearch için Kurumsal (
EnterpriseCluster) veya Kümelenmemiş (NoCluster) kümeleme ilkesini kullanan Azure Yönetilen Redis yapılandırması. RediSearch,OSSClusterbölümünde açıklandığı gibi OSS () kümeleme ilkesinde desteklenmez. - Bir embedding modeli veya dağıtım. Her anlamsal önbellek dizini için bir gömme modeli ve vektör boyutu kullanın. Redis vektör dizinleri, Redis vektör arama kavramlarında açıklandığı gibi sorgu vektörlerinin dizinlenmiş vektör alanıyla aynı boyutlara sahip olmasını gerektirir.
- İstemcileriniz için TLS ve kimlik doğrulaması yapılandırıldı. TLS (
rediss://veyassl=True) ve Microsoft Entra ID veya onaylı gizli depolama kullanın. Erişim anahtarlarını sabit kodlamayın. Daha fazla bilgi için bkz. Microsoft Entra ID ile kimlik doğrulaması ve TLS yapılandırması. - RedisVL yolu için: Python,
redisvl,redisve embedding ile Redis kimlik doğrulama yaklaşımınızın gerektirdiği tüm paketler. - Azure API Management yolu için: LLM API'sine sahip bir API Management örneği, ekleme arka ucu, ekleme arka ucuna yönetilen kimlik kimlik doğrulaması ve dış Redis uyumlu önbellek olarak yapılandırılmış Yönetilen Redis Azure. Bu önkoşullar, Azure API Management'de LLM API'leri için anlamsal önbelleğe almayı etkinleştirme bölümünde açıklanmıştır.
Yol 1: RedisVL ile uygulama düzeyinde anlamsal önbellek oluşturma
Uygulamanızın önbellek arama, önbellek ıskasını ele alma, model çağrıları, meta veriler ve önbellek depolamayı denetlemesi gerektiğinde bu yolu kullanın. RedisVL SemanticCache, Redis'e bağlanır ve anlamsal olarak benzer istemler için check ve store işlemleri sağlar.
distance_threshold değeri, 0'sine göre ile 2 arasında Redis COSINE uzaklık birimlerini kullanır; daha düşük değerler daha sıkı eşleştirme anlamına gelir.
Gerekli Python paketlerini yükleyin:
pip install openai redis redis-entraid redisvl
Ortamınızda AZURE_OPENAI_ENDPOINT, AZURE_OPENAI_API_KEY, OPENAI_API_VERSION, AZURE_OPENAI_EMBEDDING_DEPLOYMENT, AZURE_OPENAI_CHAT_DEPLOYMENT ve AZURE_MANAGED_REDIS_HOST ayarlayın. Örneğiniz AZURE_MANAGED_REDIS_PORT bağlantı noktasını kullanmıyorsa 10000 öğesini de ayarlayabilirsiniz.
Aşağıdaki örnek, Azure Yönetilen Redis TLS ve Microsoft Entra ID kimlik doğrulamasını kullanabilmeniz için yapılandırılmış bir Redis istemcisini RedisVL'ye geçirir:
import os
from openai import AzureOpenAI
from redis import Redis
from redis_entraid.cred_provider import create_from_default_azure_credential
from redisvl.extensions.cache.llm import SemanticCache
from redisvl.utils.vectorize import AzureOpenAITextVectorizer
credential_provider = create_from_default_azure_credential(
("https://redis.azure.com/.default",)
)
redis_client = Redis(
host=os.environ["AZURE_MANAGED_REDIS_HOST"],
port=int(os.getenv("AZURE_MANAGED_REDIS_PORT", "10000")),
ssl=True,
credential_provider=credential_provider,
)
vectorizer = AzureOpenAITextVectorizer(
model=os.environ["AZURE_OPENAI_EMBEDDING_DEPLOYMENT"],
api_config={
"azure_endpoint": os.environ["AZURE_OPENAI_ENDPOINT"],
"api_version": os.environ["OPENAI_API_VERSION"],
# Load from a secret store or managed configuration. Don't hard-code keys.
"api_key": os.environ["AZURE_OPENAI_API_KEY"],
},
)
openai_client = AzureOpenAI(
api_key=os.environ["AZURE_OPENAI_API_KEY"],
api_version=os.environ["OPENAI_API_VERSION"],
azure_endpoint=os.environ["AZURE_OPENAI_ENDPOINT"],
)
cache = SemanticCache(
name="semcache_support_promptv1",
redis_client=redis_client,
vectorizer=vectorizer,
distance_threshold=0.15, # Redis COSINE distance [0-2]; lower is stricter.
ttl=3600,
)
def call_llm(prompt: str) -> str:
completion = openai_client.chat.completions.create(
model=os.environ["AZURE_OPENAI_CHAT_DEPLOYMENT"],
messages=[{"role": "user", "content": prompt}],
)
response = completion.choices[0].message.content
if response is None:
raise RuntimeError("The chat completion didn't contain a response.")
return response
def answer(prompt: str) -> str:
hits = cache.check(prompt=prompt, num_results=1)
if hits:
return hits[0]["response"]
response = call_llm(prompt)
cache.store(
prompt=prompt,
response=response,
metadata={
"model_id": os.environ["AZURE_OPENAI_CHAT_DEPLOYMENT"],
"prompt_version": "support-v1",
},
)
return response
Üretim için, bölümlenmemiş bir önbelleği tüm arayanlar arasında paylaşmayın. Kiracılar, kullanıcılar, model kimlikleri ve istem sürümleri için ayrı önbellek dizinleri veya RedisVL filtrelenebilir alanları kullanın. Redis, Redis vektör arama kavramları bölümünde açıklandığı gibi meta veri filtreleri ile birlikte vektör aramalarını destekler.
Yol 2: Azure API Management ile ağ geçidi düzeyinde anlamsal önbellek oluşturma
LLM trafiği Azure API Management üzerinden aktığında ve merkezi bir ilke tabanlı önbellek istediğinizde bu yolu kullanın. Azure API Management semantik önbelleğe alma, yapılandırılmış bir dış önbellek ve embedding arka ucu kullanır. Arama ilkesi LLM arka ucuna iletmeden önce benzer önbelleğe alınmış yanıtları denetler ve depolama ilkesi arka uç döndürdükten sonra uygun yanıtları önbelleğe alır. Tam kurulum adımları için bkz. Azure API Management'de LLM API'leri için anlamsal önbelleğe almayı etkinleştirme.
llm-semantic-cache-lookup ilkesi gelen bölümünde çalışır ve bir gömme arka ucu gerektirir.
score-threshold, 1.0 ile llm-semantic-cache-lookup arasında değişir; daha düşük değerler, 0.0 daha yüksek anlamsal benzerlik gerektirir.
llm-semantic-cache-store ilkesi giden bölümde çalışır ve llm-semantic-cache-store değerini, duration, saniye cinsinden önbellek girdisi TTL’si olarak kullanır.
<policies>
<inbound>
<base />
<llm-semantic-cache-lookup
score-threshold="0.05"
embeddings-backend-id="embeddings-backend"
embeddings-backend-auth="system-assigned"
ignore-system-messages="true"
max-message-count="10">
<vary-by>@(context.Subscription.Id)</vary-by>
</llm-semantic-cache-lookup>
<rate-limit calls="10" renewal-period="60" />
</inbound>
<outbound>
<llm-semantic-cache-store duration="300" />
<base />
</outbound>
</policies>
Önbelleğe alınan yanıtları aboneliğe, kiracıya, kullanıcı grubuna veya kullanıcılar arası verilerin açığa çıkmasını engelleyen başka bir sınıra göre bölümlemek için <vary-by> kullanın. Azure API Management ilke başvurusu, vary-by içindeki önbellek girişlerine kullanıcılar arası erişimi denetlemek için llm-semantic-cache-lookup kullanılmasını önerir.
Önerilen tasarım seçenekleri
Benzerlik eşiğini ayarlayın
Katı bir eşikle başlayın, sonuçları değerlendirin ve yalnızca test kümeniz önbelleğe alınmış yanıtların doğru kaldığını gösterdiğinde gevşetin. RedisVL distance_threshold , daha düşük değerlerin daha katı olduğu Redis COSINE uzaklık birimlerini [0-2]kullanır.
score-threshold Azure API Management, daha düşük değerlerin de daha yüksek semantik benzerlik gerektirdiği bir 0.0 - 1.0 aralığı kullanır. Birimlerini ve davranışlarını doğrulamadan RedisVL ile Azure API Management arasında eşik değerlerini kopyalamayın. RedisVL eşik ayrıntıları için redisVL SemanticCache API'sine bakın. Azure API Management eşik ayrıntıları için bkz. llm-semantic-cache-lookup.
Kullanım örneğine göre TTL ayarlama
Geçici veya yüksek riskli içerik için daha kısa TTL'ler ve kararlı içerik için daha uzun TTL'ler ayarlayın. Örneğin:
| Kullanım örneği | Örnek TTL |
|---|---|
| Ürün kullanılabilirliği, fiyatlandırma veya çalışma durumu | Saniyelerden dakikalara |
| Politika, uyumluluk veya yasal yardım | Dakikalardan saatlere kadar, ek incelemeyle |
| Ürün SSS'si veya herkese açık dokümantasyon | Saat-gün |
Azure API Management deposu ilkesi, TTL'yi llm-semantic-cache-store özniteliğiyle, duration içinde açıklandığı gibi ayarlar. RedisVL , SemanticCache'sinde açıklandığı gibi varsayılan ttl ve girdi başına TTL geçersiz kılmalarını destekler.
Önbellek girdilerini bölümlere ayırma ve sürümlendirme
Yanıtları yeniden kullanmadan önce önbellek girdilerini kiracıya, kullanıcı grubuna veya aboneliğe göre bölümleyin. Ayrıca, önbellek dizini adına, meta veriye, anahtar ön eke veya API Management vary-by değerine model kimliği, ekleme modeli kimliği, istem şablonu sürümü, araç yapılandırma sürümü ve güvenlik ilkesi sürümü de dahildir. Bir model veya prompt-template değişikliğinden sonra önbellek girdisinin yeniden kullanılması eski veya uyumsuz yanıtlar döndürebilir.
Önbelleğe alınmayacak zamanlara karar verme
Son derece kişiselleştirilmiş, düzenlenmiş, güvenlik açısından kritik, zamana duyarlı veya araçlardan veya işlemlerden kaynaklanan yan etkilere bağımlı istemler veya yanıtlar için anlamsal önbelleğe alma kullanmayın. Anlamsal önbelleğe alma, tam istem eşitliği yerine benzerliğe dayalı yanıtlar döndürdüğünden, Azure API Management önbelleğe alınan yanıtların geçerli istek için yanlış, güncelliğini yitirmiş veya güvenli olmayabileceği ve iş yükü için dikkatli bir şekilde değerlendirilmesi gerektiği konusunda uyarır. Daha fazla bilgi için bkz. llm-semantic-cache-lookup kullanım notları.
Önbellek davranışını izleyin
Önbellek isabet hızını, önbellek kaçırma oranını, arama gecikme süresini, arka uç LLM gecikme süresini, belirteç ve maliyeti azaltmayı, eşik uzaklığı dağılımını, eski yanıt raporlarını, güvenlik eskalasyonlarını, Redis bellek kullanımını, anahtar sayısını, yazma hatalarını ve önbellek işlemi hatalarını izleyin. Ağ geçidi düzeyinde önbelleğe alma için Azure API Management izleme ve ölçümleri kullanın. Uygulama düzeyinde önbelleğe alma için, arama sonucunu, eşik değerini, mevcutsa uzaklığı veya skoru, bölüm kimliğini, model sürümünü, istem sürümünü ve yanıtın önbellekten gelip gelmediğini günlüğe kaydedin.
Maliyeti, performansı ve ürün uyumunu anlama
Anlamsal önbelleğe alma düzgün çalıştığında, aynı veya benzer bir istem için depolanmış yanıt döndürerek yinelenen arka uç LLM çağrılarını, belirteç işlemeyi ve uçtan uca yanıt gecikme süresini azaltabilir. RedisVL, gereksiz LLM çağrılarını önleyerek API maliyetlerini ve gecikme süresini azaltmanın bir yolu olarak anlamsal önbelleğe almayı açıklar. Azure API Management semantik önbelleğe alma, bant genişliği ve arka uç işleme gereksinimlerini azaltmak ve API tüketicileri için daha düşük gecikme süresini azaltmak için de tasarlanmıştır. En büyük fayda, ürün SSS'leri, ilke kılavuzu, destek önceliklendirmesi, belge yardımcıları ve kararlı girdiler üzerinden oluşturulan özetler gibi yinelenen, kararlı soru ve yanıtlara sahip iş yüklerinde görülür.
Anlamsal önbelleğe alma, uygun olan her isteğe de iş ekler. Uygulamanın veya ağ geçidinin yine de gelen istem için bir embedding oluşturması, Redis vektör araması yapması, bölüm ve eşik kuralları uygulaması ve cache miss'leri depolaması gerekir. Önbellek isabetinde LLM çağrısından kaçınılır. Önbellek isabet etmediğinde, istek önbellek arama ek yükünü ve normal model çağrısını öder. Ek ekleme maliyeti, Redis belleği, dizin boyutu ve arama gecikme süresini planlayın ve yalnızca önbellek isabet hızından tasarruf etmek yerine üretim telemetrisiyle net etkiyi ölçün.
Anlamsal önbelleğe alma, Redis'in tek bir sohbet modeli sağlayıcısına bağlı olmak yerine istem gömmelerini, yanıtları ve meta verileri depolaması açısından LLM'den bağımsızdır. Önbellek, Microsoft Foundry veya diğer API uyumlu sağlayıcılar aracılığıyla kullanıma sunulan model API'leri de dahil olmak üzere farklı LLM API'lerinin önünde yer alabilir. Ancak, anlamsal önbellek dizini hem depolanan istemler hem de arama istemleri için aynı ekleme modelini, vektör boyutlarını ve uzaklık davranışını kullanmalıdır. Ayrıca önbelleği sohbet modeline, istem şablonuna, araç davranışına ve güvenlik ilkesine göre bölümleyerek veya sürümleyerek bir sözleşme kapsamında oluşturulan yanıtın başka bir sözleşme altında yeniden kullanılamaması gerekir.
Model çağrısı sınırını denetlediğiniz semantik önbelleğe alma özelliğini kullanın:
| Microsoft yapay zeka ürün alanı | Azure Yönetilen Redis ile anlamsal önbelleğe alma için uygundur |
|---|---|
| Microsoft 365 Copilot ve düşük kod/kod içermeyen Copilot Studio ajanları | Bu deneyimler yönetilen orkestrasyonu ve low-code geliştirmeyi vurguladığı için genellikle uygulama düzeyinde RedisVL önbelleğe alma için en uygun seçenek değildir. Aracı kendi API'nizi çağırıyorsa, Copilot yazma deneyimi yerine bu API sınırının arkasında önbelleğe almayı göz önünde bulundurun. |
| LLM API'lerinin önünde Azure API Management | Uygulama kodunu değiştirmeden merkezi, ilke tabanlı anlamsal önbelleğe alma istediğinizde uygun bir seçenektir. Dış önbellek olarak Azure Managed Redis ile llm-semantic-cache-store ve llm-semantic-cache-lookup kullanın. |
| Microsoft Foundry özel uygulamaları ve aracıları | Kodda özel yapay zeka uygulamaları, aracılar, araçlar veya düzenleme oluşturduğunuzda ve eşikler, TTL'ler, bölümler, model sürümleri, telemetri ve güvenlik kuralları üzerinde denetime ihtiyaç duyduğunuzda genellikle en uygun seçenektir. Uygulama katmanında RedisVL kullanın veya API sınırında Azure API Management kullanın. |
Üretimden önce doğrulama
Üretim trafiği için anlamsal önbelleğe almayı etkinleştirmeden önce:
- Eşleşmesi gereken ve eşleşmemesi gereken istemlerden oluşan bir test kümesi oluşturun.
- Seçtiğiniz önbellek yolunda test kümesini çalıştırın.
- Hatalı pozitif sonuçları, eski yanıtları, gecikme süresini ve belirteç tasarruflarını gözden geçirin.
- Gerektiğinde eşikleri, bölümleri, TTL'leri veya önbelleksiz kuralları sıkın.
- Ekleme modeli, sohbet modeli, istem şablonu, araç davranışı veya güvenlik ilkesi değiştiğinde doğrulamayı yineleyin.