Microsoft Döküm Modellerinde Azure OpenAI ile Esnek işleme kullanma (önizleme)

Esnek işleme (önizleme), daha yavaş yanıt sürelerine ve zaman zaman kaynak kullanılamazlığına dayanabilen iş yükleri için Standart işleme ile karşılaştırıldığında 50% indirimle çıkarım sağlar. service_tier öğesini flex olarak ayarlayarak tek bir Responses API veya Chat Completions API isteği için Flex işlemeyi seçin.

Model değerlendirmeleri, veri zenginleştirme, belge analizi ve zaman uyumsuz uygulama iş akışları gibi etkileşimsiz ve düşük öncelikli işler için Esnek işlemeyi kullanın. Gecikmeye duyarlı veya kapasiteye duyarlı iş yükleri için bunun yerine Standart işleme, Öncelik işleme veya sağlanan aktarım hızını kullanın.

Important

Flex işlemenin kullanıma sunulmasıyla, olarak ayarlanan service_tierflex istekler yalnızca seçilen model Flex işlemeyi desteklediğinde işlenir. Desteklenmeyen model bir HTTP 400 invalid_request_error döndürür ve Standart işlemeye geri dönmez. Esnek işleme için gecikme SLA'sı veya hizmet SLA'sı yoktur.

Prerequisites

Azure aboneliği. Ücretsiz bir tane oluşturun.
Genel Standart dağıtım türü kullanılarak dağıtılan desteklenen modele sahip bir Azure OpenAI kaynağı.
Kaynak uç noktası ve API anahtarı veya Microsoft Entra ID kimlik bilgileri. Bu makaledeki örneklerde ortam değişkeninde AZURE_OPENAI_API_KEY depolanan bir API anahtarı kullanılır.
Değişken gecikme süresine ve geçici kaynak kullanılamayan yanıtlara dayanabilen bir iş yükü.
Python örnekleri için Python 3.10 veya üzeri ve OpenAI Python paketi:
```
pip install --upgrade openai
```

Flex isteği gönderme

Flex işleme kullanması gereken her istekte flex değerini service_tier olarak ayarlayın. model Değer, Azure model dağıtımınızın adıdır.

Python

Aşağıdaki örnek, Yanıtlar API'sini kullanarak bir Flex isteği gönderir:

import os

from openai import OpenAI

AZURE_OPENAI_ENDPOINT = "https://YOUR-RESOURCE-NAME.openai.azure.com"

# Create a client with a longer timeout for Flex requests.
openai = OpenAI(
    base_url=f"{AZURE_OPENAI_ENDPOINT}/openai/v1/",
    api_key=os.environ["AZURE_OPENAI_API_KEY"],
    timeout=900.0,
)

# Send a request for Flex processing.
response = openai.responses.create(
    model="YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    input="Analyze these records and summarize the recurring themes.",
    service_tier="flex",
)

print(response.output_text)
print(f"Processed by service tier: {response.service_tier}")

<generated-analysis>
Processed by service tier: flex

Yanıt, oluşturulan analizi ve isteği işleyen hizmet katmanını içerir.

Başvuru:Yanıtlar API'si

REST

Aşağıdaki örnek aynı isteği doğrudan Yanıtlar API'sine gönderir:

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/responses \
  -H "Content-Type: application/json" \
  -H "api-key: $AZURE_OPENAI_API_KEY" \
  -d '{
    "model": "YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    "input": "Analyze these records and summarize the recurring themes.",
    "service_tier": "flex"
  }'

{
    "service_tier": "flex",
    "status": "completed",
    "output": [<response-output>]
}

İsteği hangi katmanın işlediğini doğrulamak için başarılı bir yanıttaki alanı denetleyin service_tier .

Başvuru:Yanıtlar API'si REST başvurusu

bir işleme seçeneği belirleyin

Flex, Standard ve Priority işleme, çevrimiçi API istekleri için hizmet katmanı seçenekleridir. Batch ve sağlanan aktarım hızı ayrı dağıtım ve satın alma seçenekleridir.

Option	Bunu nasıl seçersiniz?	Gecikme süresi ve kullanılabilirlik	Maliyet modeli	En iyi kullanım alanları
Esnek işleme	İstek düzeyini `service_tier` olarak `flex`ayarlayın.	Değişken gecikme süresi. Flex kapasitesi kullanılabilir olmadığında istekler HTTP 429 döndürebilir.	Standart belirteç oranlarına kıyasla %50 indirim. Önbelleğe alınmış belirteç indirimleri de geçerlidir.	Değerlendirmeler, zenginleştirme, çevrimdışı analiz ve gecikmeye dayanıklı arka plan çalışması.
Standart işleme	İstek düzeyini `service_tier` olarak `default`ayarlayın veya dağıtım için yapılandırılan Standart katmanı kullanın.	Genel iş yükleri için mümkün olan en iyi düzeyde çevrimiçi işleme.	Standart token başına ücret.	Değişken trafikli geliştirme, test ve üretim iş yükleri.
Öncelik işleme	Dağıtımda Önceliği yapılandırın veya istek düzeyini `service_tier` olarak `priority`ayarlayın.	Desteklenen modeller için tanımlanmış bir hedefle daha düşük ve daha tutarlı gecikme süresi.	Belirteç başına öncelikli ödeme oranı.	Ayrılmış kapasite taahhüdü olmayan gecikme süresine duyarlı çevrimiçi uygulamalar.
Batch	Batch dağıtımına eşzamansız bir toplu görev gönderin.	Sonuçların 24 saat içinde tamamlanması hedeflenir. Gerçek zamanlı gecikme hedefi yok.	İndirimli toplu işlem ücreti.	Anında yanıt gerektirmeyen büyük çevrimdışı işler.
Sağlanan aktarım hızı	Sağlanmış bir dağıtım oluşturun ve sağlanan işleme birimlerini (PTU’lar) satın alın veya rezerve edin.	Öngörülebilir aktarım hızı ve gecikme süresi ile ayrılmış kapasite.	Saatlik PTU faturalaması veya Azure rezervasyonu.	Yüksek hacimli, görev açısından kritik üretim iş yükleri.

Aşağıdaki koşulların tümü geçerli olduğunda Esnek işleme'yi seçin:

İş yükünüz daha uzun ve değişken işleme sürelerini tolere edebilir.
Tahmin edilebilir gecikme süresine göre daha düşük maliyeti tercih ediyorsunuz.
Uygulamanız geçici hataları yeniden deneyebilir veya başarısız bir isteği Standart işlemeye yönlendirebilir.
Seçilen model ve istek bağlamı desteklenir.

Aşağıdaki koşullardan herhangi biri geçerli olduğunda Flex işleme kullanmayın:

Bir kullanıcı etkileşimli yanıt bekliyor.
İsteğin katı bir gecikme süresi hedefi içinde tamamlanması gerekir.
Uygulamanız geçici HTTP 429 yanıtlarını tolere edemez veya yeniden deneyemez.
Ayrılmış işleme kapasitesine veya öngörülebilir aktarım hızına ihtiyacınız vardır.

Esnek işleme aşağıdaki özelliklere sahiptir:

İstek düzeyi seçimi: Flex işlemeyi kullanması gereken her istekte flex öğesini service_tier olarak ayarlayın.
Ayrı dağıtım yok: Standard ve Flex isteklerini aynı Genel Standart dağıtımına gönderin ve istek başına katmanı seçin.
Desteklenen API'ler: Yanıtlar API'sini veya Sohbet Tamamlamaları API'sini kullanın.
Zaman uyumlu yanıt: İş yükünün tamamlanması daha uzun sürse de API çağrısı zaman uyumlu kalır. Flex işleme, Batch API ile aynı değildir.
Kapasiteye bağlı kullanılabilirlik: Flex kapasitesi kullanılamadığında istek HTTP 429 döndürebilir.
Otomatik Standart'a geri dönüş yok: Standart işleme kabul edilebilirse, uygulamanız default değeri service_tier olarak ayarlanmış şekilde açıkça yeniden denemelidir.
Paylaşılan kota: Flex ve Standard istekleri, Genel Standart dağıtımına atanan kotayı kullanır.
Aynı model çıkış kalitesi: Flex, Standart ile aynı temel modeli kullanır. İşleme katmanı, model kalitesini değil gecikme süresini, kullanılabilirliği ve fiyatı değiştirir.

Note

Esnek giriş ve çıkış belirteçleri, ilgili Standart belirteç oranlarıyla karşılaştırıldığında 50% indirim alır. Uygun önbelleğe alınmış girdi belirteçleri de önbelleğe alınmış belirteçler için geçerli indirimden yararlanır. Güncel fiyatlar için Azure OpenAI fiyatlandırması sayfasına bakın.

Desteklenen modelleri gözden geçirme

Flex işleme, ilk sunulduğunda yalnızca sınırlı sayıda modelle kullanılabilir. gpt-5.6-sol desteklenen ilk modeldir. Aşağıdaki tabloda desteklenen modeller listelenmektedir. Microsoft destek sağlandıkça daha fazla model ekler.

Model	Version	Dağıtım türü	Bölgesel kullanılabilirlik
`gpt-6.1-sol`	`2026-09-29`	Genel Standart	Genel Standardın kullanılabildiği tüm Azure bölgeler
`gpt-6-sol`	`2026-09-22`	Genel Standart	Genel Standardın kullanılabildiği tüm Azure bölgeler
`gpt-6-luna`	`2026-09-22`	Genel Standart	Genel Standardın kullanılabildiği tüm Azure bölgeler
`gpt-6-astra`	`2026-09-03`	Genel Standart	Genel Standardın kullanılabildiği tüm Azure bölgeler
`gpt-5.6-sol`	`2026-07-09`	Genel Standart	Genel Standardın kullanılabildiği tüm Azure bölgeler
`gpt-5.6-luna`	`2026-07-09`	Genel Standart	Genel Standardın kullanılabildiği tüm Azure bölgeler
`gpt-5.6-terra`	`2026-07-09`	Genel Standart	Genel Standardın kullanılabildiği tüm Azure bölgeler

Flex isteği göndermeden önce bu tabloyu denetleyin. Standart veya Öncelik işlemeyi desteklediği için modelin veya yeni model sürümünün Flex işlemeyi desteklediğini varsaymayın. Desteklenmeyen bir model HTTP 400 döndürür. Uygulamanızı kesintiye uğratmamak için Standart fiyatlandırma ve performans kabul edilebilir olduğunda Standart işlemeye uygulama düzeyinde bir geri dönüş uygulayın.

Standart işlemeye geri dönün

Esnek işleme, Flex kapasitesi kullanılamadığında isteği otomatik olarak Standard'a yönlendirmez. İsteğin tamamlanması, Flex fiyatlandırmasını korumaktan daha önemliyse, default ögesini service_tier olarak ayarlayarak isteği yeniden deneyin.

Aşağıdaki örnekte tamamlanma öncelikli bir ilke kullanılır. İlk olarak Flex işlemeyi dener ve herhangi bir HTTP 429 yanıtlarından sonra Standart işleme ile bir kez yeniden dener:

import os

from openai import OpenAI, RateLimitError

AZURE_OPENAI_ENDPOINT = "https://YOUR-RESOURCE-NAME.openai.azure.com"

# Create a client with a longer timeout for Flex requests.
openai = OpenAI(
    base_url=f"{AZURE_OPENAI_ENDPOINT}/openai/v1/",
    api_key=os.environ["AZURE_OPENAI_API_KEY"],
    timeout=900.0,
)

request = {
    "model": "YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    "input": "Analyze these records and summarize the recurring themes.",
}

# Try Flex processing, and fall back to Standard after an HTTP 429 response.
try:
    response = openai.responses.create(**request, service_tier="flex")
except RateLimitError:
    response = openai.responses.create(**request, service_tier="default")

print(response.output_text)
print(f"Processed by service tier: {response.service_tier}")

<generated-analysis>
Processed by service tier: <flex-or-default>

Standard'a geri dönüş, isteğin fiyatlandırma ve performans özelliklerini değiştirir. Bu düzeni yalnızca iş yükü Standart fiyatlandırmayı kabul ettiğinde kullanın.

HTTP 429 yanıtı, kullanılamayan Flex kapasitesini veya kota sınırını gösterebilir. Flex ve Standard işlem paylaşımı kotası nedeniyle, özgün yanıta kota neden olduğunda Standart istek de başarısız olabilir. Yeniden deneme sınırlarını uygulayın ve uygulamanızda ikinci bir RateLimitError işleyin. Hizmet Flex'e özgü hata tanımlayıcısını döndürdüğünde geri dönüşü kapasiteyle ilgili yanıtlarla sınırlamak için bunu kullanın.

En düşük maliyete öncelik veren iş yükleri için geri çekilmeden önce üstel geri alma ile Flex işlemeyi yeniden deneyin. Tamamlanma süresine öncelik veren iş yükleri için ilk Flex kapasite hatasından sonra Standart'a geri dönün.

Referans:RateLimitError

Flex hatalarını işleme

Kalıcı istek hatalarını geçici kapasite hatalarından ayırt edin.

HTTP durumu	Error	Cause	Önerilen işleme
400	`invalid_request_error`	Seçilen model, model sürümü, bağlam uzunluğu, API veya istek yapılandırması Flex işlemeyi desteklemez.	Aynı isteği değiştirmeden yeniden denemeyin. Desteklenen bir model veya bağlam uzunluğu seçin ya da `default` öğesini `service_tier` olarak açıkça ayarlayarak yeniden deneyin.
408	İstek zamanaşımı	İstek, yapılandırılan istemci veya hizmet zaman aşımı içinde tamamlanmadı. Esnek istekler Standart isteklerden daha uzun sürebilir.	Daha uzun bir istemci zaman aşımı kullanın. Sınırlandırılmış üstel geri çekilme ile yeniden deneyin. Tamamlanma süresi Flex fiyatlandırmasından daha önemliyse Standart'ı yeniden deneyin.
429	Kaynak kullanılamıyor veya hız sınırlı	Esnek kapasite geçici olarak kullanılamıyor veya istek geçerli bir hız sınırını aştı. Esnek kapasite önceden ayarlanabilir olduğundan yoğun saatlerde geçici kullanım dışı olma olasılığı daha yüksektir.	İstek bir hız sınırını aştıysa, daha fazla kota atayarak Genel Standart dağıtımının hız sınırını artırın. Flex ve Standard bu kotayı paylaşır. Aboneliğin büyük aktarım hızına sahip bir iş yükü için yeterli kotası yoksa kota artışı isteyin. Flex kapasitesi geçici olarak kullanılamıyorsa, üstel geri çekilme ve rastgeleleştirme ile yeniden deneyin, gecikmeye toleranslı işleri hafta içi geceleri veya hafta sonları gibi yoğunluğun düşük olduğu dönemlere dağıtın ya da `defaultservice_tier` olarak ayarlanmış şekilde yeniden deneyin. Varsa `Retry-After` değerini dikkate alın.
500, 502, 503 veya 504	Geçici hizmet hatası	Geçici bir hizmet veya ağ geçidi sorunu tamamlanmasını engelledi.	Sınırlandırılmış üstel geri çekilme ile yeniden deneyin. Sınırsız sayıda yeniden deneme göndermeyin.
401 veya 403	Kimlik doğrulaması veya yetkilendirme hatası	Kimlik bilgisi eksik, geçersiz, süresi dolmuş veya kaynağa erişimi yok.	Kimlik bilgilerini veya rol atamasını düzeltin. Yapılandırma değişene kadar yeniden denemeyin.
404	Dağıtım bulunamadı	Dağıtım adı veya uç noktası yanlış.	`model` öğesinin dağıtım adıyla eşleştiğini ve temel URL’nin doğru Azure OpenAI kaynağına işaret ettiğini doğrulayın.

Note

İşleme kapasitesi kullanılamadığından reddedilen bir Flex isteği ücretlendirilmez. Ancak, Flex ve Standard istekleri Global Standard dağıtımına ayrılan kotayı paylaştığından, kullanılabilir oran sınırı kapasitesinin daha düşük olduğunu fark edebilirsiniz.

HTTP 408, 429 ve geçici 5xx yanıtları için rastgele sapmalı üstel geri çekilme kullanın. Başarısız bir isteğin ilişkisiz bir yeniden deneme döngüsünde kalmaması için en yüksek yeniden deneme sayısını ve en fazla gecikmeyi ayarlayın.

Yanıt Retry-After içerdiğinde bunu koruyun.
Aksi takdirde, rastgele değişim ile üstel olarak artan bir gecikme bekleyin.
Yalnızca gecikme iş yükü için kabul edilebilir durumdayken Flex'i yeniden deneyin.
Yeniden deneme bütçesi tükenirse ve uygulama daha yüksek Standart maliyete izin veriyorsa Standart'a geri dönün.
Gecikmeli Flex işleme de Standard yedek çözüm de uygulamanın gereksinimlerini karşılamıyorsa açık bir hata döndürün.

Desteklenmeyen Flex isteğini tekrar tekrar yeniden denemeyin. Yeniden deneme yalnızca modeli, bağlam uzunluğunu, API yapılandırmasını veya hizmet katmanını değiştirdikten sonra başarılı olur.

Kullanımı ve maliyetleri izleme

Aynı dağıtımdaki Flex ve Standard trafiğini karşılaştırmak için Azure İzleyici ölçümlerini kullanın. İstek hacmini, belirteç tüketimini, gecikme süresini, hataları ve Flex isteklerinin uygulamanızda Standart'a dönüş hızını izleyin.

Azure portalınaoturum açın.
Azure OpenAI kaynağınıza gidin ve Ölçümler'i seçin.
Azure OpenAI İstekleri ölçümünü ekleyin. Azure OpenAI Gecikme Süresi, Azure OpenAI Kullanımı ve hata ölçümleri de ekleyebilirsiniz.
ServiceTierRequest'in değerine eşit flexolduğu bir filtre ekleyin.
Sürekli HTTP 429 yanıtları, artan hata oranları ve iş yükünüzün yeniden deneme bütçesini aşan gecikme süresi için uyarılar oluşturun.

Her iş yükü için aşağıdaki sinyalleri izleyin:

Sinyal	Neden önemlidir?
Flex istek sayısı	Daha düşük maliyetli işleme yönlendirilen trafiği ve benimsenme oranını gösterir.
Başarılı Flex istek oranı	Flex kapasitesinin istekleri kabul etme ve tamamlama sıklıklarını gösterir.
HTTP 429 oranı	Flex kapasitesinin veya dağıtım kotalarının kısıtlandığı dönemleri gösterir.
Standart geri dönüş sayısı ve oranı	Uygulama denetimli geri dönüşün sağladığı güvenilirlik avantajını ve buna bağlı ek maliyeti gösterir.
Giriş, önbelleğe alınan giriş ve çıkış belirteçleri	Maliyet atfını destekler ve istem önbelleğinin etkisini doğrular.
Uçtan uca gecikme süresi	Bir iş yükünün Flex için uygun olup olmadığını belirlemeye yardımcı olur.
HTTP 400 `invalid_request_error` sayısı	Desteklenmeyen modelleri, model sürümlerini, bağlam uzunluklarını veya istek yapılandırmalarını tanımlar.

Model dağıtımlarını izleme hakkında daha fazla bilgi için bkz. Azure OpenAI’ı İzleme.

Esnek kullanım, standart kullanımdan ayırt edebilmeniz için özel Flex sayaçlarında faturalandırılır. Kaynağa ve dağıtıma göre Esnek belirteç maliyetlerini gözden geçirmek için Maliyet Analizi'ni kullanın.

Azure portalındaMaliyet Yönetimi + FaturalamaMaliyet analizi'ni> açın.
Dağıtımı içeren aboneliğe, kaynak grubuna veya Azure OpenAI kaynağına filtre uygulayın.
Flex kullanımını Standart kullanımdan ayırmak için Ölçüme göre gruplandırma veya filtreleme.
Bir faturalama etiketi filtresi ekleyin, dağıtım seçeneğini belirleyin ve dağıtım adını seçin.
Flex maliyet tasarruflarını Standart geri dönüş maliyetleri ve iş yükünün tamamlama gereksinimleriyle karşılaştırın.

Flex giriş ve çıkış belirteçleri, ilgili Standard ücretlerin %50’si üzerinden fiyatlandırılır. İstem önbellekleme, uygun önbelleğe alınmış giriş belirteçlerinin maliyetini daha da azaltabilir. İşleme kapasitesi kullanılamadığından reddedilen bir Flex isteği ücretlendirilmez.

En iyi üretim uygulamalarını uygulama

Daha uzun bir zaman aşımı ayarlayın. Esnek istekler Standart isteklerden daha uzun sürebilir. 15 dakika gibi iş yükünüz için uygun bir istemci zaman aşımıyla başlayın ve temsili istemlerle test edin.
Sınırlı sayıda yeniden deneme kullanın. Yeniden deneme denemelerini ve geçen toplam süreyi sınırlayın.
Titreme ekleyin. Eşzamanlı yeniden deneme yoğunlaşmalarını önlemek için geri çekilme sürelerini rastgeleleştirin.
Yedek seçeneği açıkça belirtin. Örtük davranışa güvenmek yerine, default değerini service_tier olarak ayarlayın.
İşlenen katmanı izleyin. Yanıt service_tier değerini gecikme süresi, durum, belirteç kullanımı ve maliyet verileriyle kaydedin.
Etkileşimli ve arka plan trafiğini ayırın. Değişken Flex gecikmesi kabul edilebilir değilse, kullanıcıya yönelik istekleri Standart, Öncelik veya ayrılmış aktarım hızı üzerinde tutun.
Yinelenen çalışmayı denetleme. İstemci tarafı zaman aşımlarından sonra uygulamanın aynı mantıksal işi birden fazla kez göndermediğinden emin olun.
Test hatası yolları. Üretim iş akışlarında Flex işlemeyi kullanmadan önce HTTP 400, 408, 429 ve geçici 5xx yanıtları için işlemeyi doğrulayın.
Yükseltmelerden önce model desteğini gözden geçirin. Yeni model veya model sürümü Flex desteğini otomatik olarak devralmaz.

Hizmet katmanını istek üst bilgisi ile geçersiz kılma

x-ms-service-tier Bir ağ geçidi, ara sunucu veya merkezi yönlendirme katmanının istek gövdesini incelemeden veya değiştirmeden hizmet katmanını seçmesi gerektiğinde istek üst bilgisini kullanın. Başlık, zaten bir OpenAI hizmet katmanını istek başlığı aracılığıyla seçen uygulamalar için geçiş sırasında gereken değişiklikleri de azaltabilir.

Üst bilgi aşağıdaki değerleri kabul eder:

Başlık değeri	İstenen işleme katmanı
`flex`	Flex
`priority`	Priority
`default`	Standart
`auto`	Priority

Başlık varsa ve geçerliyse, istek gövdesindeki service_tier değerine göre öncelik kazanır.

Üst bilgi girişi	İstek gövdesi girişi	Davranış ve çıktı
Başlık çıkarıldı	Geçerli `service_tier` değer	İstek gövdesi katmanı belirler. Başarılı bir yanıt, işlenen katmanı `service_tier` içinde belirtir.
Geçerli üstbilgi değeri	Herhangi bir değer veya boş bırakılmış	Başlık, istenen düzeyi seçer. Başarılı bir yanıt, işlenen katmanı `service_tier` içinde belirtir.
Desteklenmeyen üstbilgi değeri	Herhangi bir değer veya boş bırakılmış	İstek HTTP 400 döndürür. Hizmet, istek gövdesi değerine geri dönmez.

Bu örnek, başlık üzerinden Flex işlemi ister. Başlık, istek gövdesindeki default değerini geçersiz kılar:

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/responses \
  -H "Content-Type: application/json" \
  -H "api-key: $AZURE_OPENAI_API_KEY" \
  -H "x-ms-service-tier: flex" \
  -d '{
    "model": "YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    "input": "Analyze these records and summarize the recurring themes.",
    "service_tier": "default"
  }'

{
    "service_tier": "flex",
    "status": "completed",
    "output": [<response-output>]
}

Ezme üst bilgisi otomatik geri dönüş sunmaz. Seçilen dağıtımın desteklemediği geçersiz bir üst bilgi değeri veya katman HTTP 400 döndürür.

Geri Bildirim

Bu sayfayı yararlı buldunuz mu?

Son güncelleştirme: 2026-10-12