Aracılığıyla paylaş

Verilerinizde OpenAI Azure (klasik)

Uyarı

Bu belge , Microsoft Foundry (klasik) portalını ifade eder.

Yeni portal hakkında bilgi edinmek için Microsoft Foundry (yeni) belgelerini görüntüleyin.

Önemli

Azure OpenAI Verilerinizde özelliği kullanım dışı bırakıldı ve emekliliğe yaklaşıyor.

Microsoft, Azure OpenAI Verilerinizde yeni modelleri dahil etmeyi durdurdu. Bu özellik yalnızca aşağıdaki modelleri destekler:

  • GPT-4o (sürüm 2024-05-13, 2024-08-06 ve 2024-11-20)
  • GPT-4o-mini (sürüm 2024-07-18)
  • GPT-4.1, GPT-4.1-mini ve GPT-4.1-nano (sürüm 2025-04-14)

GPT-4.1 modelleri kullanımdan kaldırıldığında, tüm Azure OpenAI On Your Data API uç noktaları ve desteklenen veri kaynağı bağlayıcıları çalışmayı durdurur.

Verilerinizden içerik almak ve temellendirilmiş yanıtlar oluşturmak için Azure OpenAI iş yüklerini Foundry IQ ile Foundry Agent Service'e geçirmenizi öneririz. Başlamak için Dökümhane IQ bilgi bankasını bağlayın kısmına bakın.

Verilerinizde Azure OpenAI hakkında bilgi edinmek için bu makaleyi kullanın; bu araç, geliştiricilerin kurumsal verileri hızlı bir şekilde bağlamalarını, içeri aktarmalarını ve temel oluşturmalarını kolaylaştırarak kişiselleştirilmiş yardımcı pilotlar (önizleme) oluşturmalarına olanak tanır. Kullanıcı kavramayı geliştirir, görev tamamlama sürecini hızlandırir, operasyonel verimliliği artırır ve karar alma sürecine yardımcı olur.

Verilerinizde Azure OpenAI nedir?

Verilerinizde OpenAI Azure, modelleri eğitmeye veya ince ayar yapmaya gerek kalmadan GPT-35-Turbo ve GPT-4 gibi gelişmiş yapay zeka modellerini kendi kurumsal verilerinizde çalıştırmanıza olanak tanır. Üzerinde sohbet edebilir ve verilerinizi daha doğru bir şekilde analiz edebilirsiniz. Belirlenen veri kaynaklarınızda bulunan en son bilgilere göre yanıtları destekleyecek kaynakları belirtebilirsiniz. Azure OpenAI'ye Verilerinizde REST API, SDK veya web tabanlı arabirim aracılığıyla Microsoft Foundry portalında erişebilirsiniz. Ayrıca, gelişmiş bir sohbet çözümünü etkinleştirmek için verilerinize bağlanan bir web uygulaması oluşturabilir veya doğrudan Copilot Studio'da (önizleme) copilot olarak dağıtabilirsiniz.

Verilerinizde Azure OpenAI ile geliştirme

Örnek iş akışını gösteren diyagram.

Normalde, Verilerinizde OpenAI Azure ile kullanacağınız geliştirme süreci şu şekildedir:

  1. İçe Aktarma: Dosyaları Foundry portalını veya veri toplama API'sini kullanarak yükleyin. Bu sayede verileriniz Azure OpenAI modelleri tarafından kullanılabilecek bir Azure Yapay Zeka Arama örneğine bölünebilir, öbeklenebilir ve eklenebilir. Desteklenen bir veri kaynağınız varsa doğrudan da bağlayabilirsiniz.

  2. Develop: Verilerinizde OpenAI'yi Azure çalıştıktan sonra, çeşitli dillerde kullanılabilen kullanılabilir REST API ve SDK'ları kullanarak uygulamanızı geliştirmeye başlayın. Azure OpenAI hizmetine iletmek için komut istemleri ve arama amaçları oluşturur.

  3. Inference: Uygulamanız tercih ettiğiniz ortama dağıtıldıktan sonra, Azure OpenAI'ye istemler gönderir, ve Azure OpenAI bir yanıt döndürmeden önce birkaç adım gerçekleştirir.

    1. Amaç oluşturma: Hizmet, kullanıcının uygun yanıtı belirleme isteminin amacını belirler.

    2. Alma: Hizmet, bağlı veri kaynağındaki kullanılabilir verilerin ilgili öbeklerini sorgulayarak alır. Örneğin, anlamsal veya vektör araması kullanarak. Alma işlemini etkilemek için katılık ve alınacak belge sayısı gibi parametreler kullanılır.

    3. Filtreleme ve yeniden sıralama: Alaka düzeyini artırmak için getirme aşamasındaki arama sonuçları sıralanır ve filtrelenir.

    4. Yanıt oluşturma: Elde edilen veriler, sistem iletisi gibi diğer bilgilerle birlikte Büyük Dil Modeli'ne (LLM) gönderilir ve yanıt uygulamaya geri gönderilir.

Başlamak için, Foundry portalını kullanarak veri kaynağınızı bağlayın ve sorularınız sorup verileriniz üzerinde sohbet etmeye başlayın.

Azure'da veri kaynakları eklemek için Azure RBAC (Rol Tabanlı Erişim Denetimleri)

Azure OpenAI'yi verilerinizde tam olarak kullanmak için bir veya daha fazla Azure RBAC rolü ayarlamanız gerekiyor. Daha fazla bilgi için bkz. Azure OpenAI On Your Data configuration.

Veri biçimleri ve dosya türleri

Verilerinizde OpenAI Azure aşağıdaki dosya türlerini destekler:

  • .txt
  • .md
  • .html
  • .docx
  • .pptx
  • .pdf

Karşıya yükleme sınırı vardır ve belge yapısı ve bunun modelden gelen yanıtların kalitesini nasıl etkileyebileceği hakkında bazı uyarılar vardır:

  • Desteklenmeyen bir biçimdeki verileri desteklenen bir biçime dönüştürüyorsanız dönüştürmeyi sağlayarak model yanıtının kalitesini iyileştirin:

    • Önemli veri kaybına yol açmaz.
    • Verilerinize beklenmeyen gürültü eklemez.

  • Dosyalarınızın tablolar ve sütunlar veya madde işaretleri gibi özel biçimlendirmeleri varsa, verilerinizi GitHub üzerinde sağlanan veri hazırlama betiğiyle hazırlayın.

  • Uzun metne sahip belgeler ve veri kümeleri için kullanılabilir veri hazırlama betiğini kullanmanız gerekir. Betik, modelin yanıtlarının daha doğru olması için verileri böler. Bu betik taranan PDF dosyalarını ve görüntülerini de destekler.

Desteklenen veri kaynakları

Verilerinizi karşıya yüklemek için bir veri kaynağına bağlanmanız gerekir. Azure OpenAI modeliyle sohbet etmek için verilerinizi kullanmak istediğinizde, ilgili verilerin kullanıcı sorgularını temel alarak bulunabilmesi için verileriniz bir arama dizininde öbek halinde bulunur.

Uyarı

En iyi sonuçlar için verileriniz yapılandırılmamış metin olmalıdır. Metinsel olmayan yarı yapılandırılmış veya yapılandırılmış verileriniz varsa bunları metne dönüştürmeyi göz önünde bulundurun. Dosyalarınızın tablolar ve sütunlar veya madde işaretleri gibi özel biçimlendirmeleri varsa, verilerinizi GitHub üzerinde sağlanan veri hazırlama betiğiyle hazırlayın.

vCore tabanlı Azure Cosmos DB for MongoDB'deki Integrated Vector Database, Verilerinizdeki Azure OpenAI ile tümleştirmeyi yerel olarak destekler.

Yerel makinenizden dosya yükleme (önizleme) veya blob depolama hesabında (önizleme) bulunan veriler gibi bazı veri kaynakları için Azure Yapay Zeka Arama kullanılır. Aşağıdaki veri kaynaklarını seçtiğinizde verileriniz bir Azure Yapay Zeka Arama dizinine alınır.

Azure Yapay Zeka Arama aracılığıyla alınan veriler Description
Azure Yapay Zeka Arama Azure Yapay Zeka Arama'te mevcut bir dizini verilerinizle kullanarak Azure OpenAI'yi çalıştırın.
Dosyaları yükle (Önizleme) Yerel makinenizden dosyaları karşıya yükleyerek Azure Blob Depolama veritabanında depolanması ve Azure Yapay Zeka Arama'e alınması için hazırlayın.
URL/Web adresi (önizleme) URL'lerdeki web içeriği Azure Blob Depolama depolanır.
Azure Blob Depolama (önizleme) Azure Blob Depolama'den Azure Yapay Zeka Arama dizinine alınmak üzere dosyaları yükleyin.

Vektör dizin oluşturma hizmetlerinin diyagramı.

Bir Copilot’a (önizleme), Teams uygulamasına (önizleme) veya web uygulamasına dağıtma

Azure OpenAI'yi verilerinize bağladıktan sonra, Foundry portal içindeki Deploy to düğmesini kullanarak dağıtabilirsiniz.

Foundry portalında model dağıtım düğmesini gösteren ekran görüntüsü.

Bu, çözümünüzü dağıtmak için birden çok seçenek sunar.

Copilot Studio'da (önizleme) doğrudan Foundry portalından bir copilot dağıtarak, Microsoft Teams, web siteleri, Dynamics 365 ve Azure Bot Hizmeti'in diğer kanallarına çeşitli konuşma deneyimleri getirmenizi sağlayabilirsiniz. Azure OpenAI ve Copilot Studio (önizleme) için kullanılan kiracı hesabı aynı olmalıdır. Daha fazla bilgi için bkz. Verilerinizde OpenAI Azure bağlantısını kullanma.

Uyarı

Copilot Studio'da bir copilot'u yalnızca ABD bölgelerinde önizleme olarak dağıtmak mümkündür.

Verileriniz Üzerinde Azure OpenAI için Erişim ve Ağ Yapılandırma

Verilerinizde Azure OpenAI'yi kullanabilir ve Microsoft Entra ID rol tabanlı erişim denetimi, sanal ağlar ve özel uç noktalar ile veri ve kaynaklarınızı koruyabilirsiniz. Ayrıca, Azure Yapay Zeka Arama güvenlik filtreleri olan farklı kullanıcılar için yanıtlarda kullanılabilecek belgeleri kısıtlayabilirsiniz. Bkz. Azure OpenAI Verilere Erişim ve Ağ Yapılandırması.

En iyi yöntemler

Model tarafından verilen yanıtların kalitesini artırmayı öğrenmek için aşağıdaki bölümleri kullanın.

Alma parametresi

Verileriniz Azure Yapay Zeka Arama'e aktarılırken, stüdyo veya ingestion API'da aşağıdaki ek ayarları değiştirebilirsiniz.

Öbek boyutu (önizleme)

Azure OpenAI On Your Data, belgelerinizi içermeden önce parçalar halinde bölerek işler. Öbek boyutu, arama dizinindeki herhangi bir öbek için belirteç sayısı bakımından en büyük boyutdur. Öbek boyutu ve alınan belge sayısı, modele gönderilen istemde ne kadar bilgi (belirteç) olduğunu denetler. Genel olarak, alınan belge sayısıyla çarpılan öbek boyutu, modele gönderilen toplam belirteç sayısıdır.

Kullanım örneğiniz için öbek boyutunu ayarlama

Varsayılan öbek boyutu 1.024 belirteçtir. Ancak, verilerinizin benzersizliği göz önünde bulundurulduğunda farklı bir öbek boyutunu (256, 512 veya 1.536 belirteç gibi) daha etkili bulabilirsiniz.

Öbek boyutunu ayarlamak sohbet botunuzun performansını artırabilir. En uygun öbek boyutunu bulmak için deneme ve hata gerekirken veri kümenizin doğasını göz önünde bulundurarak işe başlayın. Daha küçük bir öbek boyutu genellikle doğrudan olgular ve daha az bağlam içeren veri kümeleri için daha iyidir, ancak daha büyük bir öbek boyutu daha bağlamsal bilgiler için yararlı olabilir, ancak alma performansını etkileyebilir.

256 gibi küçük bir öbek boyutu daha ayrıntılı öbekler üretir. Bu boyut, modelin çıkışını oluşturmak için daha az belirteç kullanacağı anlamına da gelir (alınan belge sayısı çok yüksek olmadığı sürece), potansiyel olarak daha düşük maliyetlidir. Daha küçük öbekler, modelin uzun metin bölümlerini işlemeye ve yorumlamaya ihtiyaç duymaması anlamına gelir ve bu da gürültüyü ve dikkat dağınıklığını azaltır. Ancak bu ayrıntı düzeyi ve odak olası bir sorun oluşturur. Özellikle alınan belge sayısı 3 gibi düşük bir değere ayarlanmışsa önemli bilgiler en çok alınan öbekler arasında yer almayabilir.

Tavsiye

Öbek boyutunu değiştirmenin belgelerinizin yeniden alınmasını gerektirdiğini unutmayın, bu nedenle öncelikle katılık ve alınan belge sayısı gibi çalışma zamanı parametrelerini ayarlamanız yararlı olur. hala istenen sonuçları alamıyorsanız öbek boyutunu değiştirmeyi göz önünde bulundurun:

  • Belgelerinizde olması gereken yanıtlarla ilgili sorular için "Bilmiyorum" gibi çok sayıda yanıtla karşılaşıyorsanız ayrıntı düzeyini artırmak için öbek boyutunu 256 veya 512'ye düşürmeyi göz önünde bulundurun.
  • Sohbet botu bazı doğru ayrıntıları sağlıyorsa ancak alıntılarda belirgin hale gelen diğerlerini eksikse öbek boyutunu 1.536'ya yükseltmek daha bağlamsal bilgilerin yakalanmasına yardımcı olabilir.

Çalışma zamanı parametreleri

Aşağıdaki ek ayarları Dökümhane portalınınVeri parametreleri bölümünde ve API'de değiştirebilirsiniz. Bu parametreleri güncellediğinizde verilerinizi yeniden tekrar almak zorunda kalmazsınız.

Parametre adı Description
Verilerinize yanıtları sınırlama Bu bayrak, sohbet botunun veri kaynağıyla ilgisi olmayan sorguları işleme yaklaşımını veya tam bir yanıt için arama belgelerinin yetersiz olduğu durumlarda yapılandırılır. Bu ayar devre dışı bırakıldığında model, yanıtlarını belgelerinize ek olarak kendi bilgileriyle tamamlar. Bu ayar etkinleştirildiğinde, model yalnızca yanıtlar için belgelerinize güvenmeye çalışır. Bu, API'deki parametredir ve varsayılan olarak true olarak ayarlanır.
Alınan belgeler Bu parametre 3, 5, 10 veya 20 olarak ayarlanabilen bir tamsayıdır ve son yanıtı formüle etmek için büyük dil modeline sağlanan belge öbeklerinin sayısını denetler. Varsayılan olarak, bu değer 5 olarak ayarlanır. Arama işlemi gürültülü olabilir ve bazen öbekleme nedeniyle ilgili bilgiler arama dizinindeki birden çok öbeklere yayılabilir. 5 gibi bir top-K numarası seçmek, arama ve öbekleme sınırlamalarına rağmen modelin ilgili bilgileri ayıklayabilmesini sağlar. Ancak, sayıyı çok yüksek artırmak modelin dikkatini dağıtabilir. Ayrıca, etkili bir şekilde kullanılabilecek en fazla belge sayısı modelin sürümüne bağlıdır, her biri belgeleri işlemek için farklı bir bağlam boyutuna ve kapasiteye sahiptir. Yanıtların önemli bağlamı eksik olduğunu fark ederseniz bu parametreyi artırmayı deneyin. Bu, API'deki parametredir ve varsayılan olarak 5'tir.
Katılık Sistemin, benzerlik puanlarına göre arama belgelerini filtrelemedeki kararlılığını belirler. Sistem, Arama Azure veya diğer belge depolarını sorgular, ardından ChatGPT gibi büyük dil modellerine hangi belgelerin sağlandığına karar verir. Ilgisiz belgeleri filtrelemek, uçtan uca sohbet botunun performansını önemli ölçüde artırabilir. Bazı belgeler, modele iletmeden önce düşük benzerlik puanlarına sahipse ilk K sonuçlarının dışında tutulur. Bu, 1 ile 5 arasında bir tamsayı değeriyle denetleniyor. Bu değerin 1 olarak ayarlanması, sistemin kullanıcı sorgusuna yönelik arama benzerliğine göre belgeleri en az şekilde filtreleyeceği anlamına gelir. Buna karşılık, 5 ayarı sistemin belgeleri agresif bir şekilde filtreleyerek çok yüksek bir benzerlik eşiği uygulayacağını gösterir. Sohbet botunun ilgili bilgileri atladığını fark ederseniz, daha fazla belge eklemek için filtrenin katılığını (değeri 1'e yakın olarak ayarlayın) düşürebilirsiniz. Buna karşılık, ilgisiz belgeler yanıtların dikkatini dağıtıyorsa eşiği artırın (değeri 5'e yakın ayarlayın). Bu, API'deki parametredir ve varsayılan olarak 3 olarak ayarlanır.

Alıntılanmamış kaynaklar

Belge kaynağından alınmış ancak alıntıya dahil edilmemiş belgeler için modelin API'de yerine döndürmesi mümkündür. Bu hata ayıklama için yararlı olabilir ve bu davranışı, yukarıda açıklanan katılık ve alınan belgeler çalışma zamanı parametrelerini değiştirerek denetleyebilirsiniz.

Sistem iletisi

Verilerinizde OpenAI Azure kullanırken modelin yanıtını yönlendirmek için bir sistem iletisi tanımlayabilirsiniz. Bu mesaj, Azure OpenAI On Your Data'nın kullandığı, veri alımını artırarak oluşturma (RAG) modelinin üzerine yanıtlarınızı özelleştirmenizi sağlar. Sistem iletisi, deneyimi sağlamak için bir iç temel isteme ek olarak kullanılır. Bunu desteklemek için, modelin verilerinizi kullanarak soruları yanıtlayabilmesini sağlamak amacıyla sistem mesajını belirtilen belirteç sayısından sonra kesiyoruz. Varsayılan deneyimin üzerine ek davranış tanımlıyorsanız sistem isteminizin ayrıntılı olduğundan ve tam olarak beklenen özelleştirmeyi açıkladığınızdan emin olun.

Veri kümenizi eklemeyi seçtikten sonra, Dökümhane portalındakiSistem iletisi bölümünü veya kullanabilirsiniz.

Dökümhane portalında sistem iletisi seçeneğini gösteren ekran görüntüsü.

Olası kullanım desenleri

Rol tanımlama

Yardımcınızın olmasını istediğiniz bir rol tanımlayabilirsiniz. Örneğin, bir destek botu oluşturuyorsanız "Kullanıcıların yeni sorunları çözmesine yardımcı olan uzman bir olay destek yardımcısısınız" ekleyebilirsiniz .

Alınan veri türünü tanımlama

Ayrıca, sağladığınız verilerin doğasını yardımcıya da ekleyebilirsiniz.

  • "Finansal rapor", "akademik rapor" veya "olay raporu" gibi veri kümenizin konusunu veya kapsamını tanımlayın. Örneğin, teknik destek için "Alınan belgelerde benzer olaylardan gelen bilgileri kullanarak sorguları yanıtlayabilirsiniz" ekleyebilirsiniz .
  • Verileriniz belirli özelliklere sahipse bu ayrıntıları sistem iletisine ekleyebilirsiniz. Örneğin, belgeleriniz Japonca ise , "Japonca belgeleri alırsınız ve bunları Japonca dilinde dikkatlice okumalı ve Japonca yanıtlamalısınız" ekleyebilirsiniz .
  • Belgeleriniz finansal rapordaki tablolar gibi yapılandırılmış veriler içeriyorsa, bu olguyu sistem istemine de ekleyebilirsiniz. Örneğin, verilerinizde tablolar varsa "Size finansal sonuçlarla ilgili tablolar biçiminde veriler verilmiştir ve kullanıcı sorularını yanıtlamak için hesaplamalar yapmak için tabloyu satır satır okumanız gerekir" ekleyebilirsiniz .

Çıkış stilini tanımlama

Bir sistem iletisi tanımlayarak modelin çıkışını da değiştirebilirsiniz. Örneğin, yardımcı yanıtlarının Fransızca olduğundan emin olmak istiyorsanız, "Fransızca bilgi bulabilen kullanıcıların bilgi bulmasına yardımcı olan bir yapay zeka yardımcısısınız. Kullanıcı soruları İngilizce veya Fransızca olabilir. Lütfen alınan belgeleri dikkatlice okuyun ve Fransızca yanıtlayın. Tüm yanıtların Fransızca olduğundan emin olmak için lütfen belgelerdeki bilgileri Fransızcaya çevirin."

Kritik davranışı yeniden doğrulama

Azure Verilerinizde OpenAI, büyük bir dil modeline verilerinizi kullanarak kullanıcı sorgularını yanıtlamaya yönelik istemler biçiminde yönergeler göndererek çalışır. Uygulama için kritik öneme sahip belirli bir davranış varsa, doğruluğunu artırmak için sistem iletisinde davranışı yineleyebilirsiniz. Örneğin, modeli yalnızca belgelerden yanıt almaya yönlendirmek için şunları ekleyebilirsiniz: "Lütfen yalnızca alınan belgeleri kullanarak ve bilginizi kullanmadan yanıtlayın. Lütfen yanıtınızdaki her talebin belgelerini almak için alıntılar oluşturun. Kullanıcı sorusu alınan belgeler kullanılarak yanıtlanamıyorsa, lütfen belgelerin kullanıcı sorgularıyla neden ilgili olduğunu açıklayın. Her durumda, kendi bilginizi kullanarak cevap verme."

Uyarı

Sistem iletisi, alınan belgelere göre GPT yardımcısı'nın bir kullanıcı sorusuna nasıl yanıt vereceğini değiştirmek için kullanılır. Alma işlemini etkilemez. Alma işlemiyle ilgili yönergeler sağlamak isterseniz, bunları sorulara dahil etmek daha iyidir. Sistem iletisi yalnızca rehberliktir. Model, nesnellik gibi belirli davranışlarla şekillendirilmiş olduğu ve tartışmalı ifadelerden kaçındığı için belirtilen her yönergeye uymayabilir. Sistem iletisi bu davranışlarla çelişirse beklenmeyen davranışlar oluşabilir.

Yanıtları verilerinize sınırlayın

Bu seçenek modelin yalnızca verilerinizi kullanarak yanıt vermesini teşvik eder ve varsayılan olarak seçilidir. Seçeneği kaldırırsanız, model yanıt vermek için iç bilgilerini daha kolay uygulayabilir. Kullanım örneğinize ve senaryonuza göre doğru seçimi belirleyin.

Modelle etkileşim kurma

Modelle sohbet ederken en iyi sonuçları elde etmek için aşağıdaki uygulamaları kullanın.

Konuşma geçmişi

  • Yeni bir konuşma başlatmadan (veya öncekilerle ilgili olmayan bir soru sormadan) önce sohbet geçmişini temizleyin.
  • Konuşma geçmişi modelin geçerli durumunu değiştirdiğinden, ilk konuşma dönüşü ile sonraki dönüşler arasında aynı soru için farklı yanıtlar alınması beklenebilir. Yanlış yanıtlar alırsanız kalite hatası olarak bildirin.

Model yanıtı

  • Belirli bir sorunun model yanıtını memnun değilseniz, modelin nasıl yanıt verdiğini görmek için soruyu daha belirgin veya daha genel hale getirmeye çalışın ve sorunuzu uygun şekilde yeniden düzenleyin.

  • Düşünce zinciri isteminin , modelin karmaşık sorular/görevler için istenen çıkışları üretmesini sağlamada etkili olduğu gösterilmiştir.

Soru uzunluğu

Uzun sorular sormaktan kaçının ve mümkünse bunları birden çok soruya bölün. GPT modellerinin kabul edebildiği belirteç sayısı sınırları vardır. Belirteç sınırları aşağıdakilere katkıda bulunur: kullanıcı sorusu, sistem iletisi, alınan arama belgeleri (öbekler), dahili istemler, konuşma geçmişi (varsa) ve yanıt. Soru belirteç sınırını aşarsa kısaltılacaktır.

Çok dilli destek

  • Şu anda, Azure OpenAI Veriniz Üzerinde'de anahtar sözcük araması ve semantik arama, dizindeki veriyle aynı dildeki sorguları destekler. Örneğin, verileriniz Japonca ise giriş sorgularının da Japonca olması gerekir. Diller arası belge almada, vektör araması etkinleştirilmiş dizin oluşturmanızı öneririz.

  • Bilgi alma ve model yanıtının kalitesini artırmaya yardımcı olmak için şu diller için anlamsal aramayı etkinleştirmenizi öneririz: İngilizce, Fransızca, İspanyolca, Portekizce, İtalyanca, Almanya, Çince (Zh), Japonca, Korece, Rusça, Arapça

  • Modele verilerinizin başka bir dilde olduğunu bildirmek için bir sistem iletisi kullanmanızı öneririz. Örneğin:

  • *"*Kullanıcıların alınan Japonca belgelerden bilgi ayıklamasına yardımcı olmak için tasarlanmış bir yapay zeka yardımcısısınız. Yanıtı formüle etmeden önce lütfen Japonca belgeleri dikkatle inceleyin. Kullanıcının sorgusu Japonca olacaktır ve japonca olarak da yanıt vermelisiniz."

  • Birden çok dilde belgeleriniz varsa, her dil için yeni bir dizin oluşturmanızı ve bunları openAI Azure ayrı olarak bağlamanızı öneririz.

Akış verileri

Parametresini kullanarak bir akış isteği göndererek verilerin api yanıtının tamamını beklemeden artımlı olarak gönderilmesini ve alınmasını sağlayabilirsiniz. Bu, özellikle büyük veya dinamik veriler için performansı ve kullanıcı deneyimini geliştirebilir.

{
    "stream": true,
    "data_sources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "'$AZURE_AI_SEARCH_ENDPOINT'",
                "key": "'$AZURE_AI_SEARCH_API_KEY'",
                "indexName": "'$AZURE_AI_SEARCH_INDEX'"
            }
        }
    ],
    "messages": [
        {
            "role": "user",
            "content": "What are the differences between Azure Machine Learning and Foundry Tools?"
        }
    ]
}

Daha iyi sonuçlar için konuşma geçmişi

Bir modelle sohbet ettiğinizde, sohbet geçmişinin sağlanması modelin daha yüksek kaliteli sonuçlar döndürmesine yardımcı olur. Daha iyi yanıt kalitesi için YARDıMCı iletilerinin özelliğini API isteklerinize eklemeniz gerekmez. Örnekler için API başvuru belgelerine bakın.

İşlev Çağrısı

Bazı Azure OpenAI modelleri, işlev çağrısını etkinleştirmek için tools ve tool_choice parametreleri tanımlamanızı sağlar. REST API üzerinden işlev çağrıları ayarlayabilirsiniz. Hem hem de veri kaynakları istekteyse, aşağıdaki ilke uygulanır.

  1. Eğer ise, araçlar yoksayılır ve yanıtı oluşturmak için yalnızca veri kaynakları kullanılır.
  2. Aksi takdirde, belirtilmezse veya ya da bir nesne olarak belirtilirse, veri kaynakları yoksayılır ve yanıt, varsa seçili işlevin adını ve bağımsız değişkenleri içerir. Model hiçbir işlevin seçilmeyeceğine karar verse bile, veri kaynakları yine de yoksayılır.

Yukarıdaki ilke gereksinimlerinizi karşılamıyorsa, lütfen diğer seçenekleri göz önünde bulundurun, örneğin: istem akışı veya Yardımcılar API'si.

Azure OpenAI Hizmetinde Verileriniz Üzerinde Belirteç Kullanımı Tahmini

Azure OpenAI On Your Data Retrieval Augmented Generation (RAG), kullanıcıların sağlanan verilere göre sorularına yanıt almasına olanak sağlamak için hem arama hizmetinden (Azure Yapay Zeka Arama) hem de oluşturmadan (Azure OpenAI modelleri) yararlanan bir hizmettir.

Bu RAG işlem hattının bir parçası olarak, üst düzey üç adım vardır:

  1. Kullanıcı sorgusunu arama amaçları listesinde reforme edin. Bu, yönergeler, kullanıcı sorusu ve konuşma geçmişi içeren bir istemle modele çağrı yapılarak yapılır. Şimdi bunu bir amaç istemi olarak adlandıralım.

  2. Her amaç için, arama hizmetinden birden çok belge öbeği alınır. Kullanıcı tarafından belirtilen katılık eşiğine göre ilgisiz öbekleri filtreledikten ve iç mantığa göre öbekleri yeniden dilimledikten/topladıktan sonra, kullanıcı tarafından belirtilen sayıda belge öbeği seçilir.

  3. Bu belge öbekleri, kullanıcı sorusu, konuşma geçmişi, rol bilgileri ve yönergelerle birlikte son model yanıtını oluşturmak için modele gönderilir. Şimdi bunu oluşturma istemi olarak adlandıralım.

Toplamda modele yapılan iki çağrı vardır:

  • Amacı işlemek için: Amaç istemine yönelik belirteç tahmini, kullanıcı sorusu, konuşma geçmişi ve amaç oluşturma için modele gönderilen yönergeleri içerir.

  • Yanıtı oluşturmak için: Oluşturma istemi için belirteç tahmini, kullanıcı sorusu, konuşma geçmişi, alınan belge öbekleri listesi, rol bilgileri ve oluşturma için ona gönderilen yönergeleri içerir.

Model tarafından oluşturulan çıkış belirteçlerinin (hem amaçlar hem de yanıt) toplam belirteç tahmini için dikkate alınması gerekir. Aşağıdaki dört sütunun tümünün toplanması, yanıt oluşturmak için kullanılan ortalama toplam belirteçleri verir.

Model Oluşturma istemi belirteci sayısı İstem belirteci sayısı Yanıt belirteci sayısı Amaç token sayısı
gpt-35-turbo-16k 4297 1366 111 Yirmi beş
gpt-4-0613 3997 1385 118 18
gpt-4-1106-önizleme 4538 811 Kategori 119 27
gpt-35-turbo-1106 4854 1372 110 26

Yukarıdaki sayılar, aşağıdakilerle bir veri kümesinin test edilmesine dayanır:

  • 191 konuşma
  • 250 soru
  • Soru başına 10 ortalama belirteç
  • Görüşme başına ortalama 4 diyalog

Ve aşağıdaki parametreler.

Setting Değer
Alınan belge sayısı 5
Katılık 3
Öbek boyutu 1024
Alınan verilere verilen yanıtlar sınırlansın mı? Doğru

Bu tahminler, yukarıdaki parametreler için ayarlanan değerlere göre değişir. Örneğin, alınan belge sayısı 10 ve katılık 1 olarak ayarlanırsa belirteç sayısı artacaktır. Döndürülen yanıtlar alınan verilerle sınırlı değilse modele daha az yönerge verilir ve belirteç sayısı azaltılır.

Tahminler, sorulan belgelerin ve soruların niteliğine de bağlıdır. Örneğin, sorular açık uçluysa yanıtlar büyük olasılıkla daha uzun olacaktır. Benzer şekilde, daha uzun bir sistem iletisi daha fazla belirteç kullanan daha uzun bir isteme katkıda bulunur ve konuşma geçmişi uzunsa, istem daha uzun olur.

Model Sistem mesajı için maksimum belirteç sayısı
GPT-35-0301 400
GPT-35-0613-16K 1000
GPT-4-0613-8K 400
GPT-4-0613-32K 2000
GPT-35-turbo-0125 2000
GPT-4-turbo-0409 4000
GPT-4o 4000
GPT-4o-mini 4000

Yukarıdaki tabloda, sistem iletisi için kullanılabilecek en fazla belirteç sayısı gösterilmektedir. Model yanıtı için en fazla belirteçleri görmek için modeller makalesine bakın. Ayrıca, aşağıdakiler belirteçleri de tüketir:

  • Meta istemi: Modelden gelen yanıtları topraklama veri içeriğiyle ( API'de) sınırlarsanız en fazla belirteç sayısı daha yüksek olur. Aksi takdirde (örneğin ), üst sınır daha düşüktür. Bu sayı, kullanıcı sorusunun ve konuşma geçmişinin belirteç uzunluğuna bağlı olarak değişkendir. Bu tahmin, temel istem ve sorgu yeniden yazma istemlerini içerir.

  • Kullanıcı sorusu ve geçmişi: Değişken, ancak 2.000 belirteçle sınırlandırılmıştır.

  • Alınan belgeler (öbekler): Alınan belge öbekleri tarafından kullanılan belirteçlerin sayısı birden çok faktöre bağlıdır. Bunun üst sınırı, alınan belge öbeklerinin öbek boyutuyla çarpılmasıdır. Ancak, kalan alanlar sayıldıktan sonra, kullanılan belirli model için mevcut belirteçlere göre kesilecektir.

    Kullanılabilir belirteçlerin %20'i model yanıtı için ayrılmıştır. Kullanılabilir belirteçlerin kalan %80'i meta istemini, kullanıcı sorusunu ve konuşma geçmişini ve sistem iletisini içerir. Kalan belirteç bütçesi, geri getirilen belge öbekleri tarafından kullanılır.

Girişiniz tarafından kullanılan belirteç sayısını hesaplamak için (sorunuz, sistem iletisi/rol bilgileri gibi), aşağıdaki kod örneğini kullanın.

import tiktoken

class TokenEstimator(object):

    GPT2_TOKENIZER = tiktoken.get_encoding("gpt2")

    def estimate_tokens(self, text: str) -> int:
        return len(self.GPT2_TOKENIZER.encode(text))
      
token_output = TokenEstimator.estimate_tokens(input_text)

Sorun giderme

Başarısız işlemlerin sorunlarını gidermek için her zaman API yanıtında veya Foundry portalında belirtilen hata mesajları veya uyarıları arayın. Yaygın hatalardan ve uyarılardan bazıları şunlardır:

Başarısız içeri aktarma görevleri

Kota Sınırlamaları Sorunları

Y hizmetinde X adına sahip bir dizin oluşturulamadı. Bu hizmet için dizin kotası aşıldı. Önce kullanılmayan dizinleri silmeniz, dizin oluşturma istekleri arasına bir gecikme eklemeniz veya hizmeti daha yüksek sınırlar için yükseltmeniz gerekir.

Bu hizmet için standart X dizin oluşturucu kotası aşıldı. Şu anda X standart dizin oluşturucuya sahipsiniz. Önce kullanılmayan dizin oluşturucuları silmeniz, 'executionMode' dizin oluşturucusunu değiştirmeniz veya hizmeti daha yüksek sınırlar için yükseltmeniz gerekir.

Çözüm:

Daha yüksek bir fiyatlandırma katmanına yükseltin veya kullanılmayan varlıkları silin.

Önişleme Zaman Aşımı Sorunları

Web API isteği başarısız olduğundan beceri yürütülemedi

Web API beceri yanıtı geçersiz olduğundan beceri yürütülemedi

Çözüm:

Giriş belgelerini daha küçük belgelere bölün ve yeniden deneyin.

İzin Sorunları

Bu isteğin bu işlemi gerçekleştirme yetkisi yok

Çözüm:

Bu, depolama hesabına verilen kimlik bilgileriyle erişilemediği anlamına gelir. Bu durumda, lütfen API'ye geçirilen depolama hesabı kimlik bilgilerini gözden geçirin ve depolama hesabının özel bir uç noktanın arkasına gizlenmediğini (bu kaynak için özel bir uç nokta yapılandırılmadıysa) emin olun.

Her kullanıcı iletisi, tümü paralel olarak arama kaynağına gönderilen birden çok arama sorgusuna çevrilebilir. Bu, arama kopyaları ve bölümleri sayısı düşük olduğunda daralma davranışına (tıklama davranışı) neden olabilir. Tek bir bölüm ve tek bir çoğaltmanın saniye başına destekleyebileceği en fazla sorgu sayısı yeterli olmayabilir. Bu durumda, çoğaltmalarınızı ve bölümlerinizi artırmayı veya uygulamanıza uyku/yeniden deneme mantığı eklemeyi göz önünde bulundurun. Daha fazla bilgi için Azure Yapay Zeka Arama belgelerine bakın.

Bölgesel kullanılabilirlik ve model desteği

Önemli

Azure OpenAI Verilerinizde özelliği kullanım dışı bırakıldı ve emekliliğe yaklaşıyor.

Microsoft, Azure OpenAI Verilerinizde yeni modelleri dahil etmeyi durdurdu. Bu özellik yalnızca aşağıdaki modelleri destekler:

  • GPT-4o (sürüm 2024-05-13, 2024-08-06 ve 2024-11-20)
  • GPT-4o-mini (sürüm 2024-07-18)
  • GPT-4.1, GPT-4.1-mini ve GPT-4.1-nano (sürüm 2025-04-14)

GPT-4.1 modelleri kullanımdan kaldırıldığında, tüm Azure OpenAI On Your Data API uç noktaları ve desteklenen veri kaynağı bağlayıcıları çalışmayı durdurur.

Verilerinizden içerik almak ve temellendirilmiş yanıtlar oluşturmak için Azure OpenAI iş yüklerini Foundry IQ ile Foundry Agent Service'e geçirmenizi öneririz. Başlamak için Dökümhane IQ bilgi bankasını bağlayın kısmına bakın.

Bölgesel kullanılabilirlik için model özet tablosuna bakın.

Sonraki Adımlar

  • Last updated on