Aracılığıyla paylaş


Temel model REST API başvurusu

Bu makalede Databricks Foundation Model API'leri ve destekledikleri modeller için genel API bilgileri sağlanır. Temel Model API'leri, mevcut projelerin geçirilmesini kolaylaştırmak için OpenAI'nin REST API'sine benzer şekilde tasarlanmıştır. Hem belirteç başına ödeme hem de sağlanan bant genişliği uç noktaları aynı REST API istek biçimini kabul eder.

Uç Noktalar

Temel Model API'leri, token başına ödeme uç noktalarını ve tahsis edilmiş aktarım hızı uç noktalarını destekler.

Çalışma alanınızda belirteç başına ödeme destekli her model için önceden yapılandırılmış bir uç nokta bulunur ve kullanıcılar HTTP POST isteklerini kullanarak bu uç noktalarla etkileşimde bulunabilir. Desteklenen modeller için bkz. Mozaik Yapay Zeka Modeli Sunma ile ilgili desteklenen temel modeller.

Sağlanan aktarım hızı uç noktaları API veya Sunma Kullanıcı Arabirimikullanılarak oluşturulabilir. Sunulan her iki model de aynı API biçimini kullanıma sunulduğu sürece bu uç noktalar A/B testi için uç nokta başına birden çok modeli destekler. Örneğin, her iki model de sohbet modelleridir. Uç nokta yapılandırma parametreleri için POST /api/2.0/serving-endpoints bölümüne bakın.

İstekler ve yanıtlar JSON kullanır; tam JSON yapısı bir uç noktanın görev türüne bağlıdır. Sohbet ve tamamlama uç noktaları akış yanıtlarını destekler.

Kullanım

Yanıtlar, istek ve yanıttaki belirteç sayısını bildiren bir usage alt iletisi içerir. Bu alt iletinin biçimi tüm görev türlerinde aynıdır.

Alan Tür Açıklama
completion_tokens Tam sayı Oluşturulan belirteçlerin sayısı. Gömülü yanıtlar dahil değildir.
prompt_tokens Tam sayı Giriş istem(ler)indeki token sayısı.
total_tokens Tam sayı Toplam belirteç sayısı.
reasoning_tokens Tam sayı Düşünme belirteçlerinin sayısı. Yalnızca mantıp modelleri için geçerlidir.

databricks-meta-llama-3-3-70b-instruct gibi modeller için kullanıcı istemi, modele geçirilmeden önce bir istem şablonu kullanılarak dönüştürülür. Belirteç başına ödeme uç noktaları için bir sistem istemi de eklenebilir. prompt_tokens, sunucumuz tarafından eklenen tüm metinleri içerir.

Yanıtlar API'si

Önemli

Yanıtlar API'si yalnızca OpenAI modelleriyle uyumludur.

Yanıtlar API'si bir modelle çok aşamalı konuşmalar sağlar. Sohbet Tamamlamaları'nın aksine, Yanıtlar API'si input yerine messages kullanır.

Yanıtlar API isteği

Alan Varsayılan Tür Açıklama
model Dize Gerekli. Yanıtı oluşturmak için kullanılan model kimliği.
input Dize veya Liste[ResponsesInput] Gerekli. Yanıt oluşturmak için kullanılan modele metin, görüntü veya dosya girişleri. 'nin aksine messages, bu alan konuşma içeriğini belirtmek için kullanır input .
instructions null Dize Modelin bağlamı içine eklenen bir sistem (veya geliştirici) iletisi.
max_output_tokens null null, sınır yok veya sıfırdan büyük bir tamsayı anlamına gelir Görünür çıkış belirteçleri ve muhakeme belirteçleri de dahil olmak üzere yanıt için oluşturulabilecek belirteç sayısı için üst sınır.
temperature 1.0 Ondalık [0,2] Örnekleme sıcaklığı. 0, belirlenimcidir ve daha yüksek değerler daha fazla rastgelelik sağlar.
top_p 1.0 0 ile 1 arasında (1 dahil) dalgalı sayı Çekirdek örneklemesi için kullanılan olasılık eşiği.
stream false Boolean (Boole Mantığı) true olarak ayarlanırsa, model yanıt verileri sunucu tarafından gönderilen olaylar kullanılarak oluşturulduğundan istemciye akışla gönderilir.
stream_options null StreamOptions Akış yanıtları için seçenekler. Bunu yalnızca ayarladığınızda ayarlayın stream: true.
text null TextConfig Modelden metin yanıtı için yapılandırma seçenekleri. Düz metin veya yapılandırılmış JSON verileri olabilir.
reasoning null ReasoningConfig gpt-5 ve o serisi modelleri için mantık yapılandırması.
tool_choice "auto" Dize veya ToolChoiceObject Modelin yanıt oluştururken kullanılacak aracı (veya araçları) seçmesi gerekir. Modelin hangi araçları çağırabileceğini belirtmek için tools parametresine bakın.
tools null Liste[ToolObject] Yanıt oluştururken modelin çağırabileceği bir araç dizisi. Not: Kod yorumlayıcı ve web arama araçları Databricks tarafından desteklenmez.
parallel_tool_calls true Boolean (Boole Mantığı) Modelin araç çağrılarını paralel olarak çalıştırmasına izin verilip verilmeyeceği.
max_tool_calls null Sıfırdan büyük tamsayı Bir yanıtta işlenebilen yerleşik araçlara yapılan toplam çağrı sayısı üst sınırı.
metadata null Nesne Bir nesneye eklenebilen 16 anahtar-değer çifti kümesi.
prompt_cache_key null Dize Önbellek isabet oranlarını iyileştirmeye yönelik benzer isteklere yönelik yanıtları önbelleğe almak için kullanılır. user alanını değiştirir.
prompt_cache_retention null Dize İstem önbelleği için saklama politikası. Genişletilmiş istem önbelleğini etkinleştirmek ve önbelleğe alınmış ön ekleri en fazla 24 saate kadar etkin tutmak için ayarı "24h" olarak ayarlayın.
safety_identifier null Dize Uygulamanızın kullanım ilkelerini ihlal eden kullanıcılarını algılamaya yardımcı olmak için kullanılan kararlı tanımlayıcı.
user null Dize kullanım dışı bırakıldı. Bunun yerine safety_identifier ve prompt_cache_key kullanın.
truncation null Dize Model yanıtı için kullanılacak kesme stratejisi.
top_logprobs null Tam sayı Her biri ilişkili günlük olasılığına sahip her belirteç konumunda döndürülecek en olası belirteç sayısını belirten 0 ile 20 arasında bir tamsayı.
include null Liste[String] Model yanıtına eklenecek ek çıktı verilerini belirtin.
prompt null Nesne bir istem şablonuna ve değişkenlerine başvuru.

Desteklenmeyen parametreler: Aşağıdaki parametreler Databricks tarafından desteklenmez ve belirtilirse 400 hatası döndürür:

  • background - Arka plan işleme desteklenmiyor
  • store - Depolanan yanıtlar desteklenmiyor
  • conversation - Konuşma API'si desteklenmiyor
  • service_tier - Hizmet katmanı seçimi Databricks tarafından yönetilir

ResponsesInput

alanı, input rol ve içeriğe sahip bir dizeyi veya giriş iletisi nesnelerinin listesini kabul eder.

Alan Tür Açıklama
role Dize Gerekli. İleti yazarının rolü. "user" veya "assistant" olabilir.
content String veya List[ResponsesContentBlock] Gerekli. İletinin içeriği, bir metin veya içerik blokları dizisi olarak.

ResponsesContentBlock

İçerik blokları, giriş ve çıkış iletilerindeki içerik türünü tanımlar. İçerik bloğu türü alanı tarafından type belirlenir.

InputText
Alan Tür Açıklama
type Dize Gerekli. olmalıdır "input_text".
text Dize Gerekli. Metin içeriği.
OutputText
Alan Tür Açıklama
type Dize Gerekli. olmalıdır "output_text".
text Dize Gerekli. Metin içeriği.
annotations Liste[Nesne] Metin içeriği için isteğe bağlı ek açıklamalar.
InputImage
Alan Tür Açıklama
type Dize Gerekli. olmalıdır "input_image".
image_url Dize Gerekli. Görüntünün URL'si veya base64 ile kodlanmış veri URI'si.
InputFile
Alan Tür Açıklama
type Dize Gerekli. olmalıdır "input_file".
file_id Dize Yüklenen dosyalar kullanılıyorsa dosya tanımlayıcısı.
filename Dize Dosyanın adı.
file_data Dize Biçim ön eki ile Base64 ile kodlanmış veri URI'si. Örneğin, PDF dosyaları biçimini data:application/pdf;base64,<base64 data>kullanır.
FunctionCall
Alan Tür Açıklama
type Dize Gerekli. olmalıdır "function_call".
id Dize Gerekli. İşlev çağrısı için benzersiz tanımlayıcı.
call_id Dize Gerekli. Arama tanımlayıcısı.
name Dize Gerekli. Çağrılan işlevin adı.
arguments Nesne/Dize Gerekli. İşlev bağımsız değişkenleri, bir JSON nesnesi veya dizesi olabilir.
FunctionCallOutput
Alan Tür Açıklama
type Dize Gerekli. olmalıdır "function_call_output".
call_id Dize Gerekli. Bu çıkışa karşılık gelen çağrı tanımlayıcısı.
output Dize/Nesne Gerekli. dize veya JSON nesnesi olarak işlev çıktısı.
CustomToolCall

Özel bir araç çağrıldığında yanıt output dizisinde döndürülür. İşlev çağrılarının aksine, özel araç çağrıları JSON inputyerine düz metin arguments döndürür.

Alan Tür Açıklama
type Dize Gerekli. olmalıdır "custom_tool_call".
id Dize Gerekli. Bu özel araç çağrısı için benzersiz tanımlayıcı.
call_id Dize Gerekli. Arama tanımlayıcısı.
name Dize Gerekli. Çağrılan özel aracın adı.
input Dize Gerekli. Araç düz metin olarak girdi (JSON olarak değil).
status Dize Araç çağrısının durumu. Bunlardan biri: completed, in_progress.
CustomToolCallOutput

Çok aşamalı bir konuşmada modele özel bir araç çağrısının sonucunu sağlamak için bu giriş türünü kullanın.

Alan Tür Açıklama
type Dize Gerekli. olmalıdır "custom_tool_call_output".
call_id Dize Gerekli. Bu çıkışa karşılık gelen çağrı tanımlayıcısı.
output Dize Gerekli. Özel aracın çıktısı bir dize olarak ifade edilir.

StreamOptions

Akış yanıtları için yapılandırma. Yalnızca stream: true durumu gerçekleştiğinde kullanılır.

Alan Tür Açıklama
include_usage Boolean (Boole Mantığı) Doğruysa, veri akışına belirteç kullanım bilgilerini ekleyin. Varsayılan false değeridir.

TextConfig

Metin çıktısı yapılandırması, yapılandırılmış çıktılar da dahil olmak üzere.

Alan Tür Açıklama
format ResponsesFormatObject Metin çıkışının biçim belirtimi.

ResponsesFormatObject

Metin yanıtları için çıkış biçimini belirtir.

Alan Tür Açıklama
type Dize Gerekli. Biçim türü: "text" düz metin için, "json_object" JSON için veya "json_schema" yapılandırılmış JSON için.
json_schema Nesne Gereklidirtype"json_schema" olduğunda. Çıkışın yapısını tanımlayan JSON şema nesnesi.

Nesne, json_schema Sohbet Tamamlamaları API'sinde belgelenen JsonSchemaObject ile aynı yapıya sahiptir.

ReasoningConfig

Akıl yürütme modellerinde (o-serisi ve gpt-5 modelleri) mantık davranışı yapılandırması.

Alan Tür Açıklama
effort Dize Akıl yürütme çaba düzeyi: "low", "medium"veya "high". Varsayılan "medium" değeridir.
encrypted_content Dize Durumsuz mod için şifrelenmiş akıl yürütme içeriği. Önceki yanıtlarda model tarafından sağlanmıştır.

ToolObject

Bkz. Azure Databricks üzerinde İşlev çağrısı.

Uyarı

Yanıtlar API'si şu araç türlerini destekler: function, custom, mcp, image_generation, . shell Özel araçlar ve dil bilgisi tabanlı çıkış biçimleri yalnızca GPT-5 serisi modellerinde (gpt-5, gpt-5.1, gpt-5.2) kullanılabilir.

Alan Tür Açıklama
type Dize Gerekli. Aracın türü. Desteklenen değerler için yukarıdaki nota bakın.
function FunctionObject olduğunda typefunctiongereklidir. Araçla ilişkili işlev tanımı.
name Dize olduğunda typecustomgereklidir. Özel aracın adı.
description Dize olduğunda typecustomgereklidir. Özel aracın ne yaptığının açıklaması.
format Customformat Optional. olduğunda typecustom, çıkış biçimini belirtir. Varsayılan olarak {"type": "text"} değerini alır. Yapılandırılmış çıkış için de kullanılabilir {"type": "grammar", "definition": "<grammar>", "syntax": "lark"} . Yalnızca GPT-5 serisi modellerde desteklenir.

CustomToolObject

Özel araçlar, modelin JSON biçimli işlev bağımsız değişkenleri yerine rastgele dize çıkışı döndürmesine olanak tanır. Bu kod oluşturma, düzeltme ekleri uygulama veya yapılandırılmış JSON'un gerekli olmadığı diğer kullanım örnekleri için kullanışlıdır.

Uyarı

Özel araçlar yalnızca Yanıtlar API'siyle GPT-5 serisi modellerinde (gpt-5, gpt-5.1, gpt-5.2) desteklenir.

Örnek özel araç:

{
  "type": "custom",
  "name": "code_exec",
  "description": "Executes arbitrary Python code. Return only valid Python code."
}

Dilbilgisi içeren örnek bir özel araç:

{
  "type": "custom",
  "name": "apply_patch",
  "description": "Apply a patch to create or modify files.",
  "format": {
    "type": "grammar",
    "definition": "start: begin_patch hunk end_patch\nbegin_patch: \"*** Begin Patch\" LF\n...",
    "syntax": "lark"
  }
}

Özel bir araç çağrıldığında, yanıt JSON custom_tool_callyerine düz metin input içeren bir arguments çıkış öğesi içerir.

CustomFormat

Dil bilgisi tabanlı çıkış biçimleri yalnızca GPT-5 serisi modellerde desteklenir.

Alan Tür Açıklama
type Dize Gerekli. "text" Düz metin çıkışı veya "grammar" dil bilgisi kısıtlanmış çıktı için.
definition Dize olduğunda type"grammar"gereklidir. Lark söz dizimini kullanan dil bilgisi tanım dizesi.
syntax Dize olduğunda type"grammar"gereklidir. Gramer söz dizimi. Şu anda yalnızca "lark" desteklenmektedir.

FunctionObject

Alan Tür Açıklama
name Dize Gerekli. Çağrılacak işlevin adı.
description Nesne Gerekli. İşlevin ayrıntılı açıklaması. Model, işlevin istemle olan ilişkisini anlamak ve daha yüksek doğrulukla araç çağrıları oluşturmak için bu açıklamayı kullanır.
parameters Nesne İşlevin kabullediği ve geçerli bir JSON şeması nesnesi olarak tanımlanan parametreler. Araç çağrılırsa, araç çağrısı sağlanan JSON şemasına uygundur. Parametrelerin atlanması, parametre içermeyen bir işlevi tanımlar. properties sayısı 15 tuşla sınırlıdır.
strict Boolean (Boole Mantığı) İşlev çağrısı oluşturulurken sıkı şemaya bağlı kalınmasının etkinleştirilip etkinleştirilmeyileceği. trueolarak ayarlanırsa, model şema alanında tanımlanan tam şemayı izler. Sıkı true olduğunda, yalnızca bir alt küme JSON şeması desteklenir

ToolChoiceObject

Bkz. Azure Databricks üzerinde İşlev çağrısı.

Alan Tür Açıklama
type Dize Gerekli. Zorlayıcı olarak kullanılacak aracın türü. Desteklenen değerler ToolObject: "function", vb "custom". araç türleriyle eşleşmektedir.
function Nesne olduğunda type"function"gereklidir. Formdaki {"name": "my_function"} bir nesne; burada "my_function" alandaki functionObject'intools adıdır.
name Dize olduğunda type"custom"gereklidir. Zorlayacak özel aracın adı. Yalnızca GPT-5 serisi modellerde desteklenir.

API yanıtları

Akış olmayan istekler için yanıt tek bir yanıt nesnesidir. Akış istekleri için yanıt, her olayın bir yanıt parçası olduğu bir text/event-stream şeklindedir.

Alan Tür Açıklama
id Dize Yanıt için benzersiz tanımlayıcı. Not: Databricks bu kimliği güvenlik için şifreler.
object Dize Nesne türü. "response"'ya eşittir.
created_at Tam sayı Yanıtın oluşturulduğu Unix zaman damgası (saniye olarak).
status Dize Yanıtın durumu. Bunlardan biri: completed, failed, in_progress, cancelled, , queuedveya incomplete.
model Dize Yanıtı oluşturmak için kullanılan model sürümü.
output Liste[YanıtMesajı] Model tarafından oluşturulan ve genellikle ileti nesnelerini içeren çıkış.
usage Kullanım Jeton kullanımı meta verileri.
error Error Yanıt başarısız olursa hata bilgileri.
incomplete_details EksikDetaylar Yanıtın neden eksik olduğuyla ilgili ayrıntılar (varsa).
instructions Dize İstekte sağlanan yönergeler.
max_output_tokens Tam sayı İstekte belirtilen en fazla çıktı belirteçleri.
temperature Yüzmek Üretim için kullanılan sıcaklık.
top_p Yüzmek Oluşturma için kullanılan top_p değeri.
tools Liste[ToolObject] İstekte belirtilen araçlar.
tool_choice Dize veya ToolChoiceObject İstekten gelen araç_seçimi ayarı.
parallel_tool_calls Boolean (Boole Mantığı) Paralel araç çağrılarının etkinleştirilip etkinleştirilmediği.
store Boolean (Boole Mantığı) Yanıtın depolanıp depolanmadığı.
metadata Nesne Yanıta eklenen meta veriler.

ResponsesMessage

Modelin output yanıt içeriğini içeren alandaki ileti nesneleri.

Alan Tür Açıklama
id Dize Gerekli. İletinin benzersiz tanımlayıcısı.
role Dize Gerekli. İletinin rolü. "user" veya "assistant".
content Liste[ResponsesContentBlock] Gerekli. Mesajdaki içerik blokları.
status Dize İleti işlemenin durumu.
type Dize Gerekli. Nesne türü. "message"'ya eşittir.

Error

Yanıt başarısız olduğunda hata bilgileri.

Alan Tür Açıklama
code Dize Gerekli. Hata kodu.
message Dize Gerekli. İnsan tarafından okunabilir bir hata iletisi.
param Dize Varsa, hataya neden olan parametre.
type Dize Gerekli. Hata türü.

IncompleteDetails

Yanıtın neden eksik olduğuyla ilgili ayrıntılar.

Alan Tür Açıklama
reason Dize Gerekli. Yanıtın tamamlanmamış olmasının nedeni.

Sohbet Tamamlamaları API'si

Sohbet Tamamlamaları API'si bir modelle çok aşamalı konuşmalar sağlar. Konuşmada model yanıtı, sıradaki assistant iletisini sunmaktadır. Uç nokta parametrelerini sorgulamak için post /serving-endpoints/{name}/invocations bakın.

Sohbet isteği

Alan Varsayılan Tür Açıklama
messages ChatMessage listesi Gerekli. Geçerli konuşmayı temsil eden iletilerin listesi.
max_tokens null null, sınır yok veya sıfırdan büyük bir tamsayı anlamına gelir Üretilecek maksimum belirteç (token) sayısı.
stream true Boolean (Boole Mantığı) İstekler için kısmi sonuçlara izin vermek için yanıtları bir istemciye geri akışla aktar. Bu parametre isteğe dahil edilirse, yanıtlar Sunucu tarafından gönderilen olaylar standart kullanılarak gönderilir.
temperature 1.0 Ondalık [0,2] Örnekleme sıcaklığı. 0, belirlenimcidir ve daha yüksek değerler daha fazla rastgelelik sağlar.
top_p 1.0 0 ile 1 arasında (1 dahil) dalgalı sayı Çekirdek örneklemesi için kullanılan olasılık eşiği.
top_k null null, sınır yok veya sıfırdan büyük bir tamsayı anlamına gelir Üst k filtreleme için kullanılacak en olası k belirteç sayısını tanımlar. Çıkışları belirleyici hale getirmek için bu değeri 1 olarak ayarlayın.
stop [] Dize veya Liste[Dize] stop dizilerinden herhangi biriyle karşılaşıldığında model daha fazla belirteç üretmeyi durdurur.
n 1 Sıfırdan büyük tamsayı API, n belirtildiğinde bağımsız n sohbet tamamlamaları döndürür. Ek çıkarım verimliliği ve maliyet tasarrufu için aynı girişte birden çok tamamlama oluşturan iş yükleri için önerilir. Yalnızca sağlanan aktarım hızı uç noktaları için kullanılabilir.
tool_choice none Dize veya ToolChoiceObject Yalnızca tools alanıyla birlikte kullanılır. tool_choice, auto, requiredve nonegibi çeşitli anahtar sözcük dizelerini destekler. auto, hangi araçsın (varsa) kullanılması gerektiğine modelin karar vermesine izin verdiğiniz anlamına gelir. auto Model, tools içindeki araçların hiçbirinin uygun olmadığına inanmazsa, araç çağrısı yapmak yerine standart bir yardımcı mesajı üretir. required, modelin tools en uygun aracı seçtiği ve bir araç çağrısı oluşturması gerektiği anlamına gelir. none, modelin herhangi bir araç çağrısı oluşturmadığı ve bunun yerine standart bir yardımcı iletisi oluşturması gerektiği anlamına gelir. toolsiçinde tanımlanan belirli bir araçla bir araç çağrısını zorlamak için ToolChoiceObjectkullanın. Varsayılan olarak, tools alanı tool_choice = "auto" doluysa. Aksi takdirde, tools alanı tool_choice = "none" olarak varsayılan olur.
tools null ToolObject Modelin çağırabileceği tools listesi. Şu anda desteklenen tek function türü tool ve en fazla 32 işlev desteklenir.
response_format null ResponseFormatObject Modelin çıkış yapması gereken biçimi belirten bir nesne. Kabul edilen türler text, json_schema veya json_object
{ "type": "json_schema", "json_schema": {...} } ayarı, modelin sağlanan JSON şemanıza uygun olmasını sağlayan yapılandırılmış çıkışları etkinleştirir.
{ "type": "json_object" } ayarı, modelin oluşturduğu yanıtların geçerli JSON olduğundan emin olur, ancak yanıtların belirli bir şemayı izlemesini sağlamaz.
logprobs false Boolean (Boole Mantığı) Bu parametre, örneklenen bir belirtecin olasılık logaritmasının sağlanıp sağlanmayacağını gösterir.
top_logprobs null Tam sayı Bu parametre, her örnekleme adımında logaritmik olasılıklarını döndürmek için en olası belirteç adaylarının sayısını denetler. 0-20 olabilir. bu alan kullanılıyorsa logprobstrue olmalıdır.
reasoning_effort "medium" Dize Yanıt oluştururken modelin uygulaması gereken akıl yürütme çabası düzeyini denetler. Kabul edilen değerler , "low"veya "medium"şeklindedir"high". Daha yüksek düşünme çabası daha düşünceli ve doğru yanıtlara neden olabilir, ancak gecikme süresini ve belirteç kullanımını artırabilir. Bu parametre yalnızca databricks-gpt-oss-120b ve databricks-gpt-oss-20b dahil olmak üzere sınırlı bir model kümesi tarafından kabul edilir.

ChatMessage

Alan Tür Açıklama
role Dize Gerekli. İletinin yazarının rolü. "system", "user", "assistant" veya "tool"olabilir.
content Dize İletinin içeriği. Araç çağrıları içermeyen sohbet görevleri için gerekli.
tool_calls ToolCall listesi Modelin oluşturduğu tool_calls listesi. role, "assistant" olarak olmalı ve content alanı için tanım olmamalıdır.
tool_call_id Dize role "tool" olduğunda, mesajın yanıt verdiği ToolCall ile ilişkili olan kimliktir. Diğer role seçenekleri için boş olmalıdır.

system rolü, konuşmadaki ilk ileti olarak yalnızca bir kez kullanılabilir. Modelin varsayılan komut istemini geçersiz kılar.

ToolCall

Model tarafından önerilen bir araç çağrı eylemi. Bkz. Azure Databricks üzerinde İşlev çağrısı.

Alan Tür Açıklama
id Dize Gerekli. Bu araç çağrısı önerisi için benzersiz bir tanımlayıcı.
type Dize Gerekli. Yalnızca "function" desteklenir.
function FunctionCallCompletion Gerekli. Model tarafından önerilen bir işlev çağrısı.
cache_control Dize İsteğiniz için önbelleğe almayı etkinleştirir. Bu parametre yalnızca Databricks tarafından barındırılan Claude modelleri tarafından kabul edilir. Örnek için bkz. Girdi önbellekleme.

FunctionCallCompletion

Alan Tür Açıklama
name Dize Gerekli. Modelin önerdiği işlevin adı.
arguments Nesne Gerekli. İşleve verilen bağımsız değişkenler, serileştirilmiş bir JSON sözlüğü olarak sunulmuştur.

Not: ToolChoiceObject, ToolObjectve FunctionObject yanıtları API'sinde tanımlanır ve her iki API arasında paylaşılır.

ResponseFormatObject

Azure Databricks'te yapılandırılmış çıktıları görün.

Alan Tür Açıklama
type Dize Gerekli. Tanımlanan yanıt biçiminin türü. Yapılandırılmamış metin için text, yapılandırılmamış JSON nesneleri için json_object veya belirli bir şemaya bağlı JSON nesneleri için json_schema.
json_schema JsonSchemaObject Gerekli. type json_schema olarak ayarlandıysa, bağlı kalınacak JSON şeması

JsonSchemaObject

Azure Databricks'te yapılandırılmış çıktıları görün.

Alan Tür Açıklama
name Dize Gerekli. Yanıt biçiminin adı.
description Dize Yanıt formatının amacına ilişkin bir açıklama, modelin bu formatta nasıl yanıt vereceğini belirlemesi için kullanılır.
schema Nesne Gerekli. JSON şema nesnesi olarak tanımlanan yanıt biçimi şeması.
strict Boolean (Boole Mantığı) Çıktı oluşturulurken sıkı şemaya bağlı kalınmasının etkinleştirilip etkinleştirilmeyileceği. trueolarak ayarlanırsa, model şema alanında tanımlanan tam şemayı izler. Sıkı true olduğunda, yalnızca bir alt küme JSON şeması desteklenir

Sohbet yanıtı

Yayın yapılmayan istekler için yanıt, tek bir sohbet tamamlama nesnesidir. Akış istekleri için yanıt bir text/event-stream'dır, burada her olay bir tamamlama öbek nesnesi olarak işlev görür. Tamamlama ve öbek nesnelerinin üst düzey yapısı neredeyse aynıdır: yalnızca choices farklı bir türe sahiptir.

Alan Tür Açıklama
id Dize Sohbetin tamamlanması için benzersiz tanımlayıcı.
choices List[ChatCompletionChoice] veya List[ChatCompletionChunk] (akış) Sohbet tamamlama metinlerinin listesi. n parametresi belirtilirse n seçenekler döndürülür.
object Dize Nesne türü. Akışsız için "chat.completions" veya akış için "chat.completion.chunk" ile eşittir.
created Tam sayı Sohbet tamamlama işleminin tamamlanma zamanı saniye birimiyle belirtilmiştir.
model Dize Yanıtı oluşturmak için kullanılan model sürümü.
usage Kullanım Jeton kullanımı meta verileri. Akış yanıtlarında mevcut olmayabilir.

ChatCompletionChoice

Alan Tür Açıklama
index Tam sayı Oluşturulan seçimler listesinde bir seçeneğin dizini.
message ChatMessage Model tarafından döndürülen bir sohbet tamamlama mesajı. Rol assistantolacaktır.
finish_reason Dize Modelin belirteç oluşturma işlemini durdurmasının nedeni.
extra_fields Dize Dış model sağlayıcılarının özel modellerini kullanırken sağlayıcının API'leri yanıtlara ek meta veriler içerebilir. Databricks bu yanıtları filtreler ve sağlayıcının özgün alanlarının yalnızca bir alt kümesini döndürür. safetyRating şu anda desteklenen tek ek alan, daha fazla ayrıntı için İkizler belgelerine bakın.

ChatCompletionChunk

Alan Tür Açıklama
index Tam sayı Oluşturulan seçimler listesinde bir seçeneğin dizini.
delta ChatMessage Modelden oluşturulan akışlı yanıtların bir parçası olan bir sohbet tamamlama iletisi. Yalnızca ilk öbeğin role ile doldurulacağı garanti edilmektedir.
finish_reason Dize Modelin belirteç oluşturma işlemini durdurmasının nedeni. Son öbekte sadece bu doldurulur.

Eklemeler API'si

Ekleme görevleri giriş dizelerini ekleme vektörlerine eşler. Her istekte birçok giriş bir arada gruplandırılabilir. Uç nokta parametrelerini sorgulamak için post /serving-endpoints/{name}/invocations bakın.

Ekleme isteği

Alan Tür Açıklama
input Dize veya Liste[Dize] Gerekli. Gömülecek giriş metni. Dize (string) veya dize (string) listesi olabilir.
instruction Dize Ekleme modeline geçirmek için isteğe bağlı bir yönerge.

Yönergeler isteğe bağlıdır ve modele özeldir. Örneğin BGE yazarları öbekleri dizine eklerken yönerge önermez ve alma sorguları için yönergenin "Represent this sentence for searching relevant passages:" kullanılmasını önerir. Instructor-XL gibi diğer modeller çok çeşitli yönerge dizelerini destekler.

Yerleştirme Cevabı

Alan Tür Açıklama
id Dize Ekleme için benzersiz tanımlayıcı.
object Dize Nesne türü. "list"'ya eşittir.
model Dize Eklemeyi oluşturmak için kullanılan ekleme modelinin adı.
data EmbeddingObject Gömülü nesne.
usage Kullanım Jeton kullanımı meta verileri.

EmbeddingObject

Alan Tür Açıklama
object Dize Nesne türü. "embedding"'ya eşittir.
index Tam sayı Model tarafından oluşturulan gömmeler listesindeki gömme dizini.
embedding Liste[Ondalık] Yerleştirme vektörü. Her model sabit boyutlu vektör döndürür (BGE-Largeiçin 1024)

Tamamlamalar API'si

Metin tamamlama görevleri, tek bir istem için yanıt oluşturmaya yöneliktir. Sohbet'in aksine, bu görev toplu girişleri destekler: tek bir istekte birden çok bağımsız istem gönderilebilir. Uç nokta parametrelerini sorgulamak için post /serving-endpoints/{name}/invocations bakın.

Tamamlama isteği

Alan Varsayılan Tür Açıklama
prompt Dize veya Liste[Dize] Gerekli. Model için komutlar.
max_tokens null null, sınır yok veya sıfırdan büyük bir tamsayı anlamına gelir Üretilecek maksimum belirteç (token) sayısı.
stream true Boolean (Boole Mantığı) İstekler için kısmi sonuçlara izin vermek için yanıtları bir istemciye geri akışla aktar. Bu parametre isteğe dahil edilirse, yanıtlar Sunucu tarafından gönderilen olaylar standart kullanılarak gönderilir.
temperature 1.0 Ondalık [0,2] Örnekleme sıcaklığı. 0, belirlenimcidir ve daha yüksek değerler daha fazla rastgelelik sağlar.
top_p 1.0 0 ile 1 arasında (1 dahil) dalgalı sayı Çekirdek örneklemesi için kullanılan olasılık eşiği.
top_k null null, sınır yok veya sıfırdan büyük bir tamsayı anlamına gelir Üst k filtreleme için kullanılacak en olası k belirteç sayısını tanımlar. Çıkışları belirleyici hale getirmek için bu değeri 1 olarak ayarlayın.
error_behavior "error" "truncate" veya "error" Zaman aşımı ve bağlam uzunluğu sınırı aşıldığında oluşan hatalar için. Bunlardan biri: "truncate" (mümkün olduğunca çok belirteç döndür) ve "error" (hata döndür). Bu parametre yalnızca token başına ödeme uç noktaları tarafından kabul edilir.
n 1 Sıfırdan büyük tamsayı API, n belirtildiğinde bağımsız n sohbet tamamlamaları döndürür. Ek çıkarım verimliliği ve maliyet tasarrufu için aynı girişte birden çok tamamlama oluşturan iş yükleri için önerilir. Yalnızca sağlanan aktarım hızı uç noktaları için kullanılabilir.
stop [] Dize veya Liste[Dize] stop dizilerinden herhangi biriyle karşılaşıldığında model daha fazla belirteç üretmeyi durdurur.
suffix "" Dize Her tamamlamanın sonuna eklenen bir dize.
echo false Boolean (Boole Mantığı) tamamlama ile birlikte istem döndürür.
use_raw_prompt false Boolean (Boole Mantığı) trueise, prompt herhangi bir dönüştürme olmadan doğrudan modele geçirin.

Tamamlanma yanıtı

Alan Tür Açıklama
id Dize Metin tamamlama için benzersiz tanımlayıcı.
choices Tamamlama Seçimi Metin tamamlamalarının listesi. her istem için, n seçenek oluşturulur, eğer n belirtilirse. Varsayılan n 1'dir.
object Dize Nesne türü. "text_completion"'e eşit
created Tam sayı Tamamlanma zamanının saniye cinsinden oluşturulma anı.
usage Kullanım Jeton kullanımı meta verileri.

CompletionChoice

Alan Tür Açıklama
index Tam sayı İstek içindeki uyarının dizini.
text Dize Oluşturulan tamamlama.
finish_reason Dize Modelin belirteç oluşturma işlemini durdurmasının nedeni.

Ek kaynaklar