TypeSafe System One API ile modelleri sorgulayın

TypeSafe'in System One API'si, uygulama durumunu tiplenmiş sorulara göre değerlendirir ve yapılandırılmış cevaplar verir. Azure Databricks üzerinde, Unity Gateway üzerinden System One özellikli model hizmetine istekler gönderin. Databricks rotası ise System One istek ve yanıt formatını kullanır.

Bir uygulama, oluşturulmuş düzyazı yerine kompakt, yapılandırılmış bir karara ihtiyaç duyduğunda System One API'sini kullanın. Yanıt süresi önemli olduğunda, örneğin bir talebin yükseltilmesi gerekip gerekmediğine karar vermek, bir yönlendirme etiketi seçmek veya onu bir rubriğe göre puanlamak gibi durumlarda iyi bir uyum sağlayabilir. Yanıt süresi model servisine ve talep yüküne bağlıdır.

SQL'de tablo satırları üzerindeki kararlar için ai_decide işlevine bakınız.

Requirements

  • Unity Catalog ve Unity Gateway için etkinleştirilmiş bir çalışma alanı.
  • System One uyumlu bir model tarafından desteklenen bir Unity Kataloğu model hizmeti. Örnek, tam nitelikli adı system.ai.openjev-qwen35-4b olan openjev-qwen35-4b model hizmetini kullanır.
  • Model servisini çalıştırma izni.

System One güzergahı için Unity Kataloğu model hizmeti gereklidir. Bir model sağlayıcı hizmetini veya Unity Catalog dışı bir serving uç noktasını desteklemez.

Bir model servisi sorgulama

İstek gövdesi, tam nitelikli model hizmet adı, değerlendirilecek durum ve bir veya daha fazla isimlendirilmiş soruyu içerir. Her soru, noul, choice veya score türlerinden birini kullanır.

Aşağıdaki talep her türden bir soruyu içerir:

curl \
-u token:$DATABRICKS_TOKEN \
-X POST \
-H "Content-Type: application/json" \
-d '{
  "model": "system.ai.openjev-qwen35-4b",
  "state": {
    "message": "My card was charged twice for the same order and I need a refund.",
    "channel": "support"
  },
  "questions": {
    "is_billing": {
      "type": "noul",
      "instructions": "Is this a billing-related request?",
      "criteria": {
        "true": "The message concerns a charge, payment, invoice, or refund.",
        "false": "The message does not concern billing."
      }
    },
    "intent": {
      "type": "choice",
      "instructions": "Which intent best matches the message?",
      "criteria": {
        "refund": "The customer requests a refund.",
        "duplicate_charge": "The customer reports being charged more than once.",
        "other": "Another request."
      }
    },
    "urgency": {
      "type": "score",
      "instructions": "How urgent is the request?",
      "criteria": [
        "Can wait",
        "Needs attention soon",
        "Urgent"
      ]
    }
  }
}' \
https://<workspace_host>/ai-gateway/typesafe/v1/systemone

İstekteki system.ai.openjev-qwen35-4b alanında tam nitelikli Unity Catalog model hizmet adını, model kullanın.

İstek alanları

Alan Type Description
model String Tam nitelikli Unity Kataloğu model hizmeti adı, örneğin system.ai.openjev-qwen35-4b.
state Dize, nesne veya dizi Değerlendirilecek içerik. Metin için bir dize veya kayıtlar, konuşmalar ya da uygulama durumu için yapılandırılmış veri kullanın.
questions Object Soru kimliklerinden soru tanımlarına boş olmayan bir harita. Yanıt, answers nesnesinde aynı ID'leri kullanır.

Her sorunun bir instructions, isteğe bağlı bir criteria ve türe özgü bir type vardır:

Noul ile ilgili sorular

Bir noul soru, cevabın evet olma olasılığını döndürür. İsteğe bağlı criteria nesnesi, false ve true öğelerinin ne anlama geldiğini açıklar. Ya instructions sağlayın ya da true veya false için bir açıklama sağlayın. Yanıt, 0 (hayır) ile 1 (evet) arasında bir noul sayı içeriyor.

Seçmeli sorular

Bir choice soru, criteria nesnesinden bir seçeneğin seçilmesini sağlar. Her seçenek bir açıklamayla veya ek açıklama gerekmiyorsa null ile eşleştirilir. 1'den 255'e kadar seçenekler tanımlayın. Yanıt, seçilen choice, her seçenek için bir olasılık ve bir confidence değeri içerir.

Soruları puanla

Bir score soru, durumu sıralı criteria diziye göre değerlendirir. Yanıt, olasılık ağırlıklı confidence, seviye indekslerini kriterlere ve her seviye için olasılıklara eşleyen bir score ve bir legend değeri içerir. 1'den 10'a kadar seviyeleri tanımlayın.

Yanıt biçimi

Yanıt, model tanımlayıcısını ve her soru için bir cevabı içerir answers. Token kullanımı input_tokens içinde, output_tokens ve usage ile görünür:

{
  "model": "<returned-model-id>",
  "answers": {
    "is_billing": {
      "type": "noul",
      "noul": 0.98
    },
    "intent": {
      "type": "choice",
      "choice": "duplicate_charge",
      "confidence": 0.965,
      "probabilities": {
        "refund": 0.023,
        "duplicate_charge": 0.977,
        "other": 0.0002
      }
    },
    "urgency": {
      "type": "score",
      "score": 1.902,
      "confidence": 0.852,
      "legend": {
        "0": "Can wait",
        "1": "Needs attention soon",
        "2": "Urgent"
      },
      "probabilities": {
        "0": 0.0069,
        "1": 0.0845,
        "2": 0.9086
      }
    }
  },
  "usage": {
    "input_tokens": 238,
    "output_tokens": 0
  }
}

Bu yanıt, yukarıdaki talebe dayanır ve sayısal değerler yuvarlanmıştır. Cevaplar, olasılıklar, güven değerleri, token sayısı ve geri dönen model tanımlayıcısı isteğe ve arka uca göre değişir. Yanıt model değeri, arka uç tarafından bildirilen modeli tanımlar ve talebin tam nitelikli model hizmet adından farklı olabilir.

İstek hataları

İstek doğrulama hataları için, rota geçersiz isteği tanımlayan bir 422 diziyle HTTP detail döndürür.

Ek kaynaklar

  • Son güncelleştirme: