Öğretici: Unity AI Gateway ile kodlama aracısının model erişimini yönetme

Bu öğreticide Codex, Gemini CLI veya İmleç gibi bir dış kodlama aracısını Unity AI Gateway tarafından yönetilen büyük dil modellerine (LLM) bağlarsınız. Ardından bu modellere kimlerin erişebileceğini ve aracının ne kadar tüketip harcayabileceğini denetleyebilirsiniz. Her geliştirici aracına bir sağlayıcı API anahtarı yapıştırmak yerine, her istek bir Unity AI Gateway model hizmeti aracılığıyla yönlendirilir. Unity Kataloğu, kimlerin hangi modelleri kullanabileceğini denetler ve Unity AI Gateway sınırları zorlar ve kullanımı ve maliyeti kaydeder.

Bu öğreticiyi tamamladığınızda şunları elde etmiş olacaksınız:

  • Geliştiricinin makinesinde sağlayıcı API anahtarı olmadan Azure Databricks kimlik bilgilerinizi kullanarak Unity AI Gateway aracılığıyla her model isteğini gönderen bir kodlama aracısı.
  • Model hizmetinde ayarladığınız oran sınırları ve izinler çerçevesinde, aracının kullanım ve maliyetine ilişkin merkezi kayıtlar.

Prerequisites

1. Adım: Kodlama aracınızı bağlama

Ajanı iki yoldan biriyle bağlayabilirsiniz:

  • ucode (önerilir): OAuth'u işleyen ve model hizmet tabanı URL'si ve modeli de dahil olmak üzere her aracının yapılandırma dosyasını yazan açık kaynak başlatıcı (Unity AI Gateway Coding CLI). API anahtarlarını veya uç noktalarını el ile yönetemezsiniz.
  • El ile yapılandırma: Aracın yerleşik ayarlarında (İmleç, Codex veya Gemini CLI) model hizmet tabanı URL'sini ve modeli kendiniz ayarlayın. Bkz. Kodlama aracılarıyla tümleştirme.

Bu bölümde ucode kullanılır. Yükleyin ve istediğiniz aracıyı çalıştırın:

uv tool install git+https://github.com/databricks/ucode

Kodeks

ucode codex

Etkileşimli olmayan modda çalıştırmak için ajanın kendi bayrağını ucode üzerinden iletin:

ucode codex --full-auto

Gemini CLI

ucode gemini

OpenCode

ucode opencode

Copilot

ucode copilot

İlk çalıştırmada, ucode çalışma alanı URL'nizi ister ve kimlik doğrulaması yapar; daha sonra çalıştırmalar doğrudan aracıya gider.

2. Adım: Ajanın model erişimini yönetin

Bir model hizmetini, Unity Catalog’daki diğer güvenliği yönetilebilen varlıklar gibi yönetebilirsiniz: onu kimlerin kullanabileceğini denetlemek için EXECUTE izni verin ve istek hacmi ile harcamayı sınırlamak için Unity AI Gateway’i kullanın. Aşağıdakilerden birini ayarlayın:

  • Modele kimlerin erişebileceğini yönetme: Katalog Gezgini'nde model hizmetini açın ve EXECUTE sekmesinde kullanıcılara veya gruplara verin.
  • İstek hacmini sınırlayın: Katalog Gezgini'nde model hizmetinin Genel Bakış sekmesinde, Oran sınırları altında Ayarla seçeneğine tıklayın. Uç nokta veya kullanıcı başına tüm istekler için dakika başına istek (QPM) veya dakika başına belirteç (TPM) hız sınırı ayarlayın.
  • Harcama bütçesi ayarlama: Hesap yöneticisi tüm Unity AI Gateway uç noktaları kapsamında bir bütçe oluşturabilir. Bütçe, model hizmetleriniz genelindeki harcamaları toplar; maliyetler bunu aşmadan önce bildirim almak veya kullanımı engellemek için bir uyarı eşiği ayarlayın.

3. Adım: Trafiğin yönetildiğini doğrulama

Ajanın isteklerinin Unity AI Gateway üzerinden yönlendirildiğini ve kaydedildiğini onaylayın:

  • Aracıdan: İstem gönderin. Aracı, makinenizde sağlayıcı API anahtarı olmadan yapılandırdığınız modeli kullanarak yanıt verir.

  • Kullanım sistemi tablosundan: Model hizmetinizin istekleri kaydettiğini onaylamak için kullanım izlemeyi sorgulayın:

    SELECT service_name, requester, status_code, COUNT(*) AS calls
FROM system.ai_gateway.usage
WHERE service_type = 'MODEL_SERVICE'
GROUP BY service_name, requester, status_code
ORDER BY calls DESC;

Harcamaları daha ayrıntılı analiz etmek için Unity AI Gateway maliyetini analiz et.

Sonraki Adımlar

  • Last updated on