Model eksternal dalam Mosaic AI Model Serving

Penting

Contoh kode dalam artikel ini menunjukkan penggunaan API CRUD Penyebaran MLflow Pratinjau Publik.

Artikel ini menjelaskan model eksternal dalam Mosaic AI Model Serving termasuk penyedia dan batasan model yang didukung.

Apa itu model eksternal?

Penting

Sekarang Anda dapat mengonfigurasi Mosaic AI Gateway pada model yang melayani titik akhir yang melayani model eksternal. AI Gateway menghadirkan tata kelola, pemantauan, dan kesiapan produksi untuk model ini yang melayani titik akhir. Lihat Gateway AI Mosaik.

Model eksternal adalah model pihak ketiga yang dihosting di luar Databricks. Didukung oleh Model Serving, model eksternal memungkinkan Anda menyederhanakan penggunaan dan manajemen berbagai penyedia model bahasa besar (LLM), seperti OpenAI dan Anthropic, dalam organisasi. Anda juga dapat menggunakan Mosaic AI Model Berfungsi sebagai penyedia untuk melayani model kustom, yang menawarkan batas tarif untuk titik akhir tersebut. Sebagai bagian dari dukungan ini, Model Serving menawarkan antarmuka tingkat tinggi yang menyederhanakan interaksi dengan layanan ini dengan menyediakan titik akhir terpadu untuk menangani permintaan terkait LLM tertentu.

Selain itu, dukungan Azure Databricks untuk model eksternal menyediakan manajemen kredensial terpusat. Dengan menyimpan kunci API di satu lokasi yang aman, organisasi dapat meningkatkan postur keamanan mereka dengan meminimalkan paparan kunci API sensitif di seluruh sistem. Ini juga membantu mencegah mengekspos kunci ini dalam kode atau mengharuskan pengguna akhir untuk mengelola kunci dengan aman.

Lihat Tutorial: Membuat titik akhir model eksternal untuk mengkueri model OpenAI untuk panduan langkah demi langkah tentang pembuatan titik akhir model eksternal dan mengkueri model yang didukung yang dilayani oleh titik akhir tersebut menggunakan SDK Penyebaran MLflow. Lihat panduan berikut untuk instruksi tentang cara menggunakan Antarmuka Pengguna layanan dan REST API:

• Membuat model kustom yang melayani titik akhir
• Model AI generatif kueri

Persyaratan

• Bidang kunci API atau autentikasi untuk penyedia model.
• Ruang kerja Databricks di wilayah yang didukung model Eksternal.

Penyedia model

Model eksternal dalam Model Serving dirancang untuk mendukung berbagai penyedia model. Penyedia mewakili sumber model pembelajaran mesin, seperti OpenAI, Anthropic, dan sebagainya. Setiap penyedia memiliki karakteristik dan konfigurasi khusus yang dienkapsulasi dalam external_model bidang konfigurasi titik akhir model eksternal.

Penyedia berikut didukung:

• openai: Untuk model yang ditawarkan oleh OpenAI dan integrasi Azure untuk Azure OpenAI dan Azure OpenAI dengan AAD.
• antropis: Untuk model yang ditawarkan oleh Anthropic.
• cohere: Untuk model yang ditawarkan oleh Cohere.
• amazon-bedrock: Untuk model yang ditawarkan oleh Amazon Bedrock.
• google-cloud-vertex-ai: Untuk model yang ditawarkan oleh Google Cloud Vertex AI.
• databricks-model-serving: Untuk Mosaic AI Model Melayani titik akhir dengan skema yang kompatibel. Lihat Konfigurasi titik akhir.

Untuk meminta dukungan untuk penyedia yang tidak tercantum di sini, hubungi tim akun Databricks Anda.

Model yang didukung

Model yang Anda pilih secara langsung memengaruhi hasil respons yang Anda dapatkan dari panggilan API. Oleh karena itu, pilih model yang sesuai dengan persyaratan kasus penggunaan Anda. Misalnya, untuk menghasilkan respons percakapan, Anda dapat memilih model obrolan. Sebaliknya, untuk menghasilkan penyematan teks, Anda dapat memilih model penyematan.

Tabel di bawah ini menyajikan daftar model yang didukung yang tidak lengkap dan jenis titik akhir yang sesuai. Asosiasi model yang tercantum di bawah ini dapat digunakan sebagai panduan bermanfaat saat mengonfigurasi titik akhir untuk jenis model yang baru dirilis saat tersedia dengan penyedia tertentu. Pelanggan bertanggung jawab untuk memastikan kepatuhan terhadap lisensi model yang berlaku.

Catatan

Dengan perkembangan LLM yang pesat, tidak ada jaminan bahwa daftar ini sudah diperbarui setiap saat.

Penyedia model	llm/v1/completions	llm/v1/chat	llm/v1/embeddings
OpenAI**	- gpt-3.5-turbo-instruct - babbage-002 - davinci-002	- gpt-3.5-turbo - gpt-4 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini - gpt-3.5-turbo-0125 - gpt-3.5-turbo-1106 - gpt-4-0125-preview - gpt-4-turbo-preview - gpt-4-1106-preview - gpt-4-vision-preview - gpt-4-1106-vision-preview	- text-embedding-ada-002 - teks-penyematan-3-besar - teks-penyematan-3-kecil
Azure OpenAI**	- text-davinci-003 - gpt-35-turbo-instruct	- gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-32k - gpt-4o - gpt-4o-mini	- text-embedding-ada-002 - teks-penyematan-3-besar - teks-penyematan-3-kecil
Antropis	- claude-1 - claude-1.3-100k - claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2	- claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229 - claude-2.1 - claude-2.0 - claude-instant-1.2
Cohere**	-perintah - lampu perintah	- command-r-plus - command-r -perintah - command-light-nightly - lampu perintah - perintah-malam	- embed-english-v2.0 - embed-multilingual-v2.0 - embed-english-light-v2.0 - embed-english-v3.0 - embed-english-light-v3.0 - embed-multilingual-v3.0 - embed-multilingual-light-v3.0
Penyajian Model AI Mosaik	Titik akhir penyajian Databricks	Titik akhir penyajian Databricks	Titik akhir penyajian Databricks
Amazon Bedrock	Antropis: - claude-instant-v1 - claude-v2 Cohere: - command-text-v14 - command-light-text-v14 AI21 Labs: - j2-grande-instruct - j2-jumbo-instruksi - j2-mid - j2-pertengahan v1 - j2-ultra - j2-ultra-v1	Antropis: - claude-v2 - claude-v2:1 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Cohere: - command-r-plus-v1:0 - command-r-v1:0	Amazon: - titan-embed-text-v1 - titan-embed-g1-text-02 Cohere: - embed-english-v3 - embed-multilingual-v3
AI21 Labs†	- j2-mid - j2-light - j2-ultra
Google Cloud Vertex AI	text-bison	- chat-bison - gemini-pro - gemini-1.0-pro - gemini-1.5-pro - gemini-1.5-flash	textembedding-gecko

** Penyedia model mendukung penyelesaian yang disempurnakan dan model obrolan. Untuk mengkueri model yang disempurnakan, isi name bidang external model konfigurasi dengan nama model yang disempurnakan.

penyedia model † mendukung model penyelesaian kustom.

Menggunakan model yang disajikan pada titik akhir Penyajian Model AI Mosaik

Model AI Mosaik Melayani titik akhir sebagai penyedia didukung untuk llm/v1/completionsjenis titik akhir , , llm/v1/chatdan llm/v1/embeddings . Titik akhir ini harus menerima parameter kueri standar yang ditandai sebagaimana diperlukan, sementara parameter lain mungkin diabaikan tergantung pada apakah titik akhir Mosaic AI Model Serving mendukungnya atau tidak.

Lihat POST /serving-endpoints/{name}/invocations dalam referensi API untuk parameter kueri standar.

Titik akhir ini harus menghasilkan respons dalam format OpenAI berikut.

Untuk tugas penyelesaian:

{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Untuk tugas obrolan:

{
  "id": "123", # Not Required
  "model": "test_chat_model",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "finish_reason": "stop"
  },
  {
    "index": 1,
    "message": {
      "role": "human",
      "content": "\n\nWhat is the weather in San Francisco?",
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Untuk tugas penyematan:

{
  "data": [
    {
      "embedding": [
        0.0023064255,
        -0.009327292,
        .... # (1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    },
    {
      "embedding": [
        0.0023064255,
        -0.009327292,
        .... #(1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    }
  ],
  "model": "test_embedding_model",
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Konfigurasi titik akhir

Untuk melayani dan mengkueri model eksternal, Anda perlu mengonfigurasi titik akhir penyajian. Lihat Membuat model eksternal yang melayani titik akhir

Untuk model eksternal yang melayani titik akhir, Anda harus menyertakan external_model bidang dan parameternya di bagian served_entities konfigurasi titik akhir. Jika Anda mengonfigurasi beberapa model eksternal dalam titik akhir penyajian, Anda harus menyediakan traffic_config untuk menentukan persentase perutean lalu lintas untuk setiap model eksternal.

Bidang external_model menentukan model tempat titik akhir ini meneruskan permintaan. Saat menentukan model, sangat penting bahwa penyedia mendukung model yang Anda minta. Misalnya, openai karena penyedia mendukung model seperti text-embedding-ada-002, tetapi penyedia lain mungkin tidak. Jika model tidak didukung oleh penyedia, Databricks mengembalikan kesalahan HTTP 4xx saat mencoba merutekan permintaan ke model tersebut.

Tabel di bawah ini meringkas external_model parameter bidang. Lihat POST /api/2.0/serving-endpoints untuk parameter konfigurasi titik akhir.

Parameter	Deskripsi
name	Nama model yang akan digunakan. Misalnya, gpt-3.5-turbo untuk model OpenAI GPT-3.5-Turbo .
provider	Menentukan nama penyedia untuk model ini. Nilai string ini harus sesuai dengan penyedia model eksternal yang didukung. Misalnya, openai untuk model OpenAI GPT-3.5 .
task	Tugas ini sesuai dengan jenis interaksi model bahasa yang Anda inginkan. Tugas yang didukung adalah "llm/v1/completions", "llm/v1/chat", "llm/v1/embeddings".
<provider>_config	Berisi detail konfigurasi tambahan yang diperlukan untuk model. Ini termasuk menentukan URL dasar API dan kunci API. Lihat Mengonfigurasi penyedia untuk titik akhir.

Berikut ini adalah contoh pembuatan titik akhir model eksternal menggunakan create_endpoint() API. Dalam contoh ini, permintaan yang dikirim ke titik akhir penyelesaian diteruskan ke claude-2 model yang disediakan oleh anthropic.

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

client.create_endpoint(
    name="anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "name": "test",
                "external_model": {
                    "name": "claude-2",
                    "provider": "anthropic",
                    "task": "llm/v1/completions",
                    "anthropic_config": {
                        "anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
                    }
                }
            }
        ]
    }
)

Mengonfigurasi penyedia untuk titik akhir

Saat membuat titik akhir, Anda harus menyediakan konfigurasi yang diperlukan untuk penyedia model yang ditentukan. Bagian berikut ini meringkas parameter konfigurasi titik akhir yang tersedia untuk setiap penyedia model.

Catatan

Databricks mengenkripsi dan menyimpan kredensial yang disediakan dengan aman untuk setiap penyedia model. Kredensial ini secara otomatis dihapus ketika titik akhir terkait dihapus.

OpenAI

Parameter Konfigurasi	Deskripsi	Wajib diisi	Default
openai_api_key	Referensi kunci rahasia Azure Databricks untuk kunci API OpenAI menggunakan layanan OpenAI. Jika Anda lebih suka menempelkan kunci API Anda secara langsung, lihat openai_api_key_plaintext.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: openai_api_key atau openai_api_key_plaintext.
openai_api_key_plaintext	Kunci OPENAI API menggunakan layanan OpenAI yang disediakan sebagai string teks biasa. Jika Anda lebih suka mereferensikan kunci Anda menggunakan Rahasia Azure Databricks, lihat openai_api_key.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: openai_api_key atau openai_api_key_plaintext harus disediakan.
openai_api_type	Bidang opsional untuk menentukan jenis OPENAI API yang akan digunakan.	No	openai
openai_api_base	URL dasar untuk API OpenAI.	No	https://api.openai.com/v1
openai_api_version	Bidang opsional untuk menentukan versi OpenAI API.	No
openai_organization	Bidang opsional untuk menentukan organisasi di OpenAI.	No

Cohere

Parameter Konfigurasi	Deskripsi	Wajib diisi	Default
cohere_api_key	Referensi kunci rahasia Azure Databricks untuk kunci API Cohere. Jika Anda lebih suka menempelkan kunci API Anda secara langsung, lihat cohere_api_key_plaintext.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: cohere_api_key atau cohere_api_key_plaintext.
cohere_api_key_plaintext	Kunci COhere API disediakan sebagai string teks biasa. Jika Anda lebih suka mereferensikan kunci Anda menggunakan Rahasia Azure Databricks, lihat cohere_api_key.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: cohere_api_key atau cohere_api_key_plaintext.
cohere_api_base	URL dasar untuk layanan Cohere.	No

Antropis

Parameter Konfigurasi	Deskripsi	Wajib diisi	Default
anthropic_api_key	Referensi kunci rahasia Azure Databricks untuk kunci API Antropik. Jika Anda lebih suka menempelkan kunci API Anda secara langsung, lihat anthropic_api_key_plaintext.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: anthropic_api_key atau anthropic_api_key_plaintext.
anthropic_api_key_plaintext	Kunci API Anthropic disediakan sebagai string teks biasa. Jika Anda lebih suka mereferensikan kunci Anda menggunakan Rahasia Azure Databricks, lihat anthropic_api_key.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: anthropic_api_key atau anthropic_api_key_plaintext.

Azure OpenAI

Azure OpenAI memiliki fitur yang berbeda dibandingkan dengan layanan OpenAI langsung. Untuk gambaran umum, silakan lihat dokumentasi perbandingan.

Parameter Konfigurasi	Deskripsi	Wajib diisi	Default
openai_api_key	Referensi kunci rahasia Azure Databricks untuk kunci API OpenAI menggunakan layanan Azure. Jika Anda lebih suka menempelkan kunci API Anda secara langsung, lihat openai_api_key_plaintext.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: openai_api_key atau openai_api_key_plaintext.
openai_api_key_plaintext	Kunci OPENAI API menggunakan layanan Azure yang disediakan sebagai string teks biasa. Jika Anda lebih suka mereferensikan kunci Anda menggunakan Rahasia Azure Databricks, lihat openai_api_key.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: openai_api_key atau openai_api_key_plaintext.
openai_api_type	Gunakan azure untuk validasi token akses.	Ya
openai_api_base	URL dasar untuk layanan Azure OpenAI API yang disediakan oleh Azure.	Ya
openai_api_version	Versi layanan Azure OpenAI untuk digunakan, ditentukan oleh tanggal.	Ya
openai_deployment_name	Nama sumber daya penyebaran untuk layanan Azure OpenAI.	Ya
openai_organization	Bidang opsional untuk menentukan organisasi di OpenAI.	No

Jika Anda menggunakan Azure OpenAI dengan MICROSOFT Entra ID, gunakan parameter berikut dalam konfigurasi titik akhir Anda.

Parameter Konfigurasi	Deskripsi	Wajib diisi	Default
microsoft_entra_tenant_id	ID penyewa untuk autentikasi ID Microsoft Entra.	Ya
microsoft_entra_client_id	ID klien untuk autentikasi ID Microsoft Entra.	Ya
microsoft_entra_client_secret	Referensi kunci rahasia Azure Databricks untuk rahasia klien yang digunakan untuk autentikasi ID Microsoft Entra. Jika Anda lebih suka menempelkan rahasia klien Anda secara langsung, lihat microsoft_entra_client_secret_plaintext.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: microsoft_entra_client_secret atau microsoft_entra_client_secret_plaintext.
microsoft_entra_client_secret_plaintext	Rahasia klien yang digunakan untuk autentikasi ID Microsoft Entra disediakan sebagai string teks biasa. Jika Anda lebih suka mereferensikan kunci Anda menggunakan Rahasia Azure Databricks, lihat microsoft_entra_client_secret.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: microsoft_entra_client_secret atau microsoft_entra_client_secret_plaintext.
openai_api_type	Gunakan azuread untuk autentikasi menggunakan ID Microsoft Entra.	Ya
openai_api_base	URL dasar untuk layanan Azure OpenAI API yang disediakan oleh Azure.	Ya
openai_api_version	Versi layanan Azure OpenAI untuk digunakan, ditentukan oleh tanggal.	Ya
openai_deployment_name	Nama sumber daya penyebaran untuk layanan Azure OpenAI.	Ya
openai_organization	Bidang opsional untuk menentukan organisasi di OpenAI.	No

Contoh berikut menunjukkan cara membuat titik akhir dengan Azure OpenAI:

client.create_endpoint(
    name="openai-chat-endpoint",
    config={
        "served_entities": [{
            "external_model": {
                "name": "gpt-3.5-turbo",
                "provider": "openai",
                "task": "llm/v1/chat",
                "openai_config": {
                    "openai_api_type": "azure",
                    "openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
                    "openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
                    "openai_deployment_name": "my-gpt-35-turbo-deployment",
                    "openai_api_version": "2023-05-15"
                }
            }
        }]
    }
)

Google Cloud Vertex AI

Parameter Konfigurasi	Deskripsi	Wajib diisi	Default
private_key	Referensi kunci rahasia Azure Databricks untuk kunci privat untuk akun layanan yang memiliki akses ke Layanan AI Google Cloud Vertex. Lihat Praktik terbaik untuk mengelola kunci akun layanan. Jika Anda lebih suka menempelkan kunci API Anda secara langsung, lihat private_key_plaintext.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: private_key atau private_key_plaintext.
private_key_plaintext	Kunci privat untuk akun layanan yang memiliki akses ke Layanan AI Google Cloud Vertex yang disediakan sebagai rahasia teks biasa. Lihat Praktik terbaik untuk mengelola kunci akun layanan. Jika Anda lebih suka mereferensikan kunci Anda menggunakan Rahasia Azure Databricks, lihat private_key.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: private_key atau private_key_plaintext.
region	Ini adalah wilayah untuk Layanan AI Google Cloud Vertex. Lihat wilayah yang didukung untuk detail selengkapnya. Beberapa model hanya tersedia di wilayah tertentu.	Ya
project_id	Ini adalah id proyek Google Cloud yang dikaitkan dengan akun layanan.	Ya

Amazon Bedrock

Untuk menggunakan Amazon Bedrock sebagai penyedia model eksternal, pelanggan perlu memastikan Bedrock diaktifkan di wilayah AWS yang ditentukan, dan pasangan kunci AWS yang ditentukan memiliki izin yang sesuai untuk berinteraksi dengan layanan Bedrock. Untuk informasi selengkapnya, lihat AWS Identity and Access Management.

Parameter Konfigurasi	Deskripsi	Wajib diisi	Default
aws_region	Wilayah AWS yang akan digunakan. Bedrock harus diaktifkan di sana.	Ya
aws_access_key_id	Referensi kunci rahasia Azure Databricks untuk ID kunci akses AWS dengan izin untuk berinteraksi dengan layanan Bedrock. Jika Anda lebih suka menempelkan kunci API Anda secara langsung, lihat aws_access_key_id_plaintext.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: aws_access_key_id atau aws_access_key_id_plaintext.
aws_access_key_id_plaintext	ID kunci akses AWS dengan izin untuk berinteraksi dengan layanan Bedrock yang disediakan sebagai string teks biasa. Jika Anda lebih suka mereferensikan kunci Anda menggunakan Rahasia Azure Databricks, lihat aws_access_key_id.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: aws_access_key_id atau aws_access_key_id_plaintext.
aws_secret_access_key	Referensi kunci rahasia Azure Databricks untuk kunci akses rahasia AWS yang dipasangkan dengan ID kunci akses, dengan izin untuk berinteraksi dengan layanan Bedrock. Jika Anda lebih suka menempelkan kunci API Anda secara langsung, lihat aws_secret_access_key_plaintext.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: aws_secret_access_key atau aws_secret_access_key_plaintext.
aws_secret_access_key_plaintext	Kunci akses rahasia AWS dipasangkan dengan ID kunci akses, dengan izin untuk berinteraksi dengan layanan Bedrock yang disediakan sebagai string teks biasa. Jika Anda lebih suka mereferensikan kunci Anda menggunakan Rahasia Azure Databricks, lihat aws_secret_access_key.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: aws_secret_access_key atau aws_secret_access_key_plaintext.
bedrock_provider	Penyedia yang mendasar di Amazon Bedrock. Nilai yang didukung (tidak peka huruf besar/kecil) meliputi: Anthropic, Cohere, AI21Labs, Amazon	Ya

Contoh berikut menunjukkan cara membuat titik akhir dengan Amazon Bedrock menggunakan kunci akses.

client.create_endpoint(
    name="bedrock-anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "claude-v2",
                    "provider": "amazon-bedrock",
                    "task": "llm/v1/completions",
                    "amazon_bedrock_config": {
                        "aws_region": "<YOUR_AWS_REGION>",
                        "aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
                        "aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
                        "bedrock_provider": "anthropic",
                    },
                }
            }
        ]
    },
)

Jika ada masalah izin AWS, Databricks menyarankan agar Anda memverifikasi kredensial langsung dengan AMAZON Bedrock API.

Lab AI21

Parameter Konfigurasi	Deskripsi	Wajib diisi	Default
ai21labs_api_key	Referensi kunci rahasia Azure Databricks untuk kunci API AI21 Labs. Jika Anda lebih suka menempelkan kunci API Anda secara langsung, lihat ai21labs_api_key_plaintext.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: ai21labs_api_key atau ai21labs_api_key_plaintext.
ai21labs_api_key_plaintext	Kunci AI21 Labs API disediakan sebagai string teks biasa. Jika Anda lebih suka mereferensikan kunci Anda menggunakan Rahasia Azure Databricks, lihat ai21labs_api_key.	Anda harus menyediakan kunci API menggunakan salah satu bidang berikut: ai21labs_api_key atau ai21labs_api_key_plaintext.

Mengonfigurasi Gateway AI pada titik akhir

Anda juga dapat mengonfigurasi titik akhir untuk mengaktifkan fitur Gateway Mosaic AI, seperti pembatasan tarif, pelacakan penggunaan, dan pagar pembatas.

Lihat Mengonfigurasi Gateway AI pada model yang melayani titik akhir.

Mengkueri titik akhir model eksternal

Setelah Anda membuat titik akhir model eksternal, siap untuk menerima lalu lintas dari pengguna.

Anda dapat mengirim permintaan penilaian ke titik akhir menggunakan klien OpenAI, REST API, atau MLflow Deployments SDK.

• Lihat parameter kueri standar untuk permintaan penilaian di POST /serving-endpoints/{name}/invocations.
• Model AI generatif kueri

Contoh berikut mengkueri claude-2 model penyelesaian yang dihosting oleh Anthropic menggunakan klien OpenAI. Untuk menggunakan klien OpenAI, isi model bidang dengan nama model yang melayani titik akhir yang menghosting model yang ingin Anda kueri.

Contoh ini menggunakan titik akhir yang dibuat sebelumnya, anthropic-completions-endpoint, dikonfigurasi untuk mengakses model eksternal dari penyedia model Antropik. Lihat cara membuat titik akhir model eksternal.

Lihat Model yang didukung untuk model tambahan yang bisa Anda kueri dan penyedianya.

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

completion = client.completions.create(
  model="anthropic-completions-endpoint",
  prompt="what is databricks",
  temperature=1.0
)
print(completion)

Format respons output yang diharapkan:

{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Parameter kueri tambahan

Anda dapat meneruskan parameter tambahan apa pun yang didukung oleh penyedia titik akhir sebagai bagian dari kueri Anda.

Contohnya:

• logit_bias (didukung oleh OpenAI, Cohere).
• top_k (didukung oleh Anthropic, Cohere).
• frequency_penalty (didukung oleh OpenAI, Cohere).
• presence_penalty (didukung oleh OpenAI, Cohere).
• stream (didukung oleh OpenAI, Anthropic, Cohere, Amazon Bedrock for Anthropic). Ini hanya tersedia untuk permintaan obrolan dan penyelesaian.

Batasan

Bergantung pada model eksternal yang Anda pilih, konfigurasi Anda dapat menyebabkan data Anda diproses di luar wilayah tempat data Anda berasal. Lihat Batas dan wilayah Layanan Model.

Sumber Daya Tambahan:

• Tutorial: Membuat titik akhir model eksternal untuk mengkueri model OpenAI.
• Mengkueri model AI generatif.