Azure OpenAI penyelesaian yang disimpan dan distilasi (tidak digunakan lagi)

Warning

Penyelesaian tersimpan dihentikan pada 15 Oktober 2026. Untuk panduan migrasi, lihat Bermigrasi dari stored completions ke API Responses dan Agent Traces.

Hanya berlaku untuk:Portal Foundry (klasik). Artikel ini tidak tersedia untuk portal Foundry baru. Pelajari selengkapnya tentang portal baru.

Nota

Tautan dalam artikel ini mungkin membuka konten dalam dokumentasi Microsoft Foundry baru alih-alih dokumentasi Foundry (klasik) yang Anda lihat sekarang.

Penyelesaian tersimpan memungkinkan Anda mengambil riwayat percakapan dari sesi penyelesaian obrolan untuk digunakan sebagai himpunan data untuk evaluasi dan penyempurnaan.

Dukungan penyimpanan hasil akhir

Ketersediaan model dan wilayah

Selama Anda menggunakan Chat Completions API untuk inferensi, Anda dapat memanfaatkan hasil penyelesaian yang telah disimpan. Ini didukung untuk semua model OpenAI Azure, dan di semua wilayah yang didukung (termasuk wilayah khusus global).

Mengonfigurasi penyelesaian yang disimpan

Untuk mengaktifkan penyelesaian tersimpan untuk penyebaran OpenAI Azure Anda, atur parameter store ke True. metadata Gunakan parameter untuk memperkaya himpunan data penyelesaian tersimpan Anda dengan informasi tambahan.

import os
from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://ai.azure.com/.default"
)

client = OpenAI(
  base_url="https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
  api_key=token_provider,
)

completion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Setelah penyelesaian tersimpan diaktifkan untuk penyebaran Azure OpenAI, penyelesaian tersebut akan mulai muncul di portal Microsoft Foundry pada panel Penyelesaian Tersimpan.

Cuplikan layar Pengalaman Pengguna hasil yang tersimpan.

Distilasi

Penyulingan memungkinkan Anda mengubah hasil akhir yang telah disimpan menjadi kumpulan data untuk penyempurnaan. Kasus penggunaan umum adalah menggunakan hasil penyelesaian yang disimpan dengan model yang lebih besar dan lebih kuat untuk tugas tertentu dan kemudian menggunakan hasil penyelesaian yang disimpan untuk melatih model yang lebih kecil dengan contoh interaksi model yang berkualitas tinggi.

Penyulingan memerlukan minimal 10 kelengkapan yang tersimpan, meskipun disarankan untuk menyediakan ratusan hingga ribuan kelengkapan yang tersimpan agar memperoleh hasil terbaik.

  1. Dari panel Stored Completions di portal Foundry, gunakan opsi Filter untuk memilih penyelesaian yang ingin Anda gunakan untuk melatih model Anda.

  2. Untuk memulai penyulingan, pilih Distill

    Cuplikan layar dari pengalaman pengguna dengan penyelesaian tersimpan yang disorot menggunakan distilasi.

  3. Pilih model mana yang ingin Anda sesuaikan dengan himpunan data penyelesaian yang disimpan.

    Cuplikan layar pemilihan model penyulingan penyelesaian tersimpan.

  4. Konfirmasikan versi model mana yang ingin Anda sesuaikan:

    Cuplikan layar versi distilasi hasil akhir yang disimpan.

  5. File .jsonl dengan nama yang dihasilkan secara acak akan dibuat sebagai himpunan data pelatihan dari penyelesaian tersimpan Anda. Pilih file >Berikutnya.

    Nota

    File pelatihan distilasi selesai yang tersimpan tidak dapat diakses langsung dan tidak dapat diekspor atau diunduh.

    Cuplikan layar dari file jsonl kumpulan data pelatihan penyelesaian yang disimpan.

Langkah-langkah lainnya sesuai dengan langkah-langkah penyempurnaan OpenAI Azure umum. Untuk mempelajari lebih lanjut, lihat panduan memulai penyesuaian kami.

Penilaian

Evaluasi model bahasa besar adalah langkah penting dalam mengukur performanya di berbagai tugas dan dimensi. Ini sangat penting untuk model yang disempurnakan, di mana menilai perolehan performa (atau kerugian) dari pelatihan sangat penting. Evaluasi menyeluruh dapat membantu pemahaman Anda tentang bagaimana versi model yang berbeda dapat memengaruhi aplikasi atau skenario Anda.

Penyelesaian tersimpan dapat digunakan sebagai himpunan data untuk menjalankan evaluasi.

  1. Dari panel Stored Completions di portal Foundry gunakan opsi Filter untuk memilih penyelesaian yang Ingin Anda jadikan bagian dari himpunan data evaluasi Anda.

  2. Untuk mengonfigurasi evaluasi, pilih Evaluasi

    Cuplikan layar panel penyelesaian tersimpan dengan evaluasi dipilih.

  3. Ini meluncurkan panel Evaluasi dengan file .jsonl yang telah diisi sebelumnya, dengan nama yang dihasilkan secara acak, yang dibuat dari penyelesaian tersimpan Anda sebagai himpunan data evaluasi.

    Nota

    File data evaluasi penyelesaian tersimpan tidak dapat diakses secara langsung dan tidak dapat diekspor secara eksternal/diunduh.

    Cuplikan layar panel evaluasi.

Untuk mempelajari selengkapnya tentang evaluasi, lihat memulai dengan evaluasi

API penyelesaian yang disimpan

Untuk mengakses perintah API komplet yang tersimpan, Anda mungkin perlu meningkatkan versi perpustakaan OpenAI Anda.

pip install --upgrade openai

Daftar penyelesaian yang tersimpan

Parameter tambahan:

  • metadata: Filter berdasarkan pasangan kunci/nilai dalam penyelesaian tersimpan
  • after: Pengidentifikasi untuk pesan selesai terakhir yang disimpan dari permintaan paginasi terakhir kali.
  • limit: Jumlah pesan penyelesaian tersimpan yang dapat diambil.
  • order: Urutan hasil menurut indeks (naik atau menurun).
from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://ai.azure.com/.default"
)

client = OpenAI(
  base_url="https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
  api_key=token_provider,
)

response = client.chat.completions.list()

print(response.model_dump_json(indent=2))

Mendapatkan penyelesaian tersimpan

Dapatkan penyelesaian tersimpan berdasarkan ID.

from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://ai.azure.com/.default"
)

client = OpenAI(
  base_url="https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
  api_key=token_provider
)

response = client.chat.completions.retrieve("chatcmpl-A1bC2dE3fH4iJ5kL6mN7oP8qR9sT0u")

print(response.model_dump_json(indent=2))

Mendapatkan pesan penyelesaian obrolan tersimpan

Parameter tambahan:

  • after: Pengidentifikasi untuk pesan selesai terakhir yang disimpan dari permintaan paginasi terakhir kali.
  • limit: Jumlah pesan penyelesaian tersimpan yang dapat diambil.
  • order: Urutan hasil menurut indeks (naik atau menurun).
from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://ai.azure.com/.default"
)

client = OpenAI(
  base_url="https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
  api_key=token_provider,
)

response = client.chat.completions.messages.list("chatcmpl-A1bC2dE3fH4iJ5kL6mN7oP8qR9sT0u", limit=2)

print(response.model_dump_json(indent=2))

Memperbarui hasil obrolan yang telah disimpan

Tambahkan pasangan kunci dan nilai metadata ke dalam penyelesaian yang sudah disimpan.

from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://ai.azure.com/.default"
)

client = AzureOpenAI(
  base_url="https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
  api_key=token_provider,
)

response = client.chat.completions.update(
    "chatcmpl-C2dE3fH4iJ5kL6mN7oP8qR9sT0uV1w",
    metadata={"fizz": "buzz"}
)

print(response.model_dump_json(indent=2))

Menghapus hasil akhir obrolan yang tersimpan

Hapus penyelesaian yang disimpan berdasarkan ID penyelesaian.

Microsoft Entra ID

from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://ai.azure.com/.default"
)

client = OpenAI(
  base_url="https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
  api_key=token_provider
)

response = client.chat.completions.delete("chatcmpl-A1bC2dE3fH4iJ5kL6mN7oP8qR9sT0u")

print(response.model_dump_json(indent=2))

Troubleshooting

Apakah saya memerlukan izin khusus untuk menggunakan penyelesaian yang disimpan?

Akses penyelesaian tersimpan dikontrol melalui dua DataActions:

  • Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/read
  • Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/action

Secara default peran Foundry User memiliki akses ke kedua izin ini:

Penting

Peran Foundry RBAC baru-baru ini diubah namanya. Pengguna Foundry, Pemilik Foundry, Pemilik Akun Foundry, dan Manajer Proyek Foundry sebelumnya bernama Pengguna Azure AI, Pemilik Azure AI, Pemilik Akun Azure AI, dan Manajer Proyek Azure AI. Anda mungkin masih melihat nama sebelumnya di beberapa tempat saat penggantian nama diluncurkan. ID peran dan izin inti tidak berubah oleh penggantian nama.

Cuplikan layar izin penyelesaian tersimpan.

Bagaimana cara saya menghapus data yang tersimpan?

Data dapat dihapus dengan menghapus sumber daya OpenAI Azure terkait. Jika Anda hanya ingin menghapus data penyelesaian tersimpan, Anda harus membuka kasus dengan layanan pelanggan.

Berapa banyak data penyelesaian yang dapat saya simpan?

Anda dapat menyimpan data maksimum 10 GB.

Dapatkah saya mencegah penyelesaian tersimpan di proyek saya?

Pengguna sumber daya OpenAI Azure dapat menonaktifkan penyelesaian tersimpan dalam portal Azure. Dalam sumber daya OpenAI Azure, navigasikan ke panel Penyelesaian Tersimpan dalam tampilan Manajemen Sumber Daya. Alihkan kontrol Penyelesaian Tersimpan ke Dinonaktifkan dan klik Simpan.

Pengguna sumber daya Foundry harus membuka kasus dengan dukungan pelanggan untuk menonaktifkan Penyelesaian Tersimpan di tingkat langganan Azure.

TypeError: Completions.create() menerima argumen 'store' yang tidak terduga

Kesalahan ini terjadi saat Anda menjalankan versi lama pustaka klien OpenAI yang mendahului fitur penyelesaian tersimpan yang dirilis. Jalankan pip install openai --upgrade.