Tanya jawab umum tentang Azure OpenAI Service

Azure OpenAI tidak menggunakan data pelanggan untuk melatina ulang model. Untuk informasi selengkapnya, lihat panduan data, privasi, dan keamanan Azure OpenAI.

Azure OpenAI didukung oleh rilis terbaru pustaka OpenAI Python (versi>=1.0). Namun, penting untuk mencatat migrasi basis kode Anda menggunakan openai migrate tidak didukung dan tidak akan berfungsi dengan kode yang menargetkan Azure OpenAI.

Pratinjau GPT-4 Turbo adalah gpt-4 model (pratinjau 1106). Untuk menyebarkan model ini, di bawah Penyebaran pilih model gpt-4. Untuk Versi model pilih 1106-preview. Untuk memeriksa wilayah mana model ini tersedia, lihat halaman model.

Azure OpenAI mendukung model GPT-4 terbaru. Ini mendukung GPT-4 dan GPT-4-32K.

Azure OpenAI Service memberi pelanggan AI bahasa lanjutan dengan model OpenAI GPT-3, Codex, dan DALL-E dengan janji keamanan dan perusahaan Azure. Azure OpenAI bersama-sama mengembangkan API dengan OpenAI, memastikan kompatibilitas dan transisi yang lancar dari satu ke yang lain.

Dengan Azure OpenAI, pelanggan mendapatkan kemampuan keamanan Microsoft Azure sambil menjalankan model yang sama dengan OpenAI.

Ya, sebagai bagian dari layanan Azure AI, Azure OpenAI mendukung VNET dan Titik Akhir Privat. Untuk mempelajari lebih lanjut , lihat panduan jaringan virtual layanan Azure AI.

Tidak, GPT-4 dirancang oleh OpenAI untuk menjadi multimodal, tetapi saat ini hanya input dan output teks yang didukung.

Sebelumnya, proses untuk menambahkan kasus penggunaan baru mengharuskan pelanggan untuk menerapkan kembali ke layanan. Sekarang, kami merilis proses baru yang memungkinkan Anda menambahkan kasus penggunaan baru dengan cepat ke penggunaan layanan. Proses ini mengikuti proses Akses Terbatas yang ditetapkan dalam layanan Azure AI. Pelanggan yang ada dapat membuktikan setiap dan semua kasus penggunaan baru di sini. Perhatikan bahwa ini diperlukan kapan saja Anda ingin menggunakan layanan untuk kasus penggunaan baru yang awalnya tidak Anda ajukan.

Kesalahan ini biasanya terjadi ketika Anda mencoba mengirim batch teks untuk disematkan dalam satu permintaan API sebagai array. Saat ini Azure OpenAI hanya mendukung array penyematan dengan beberapa input untuk text-embedding-ada-002 model Versi 2. Versi model ini mendukung array yang terdiri dari hingga 16 input per permintaan API. Panjang array dapat mencapai 8.191 token saat menggunakan model text-embedding-ada-002 (Versi 2).

Lihat pengantar kami untuk meminta rekayasa. Meskipun model ini kuat, perilakunya juga sangat sensitif terhadap perintah yang mereka terima dari pengguna. Hal ini membuat konstruksi yang cepat menjadi keterampilan yang penting untuk dikembangkan. Setelah Anda menyelesaikan pengenalan, lihat artikel kami tentang teknik rekayasa prompt tingkat lanjut.

Ini adalah perilaku yang diharapkan saat menggunakan pengalaman masuk default untuk Azure OpenAI Studio.

Untuk mengakses Azure OpenAI Studio dari akun tamu yang telah diberikan akses ke sumber daya Azure OpenAI:

1. Buka sesi browser privat lalu navigasikan ke https://oai.azure.com.
2. Alih-alih segera memasukkan kredensial akun tamu Anda, pilih Sign-in options
3. Sekarang pilih Masuk ke organisasi
4. Masukkan nama domain organisasi yang memberikan akses akun tamu Anda ke sumber daya Azure OpenAI.
5. Sekarang masuk dengan kredensial akun tamu Anda.

Anda sekarang dapat mengakses sumber daya melalui Azure OpenAI Studio.

Atau jika Anda masuk ke portal Azure dari panel Gambaran Umum sumber daya Azure OpenAI, Anda dapat memilih Buka Azure OpenAI Studio untuk masuk secara otomatis dengan konteks organisasi yang sesuai.

Model Azure OpenAI (termasuk GPT-4) tidak dapat mengidentifikasi model apa yang berjalan dengan benar adalah perilaku yang diharapkan.

Mengapa hal ini terjadi?

Pada akhirnya, model melakukan prediksi token berikutnya sebagai respons atas pertanyaan Anda. Model tidak memiliki kemampuan asli untuk mengkueri versi model apa yang saat ini sedang dijalankan untuk menjawab pertanyaan Anda. Untuk menjawab pertanyaan ini, Anda selalu dapat membuka Penyebaran> Manajemen>Azure OpenAI Studio>dan berkonsultasi dengan kolom nama model untuk mengonfirmasi model apa yang saat ini terkait dengan nama penyebaran tertentu.

Pertanyaan, "Model apa yang Anda jalankan?" atau "Apa model terbaru dari OpenAI?" menghasilkan hasil kualitas yang sama untuk menanyakan model apa cuacanya hari ini. Ini mungkin mengembalikan hasil yang benar, tetapi murni secara kebetulan. Dengan sendirinya, model tidak memiliki informasi dunia nyata selain apa yang merupakan bagian dari data pelatihan/pelatihannya. Dalam kasus GPT-4, per Agustus 2023 data pelatihan yang mendasar hanya naik hingga September 2021. GPT-4 tidak dirilis hingga Maret 2023, jadi mengharuskan OpenAI merilis versi baru dengan data pelatihan yang diperbarui, atau versi baru yang disempurnakan untuk menjawab pertanyaan spesifik tersebut, perilaku yang diharapkan bagi GPT-4 untuk menanggapi bahwa GPT-3 adalah rilis model terbaru dari OpenAI.

Jika Anda ingin membantu model berbasis GPT untuk secara akurat menanggapi pertanyaan "model apa yang Anda jalankan?", Anda perlu memberikan informasi tersebut kepada model melalui teknik seperti rekayasa cepat pesan sistem model, Pengambilan Augmented Generation (RAG) yang merupakan teknik yang digunakan oleh Azure OpenAI pada data Anda di mana informasi terbaru disuntikkan ke pesan sistem pada waktu kueri, atau melalui penyempurnaan di mana Anda dapat menyempurnakan versi model tertentu untuk menjawab pertanyaan tersebut dengan cara tertentu berdasarkan versi model.

Untuk mempelajari lebih lanjut tentang bagaimana model GPT dilatih dan bekerja, sebaiknya tonton pembicaraan Andrej Karpathy dari Build 2023 tentang status GPT.

Ini adalah perilaku yang diharapkan. Model tidak dapat menjawab pertanyaan tentang diri mereka sendiri. Jika Anda ingin tahu kapan potongan pengetahuan untuk data pelatihan model adalah, lihat halaman model.

Ini adalah perilaku yang diharapkan. Pertama, tidak ada jaminan bahwa setiap peristiwa baru-baru ini adalah bagian dari data pelatihan model. Dan bahkan ketika informasi adalah bagian dari data pelatihan, tanpa menggunakan teknik tambahan seperti Retrieval Augmented Generation (RAG) untuk membantu membumikan respons model selalu ada kemungkinan respons yang tidak teralihkan terjadi. Baik Azure OpenAI menggunakan fitur data Anda dan Bing Chat menggunakan model Azure OpenAI yang dikombinasikan dengan Pengambilan Augmented Generation untuk membantu respons model dasar lebih lanjut.

Frekuensi bahwa bagian informasi tertentu yang muncul dalam data pelatihan juga dapat memengaruhi kemungkinan model akan merespons dengan cara tertentu.

Menanyakan model Pratinjau GPT-4 Turbo terbaru tentang sesuatu yang lebih baru-baru ini berubah seperti "Siapa perdana menteri Selandia Baru?", kemungkinan akan menghasilkan respons Jacinda Ardernfabrikasi . Namun, bertanya kepada model "Kapan mundur Jacinda Ardern sebagai perdana menteri?" Cenderung menghasilkan respons yang akurat yang menunjukkan pengetahuan data pelatihan setidaknya januari 2023.

Jadi meskipun dimungkinkan untuk memeriksa model dengan pertanyaan untuk menebak pemotongan pengetahuan data pelatihannya, halaman model adalah tempat terbaik untuk memeriksa potongan pengetahuan model.

Informasi harga warisan tersedia melalui file PDF yang dapat diunduh. Untuk semua model lainnya, lihat halaman harga resmi.

Anda dapat meminimalkan terjadinya kesalahan ini dengan mengurangi suhu permintaan Anda menjadi kurang dari 1 dan memastikan Anda menggunakan klien dengan logika coba lagi. Memasang ulang permintaan sering kali menghasilkan respons yang berhasil.

Jika layanan melakukan pemrosesan, Anda akan dikenakan biaya bahkan jika kode status tidak berhasil (bukan 200). Contoh umum dari ini adalah, kesalahan 400 karena filter konten atau batas input, atau kesalahan 408 karena batas waktu. Biaya juga akan terjadi ketika status 200 diterima dengan finish_reason .content_filter Dalam hal ini perintah tidak memiliki masalah, tetapi penyelesaian yang dihasilkan oleh model terdeteksi melanggar aturan pemfilteran konten, yang mengakibatkan penyelesaian difilter. Jika layanan tidak melakukan pemrosesan, Anda tidak akan dikenakan biaya. Misalnya, kesalahan 401 karena autentikasi atau kesalahan 429 karena melebihi Batas Tarif.

Akses saat ini dibatasi karena kami menangani permintaan yang tinggi, peningkatan produk yang akan datang, dan komitmen Microsoft terhadap AI yang bertanggung jawab. Untuk saat ini, kami bekerja dengan pelanggan dengan kemitraan yang sudah ada dengan Microsoft, kasus penggunaan risiko yang lebih rendah, dan mereka yang berkomitmen untuk memasukkan mitigasi. Terapkan di sini untuk akses awal: Terapkan sekarang

Saat ini kami tidak menyediakan garis waktu untuk persetujuan akses.

Untuk pembaruan bulanan, lihat halaman baru kami.

Lihat pengenalan kursus pelatihan Azure OpenAI kami.

• Sebaiknya posting pertanyaan di Tanya Jawab Microsoft.
• Atau, Anda dapat memposting pertanyaan di Stack Overflow.

Azure OpenAI adalah bagian dari layanan Azure AI. Anda dapat mempelajari tentang semua opsi dukungan untuk layanan Azure AI dalam panduan opsi dukungan dan bantuan.

Lihat panduan ketersediaan model Azure OpenAI.

Lihat panduan ketersediaan model Azure OpenAI untuk ketersediaan wilayah.

Agar berhasil mengakses penyempurnaan, Anda memerlukan Kontributor OpenAI Cognitive Services yang ditetapkan. Bahkan seseorang dengan izin Administrator Layanan tingkat tinggi masih memerlukan akun ini secara eksplisit diatur untuk mengakses penyempurnaan. Untuk informasi selengkapnya, silakan tinjau panduan kontrol akses berbasis peran.

Model dasar adalah model yang belum disesuaikan atau disempurnakan untuk kasus penggunaan tertentu. Model yang disempurnakan adalah versi model dasar yang disesuaikan di mana bobot model dilatih pada serangkaian perintah unik. Model yang disempurnakan memungkinkan Anda mencapai hasil yang lebih baik pada sejumlah tugas yang lebih luas tanpa perlu memberikan contoh terperinci untuk pembelajaran dalam konteks sebagai bagian dari perintah penyelesaian Anda. Untuk mempelajari lebih lanjut, tinjau panduan penyempurnaan kami.

100

Kami tidak memiliki waktu respons API yang ditentukan Perjanjian Tingkat Layanan (SLA) saat ini. Untuk informasi selengkapnya tentang SLA untuk Layanan Azure OpenAI, lihat halaman Perjanjian Tingkat Layanan (SLA) untuk Layanan Online.

Jika model yang disesuaikan (disempurnakan) disebarkan selama lebih dari 15 hari di mana tidak ada penyelesaian atau panggilan penyelesaian obrolan yang dilakukan padanya, penyebaran akan dihapus secara otomatis (dan tidak ada biaya hosting lebih lanjut yang dikeluarkan untuk penyebaran tersebut). Model yang dikustomisasi yang mendasar tetap tersedia dan dapat disebarkan ulang kapan saja. Untuk mempelajari lebih lanjut , lihat artikel cara penggunaan.

Saat ini ada dua REST API berbeda yang memungkinkan penyebaran model. Untuk fitur penyebaran model terbaru seperti kemampuan untuk menentukan versi model selama penyebaran untuk model seperti text-embedding-ada-002 Versi 2, gunakan panggilan Deployments - Create Or Update REST API.

Tidak, alokasi Token Per Menit (TPM) kuota tidak terkait dengan batas token input maksimum model. Batas token input model ditentukan dalam tabel model dan tidak terpengaruh oleh perubahan yang dilakukan pada TPM.

Tidak, kami tidak mendukung penyempurnaan kemampuan gambar GPT-4 saat ini.

Tidak, Anda dapat menggunakan dall-e-3 untuk menghasilkan gambar dan gpt-4-visual-preview untuk memahami gambar.

Saat ini kami mendukung PNG (.png), JPEG (.jpeg dan .jpg), WEBP (.webp), dan GIF non-animasi (.gif).

Ya, kami membatasi unggahan gambar hingga 20 MB per gambar.

Tidak, kami akan menghapus gambar untuk Anda secara otomatis setelah diproses oleh model.

Kami memproses gambar pada tingkat token, sehingga setiap gambar yang kami proses menghitung batas token per menit (TPM) Anda. Lihat bagian Token gambar dari Gambaran Umum untuk detail tentang rumus yang digunakan untuk menentukan jumlah token per gambar.

Tidak, model tidak menerima metadata gambar.

Jika gambar ambigu atau tidak jelas, model akan melakukan yang terbaik untuk menafsirkannya. Namun, hasilnya mungkin kurang akurat. Aturan praktis yang baik adalah bahwa jika manusia rata-rata tidak dapat melihat info dalam gambar pada resolusi yang digunakan dalam mode res rendah/tinggi, model juga tidak dapat.

Lihat bagian batasan GPT-4 Turbo dengan panduan konsep Visi.

Secara default GPT-4 vision-preview dan GPT-4 turbo-2024-04-09 memiliki max_tokens nilai 16. Tergantung pada permintaan Anda, nilai ini sering terlalu rendah dan dapat menyebabkan respons terpotong. Untuk mengatasi masalah ini, berikan nilai yang lebih besar max_tokens sebagai bagian dari permintaan API penyelesaian obrolan Anda. GPT-4o default ke 4096 max_tokens.

Ya. Tidak seperti API Penyelesaian Obrolan, Asisten Azure OpenAI adalah API stateful, yang berarti menyimpan data. Ada dua jenis data yang disimpan di Assistants API:

• Entitas stateful: Utas, pesan, dan eksekusi yang dibuat selama Asisten menggunakan.
• File: Diunggah selama penyiapan Asisten atau sebagai bagian dari pesan.

Data disimpan dalam akun penyimpanan aman yang dikelola Microsoft yang dipisahkan secara logis.

Semua data yang digunakan bertahan dalam sistem ini kecuali Anda secara eksplisit menghapus data ini. Gunakan fungsi hapus dengan ID utas utas yang ingin Anda hapus. Menghapus Run di Assistants Playground tidak menghapus utas, namun menghapusnya menggunakan fungsi hapus tidak akan mencantumkannya di halaman utas.

Tidak. Saat ini Asisten hanya mendukung file lokal yang diunggah ke penyimpanan yang dikelola Asisten. Anda tidak dapat menggunakan akun penyimpanan privat Anda dengan Asisten.

Hari ini kami mendukung CMK untuk Utas dan File di Asisten. Lihat halaman Apa yang baru untuk wilayah yang tersedia untuk fitur ini.

Tidak. Data tidak digunakan untuk Microsoft yang tidak digunakan untuk model pelatihan. Lihat dokumentasi AI yang bertanggung jawab untuk informasi selengkapnya.

Titik akhir Asisten Azure OpenAI bersifat regional, dan data disimpan di wilayah yang sama dengan titik akhir. Untuk informasi selengkapnya, lihat dokumentasi residensi data Azure.

• Biaya inferensi (input dan output) model dasar yang Anda gunakan untuk setiap Asisten (misalnya gpt-4-0125). Jika Anda telah membuat beberapa Asisten, Anda akan dikenakan biaya untuk model dasar yang dilampirkan ke setiap Asisten.
• Jika Anda telah mengaktifkan alat Penerjemah Kode. Misalnya jika asisten Anda memanggil Penerjemah Kode secara bersamaan dalam dua utas yang berbeda, ini akan membuat dua sesi Penerjemah Kode, yang masing-masing akan dikenakan biaya. Setiap sesi aktif secara default selama satu jam, yang berarti Anda hanya akan membayar biaya ini sekali jika pengguna Anda terus memberikan instruksi kepada Penerjemah Kode dalam utas yang sama hingga satu jam.
• Pencarian file saat ini tidak ditagih.

Untuk informasi lebih lanjut, lihat halaman harga.

Tidak. Semua kuota berlaku untuk menggunakan model dengan Asisten.

Assistants API hanya mendukung model Azure OpenAI.

Assistants API saat ini dalam pratinjau publik. Dapatkan informasi terbaru tentang pembaruan produk terbaru kami dengan mengunjungi halaman Apa yang Baru kami secara berkala.

Lihat artikel Konseptual, mulai cepat, panduan untuk informasi tentang memulai dan menggunakan Asisten. Anda juga dapat memeriksa sampel kode Asisten Azure OpenAI di GitHub.

Anda dapat menyesuaikan aplikasi web yang diterbitkan di portal Azure. Kode sumber untuk aplikasi web yang diterbitkan tersedia di GitHub, di mana Anda dapat menemukan informasi tentang mengubah frontend aplikasi, serta instruksi untuk membangun dan menyebarkan aplikasi.

Kode aplikasi Anda tidak akan ditimpa saat Memperbarui aplikasi. Aplikasi ini akan diperbarui untuk menggunakan sumber daya Azure OpenAI, indeks Azure AI Search (jika Anda menggunakan Azure OpenAI pada data Anda), dan pengaturan model yang dipilih di Azure OpenAI Studio tanpa perubahan pada tampilan atau fungsionalitas.

Azure OpenAI pada data Anda adalah fitur Azure OpenAI Services yang membantu organisasi menghasilkan wawasan, konten, dan pencarian yang disesuaikan menggunakan sumber data yang ditunjuk. Ini bekerja dengan kemampuan model OpenAI di Azure OpenAI untuk memberikan respons yang lebih akurat dan relevan terhadap kueri pengguna dalam bahasa alami. Azure OpenAI pada data Anda dapat diintegrasikan dengan aplikasi dan alur kerja pelanggan yang ada, menawarkan wawasan tentang indikator performa utama, dan dapat berinteraksi dengan pengguna dengan mulus.

Semua pelanggan Azure OpenAI dapat menggunakan Azure OpenAI pada data Anda melalui studio Azure AI dan Rest API.

Azure OpenAI pada data Anda mendukung penyerapan dari Azure AI Search, Azure Blob Storage, dan mengunggah file lokal. Anda dapat mempelajari selengkapnya tentang Azure OpenAI pada data Anda dari artikel konseptual dan mulai cepat.

Saat menggunakan Azure OpenAI pada data Anda, Anda dikenakan biaya saat menggunakan Azure AI Search, Azure Blob Storage, Azure Web App Service, pencarian semantik, dan model OpenAI. Tidak ada biaya tambahan untuk menggunakan fitur "data Anda" di Azure AI Studio.

Anda dapat menyiapkan indeks sendiri menggunakan skrip yang disediakan di GitHub. Menggunakan skrip ini akan membuat indeks Pencarian Azure AI dengan semua informasi yang diperlukan untuk menggunakan data Anda dengan lebih baik, dengan dokumen Anda dipecah menjadi gugus yang dapat dikelola. Lihat file README dengan kode persiapan data untuk detail tentang cara menjalankannya.

Anda dapat menjadwalkan refresh indeks otomatis, atau mengunggah data tambahan ke Kontainer Azure Blob Anda dan menggunakannya sebagai sumber data saat membuat indeks baru. Indeks baru akan menyertakan semua data dalam kontainer Anda.

Lihat Menggunakan data Anda untuk informasi selengkapnya tentang jenis file yang didukung.

Ya, Azure OpenAI pada data Anda adalah bagian dari Layanan Azure OpenAI dan berfungsi dengan model yang tersedia di Azure OpenAI. Fitur pemfilteran konten dan pemantauan penyalahgunaan Azure OpenAI masih berlaku. Untuk informasi selengkapnya, lihat gambaran umum praktik AI bertanggung jawab untuk model Azure OpenAI dan Catatan Transparansi untuk Azure OpenAI untuk panduan tambahan tentang penggunaan Azure OpenAI pada data Anda secara bertanggung jawab.

Ya, batas token pada pesan sistem adalah 400. Jika pesan sistem lebih dari 400 token, sisa token di luar 400 pertama akan diabaikan. Batasan ini hanya berlaku untuk Azure OpenAI pada fitur data Anda.

Azure OpenAI pada data Anda saat ini tidak mendukung panggilan fungsi.

Anda harus mengirim kueri dalam bahasa data yang sama. Data Anda dapat berada dalam salah satu bahasa yang didukung oleh Azure AI Search.

Saat Anda memilih "Pencarian Azure AI" sebagai sumber data, Anda dapat memilih untuk menerapkan pencarian semantik. Jika Anda memilih "Kontainer Blob Azure" atau "Unggah file" sebagai sumber data, Anda dapat membuat indeks seperti biasa. Setelah itu Anda akan menyerap kembali data menggunakan opsi "Pencarian Azure AI" untuk memilih indeks yang sama dan menerapkan Pencarian Semantik. Anda kemudian akan siap untuk mengobrol pada data Anda dengan pencarian semantik diterapkan.

Saat Anda memilih "Kontainer Blob Azure", "Pencarian Azure AI", atau "Unggah file" sebagai sumber data, Anda juga dapat memilih penyebaran model penyematan Ada untuk digunakan saat menyerap data Anda. Ini akan membuat indeks Pencarian Azure AI dengan penyematan vektor.

Pembuatan indeks dapat gagal saat menambahkan penyematan ke indeks Anda jika batas laju pada penyebaran model Penyematan Ada Anda terlalu rendah, atau jika Anda memiliki sekumpulan dokumen yang sangat besar. Anda dapat menggunakan skrip ini yang disediakan di GitHub untuk membuat indeks dengan penyematan secara manual.

Komitmen Hak Cipta Pelanggan adalah ketentuan yang akan disertakan dalam 1 Desember 2023, Ketentuan Produk Microsoft yang menjelaskan kewajiban Microsoft untuk membela pelanggan terhadap klaim kekayaan intelektual pihak ketiga tertentu yang berkaitan dengan Konten Output. Jika subjek klaim adalah Konten Output yang dihasilkan dari Layanan Azure OpenAI (atau Produk Tercakup lainnya yang memungkinkan pelanggan untuk mengonfigurasi sistem keselamatan), maka untuk menerima cakupan, pelanggan harus telah menerapkan semua mitigasi yang diperlukan oleh dokumentasi Azure OpenAI Service dalam penawaran yang mengirimkan Konten Output. Mitigasi yang diperlukan didokumenkan di sini dan diperbarui secara berkelanjutan. Untuk layanan, fitur, model, atau kasus penggunaan baru, persyaratan CCC baru akan diposting dan berlaku pada atau setelah peluncuran layanan, fitur, model, atau kasus penggunaan tersebut. Jika tidak, pelanggan akan memiliki waktu enam bulan sejak publikasi untuk menerapkan mitigasi baru untuk mempertahankan cakupan di bawah CCC. Jika pelanggan melakukan tender klaim, pelanggan akan diminta untuk menunjukkan kepatuhan terhadap persyaratan yang relevan. Mitigasi ini diperlukan untuk Produk Tercakup yang memungkinkan pelanggan untuk mengonfigurasi sistem keselamatan, termasuk Layanan Azure OpenAI; mereka tidak memengaruhi cakupan bagi pelanggan yang menggunakan Produk Tercakup lainnya.

Langkah berikutnya

• Kuota dan batas Azure OpenAI
• Azure OpenAI yang baru
• Mulai cepat Azure OpenAI