Catatan transparansi untuk Azure OpenAI

Penting

Terjemahan non-bahasa Inggris disediakan hanya untuk kenyamanan. Silakan lihat EN-US versi dokumen ini untuk versi definitif.

Apa itu catatan transparansi?

Sistem AI tidak hanya mencakup teknologi, tetapi juga orang-orang yang menggunakannya, orang-orang yang terpengaruh olehnya, dan lingkungan tempatnya disebarkan. Menciptakan sistem yang sesuai dengan tujuan yang dimaksudkan membutuhkan pemahaman tentang cara kerja teknologi, kemampuan dan batasannya, dan cara mencapai performa terbaik. Catatan Transparansi Microsoft dimaksudkan untuk membantu Anda memahami cara kerja teknologi AI kami, pilihan yang dapat dibuat pemilik sistem yang memengaruhi performa dan perilaku sistem, dan pentingnya memikirkan seluruh sistem, termasuk teknologi, orang-orang, dan lingkungan. Anda dapat menggunakan Catatan Transparansi saat mengembangkan atau menyebarkan sistem Anda sendiri, atau membagikannya dengan orang-orang yang akan menggunakan atau terpengaruh oleh sistem Anda.

Catatan Transparansi Microsoft adalah bagian dari upaya yang lebih luas pada Microsoft untuk mempraktikkan Prinsip AI kami. Untuk mengetahui lebih lanjut, lihat prinsip AI Microsoft.

Dasar-dasar model OpenAI Azure

Azure OpenAI memberi pelanggan Alat Foundry yang dikelola sepenuhnya yang memungkinkan pengembang dan ilmuwan data menerapkan model OpenAI yang kuat termasuk model yang dapat menghasilkan bahasa, kode, dan gambar alami. Dalam Azure OpenAI Service, model OpenAI terintegrasi dengan Pagar Pembatas yang dikembangkan Microsoft (sebelumnya filter konten) dan model deteksi penyalahgunaan. Pelajari selengkapnya tentang Pagar pembatas (sebelumnya filter konten) dan deteksi penyalahgunaan.

Pengenalan

Grup model	Teks / kode	Visual	Audio / Ucapan
GPT-3 dan Codex	✅
Seri GPT-image-1		✅
GPT-image-2		✅
Transkripsi			✅
GPT-4 Turbo dengan Visi	✅	✅
GPT-4o GPT-4o-mini	✅	✅	✅
GPT-4.1 GPT-4.1-mini GPT-4.1-nano	✅	✅
GPT-4.5	✅	✅
Seri GPT-5	✅	✅
GPT-5.1-Codex-Max	✅	✅
GPT-oss-120b	✅
Seri GPT-Realtime	✅	✅	✅
seri GPT-Live			✅
seri o1	✅	✅
o3/o3-pro	✅	✅
o3-mini	✅
o4-mini/codex-mini1	✅	✅
penelitian mendalam o3 o4-mini-penelitian-mendalam	✅
Pratinjau penggunaan komputer	✅	✅

¹codex-mini adalah versi yang disempurnakan o4-mini khusus untuk digunakan dalam Codex CLI. Untuk informasi selengkapnya, lihat dokumentasi OpenAI.

Pilih tab untuk melihat konten untuk jenis model yang relevan.

Teks, kode, dan model yang disempurnakan

Sebagai bagian dari Azure OpenAI Service yang dikelola sepenuhnya, model GPT-3 menganalisis dan menghasilkan bahasa alami, Model Codex menganalisis dan menghasilkan kode dan komentar teks biasa, dan GPT-4 dan model penalaran (termasuk model seri o dan seri GPT-5) dapat memahami dan menghasilkan bahasa alami dan kode. Model-model ini menggunakan arsitektur regresif otomatis, yang berarti mereka menggunakan data dari pengamatan sebelumnya untuk memprediksi kata berikutnya yang paling mungkin. Proses ini kemudian diulang dengan menambahkan konten yang baru dibuat ke teks asli untuk menghasilkan respons lengkap yang dihasilkan. Karena respons dikondisikan pada teks input, model ini dapat diterapkan ke berbagai tugas hanya dengan mengubah teks input.

Seri model GPT-3 telah dilatih sebelumnya pada beragam data teks gratis yang tersedia secara umum. Data ini bersumber dari kombinasi perayapan web (khususnya, versi perayapan Umum yang difilter, yang mencakup berbagai teks dari internet dan terdiri dari 60 persen himpunan data pra-pelatihan tertimbang) dan himpunan data berkualitas lebih tinggi, termasuk versi yang diperluas dari himpunan data WebText, dua korpora buku berbasis internet, dan Wikipedia berbahasa Inggris. Model dasar GPT-4 dilatih menggunakan data yang tersedia untuk umum (seperti data internet) dan data yang dilisensikan oleh OpenAI. Model ini disempurnakan menggunakan pembelajaran penguatan dengan umpan balik manusia (RLHF).

Model Penggunaan Komputer (Pratinjau) memperoleh input teks pada giliran pertama, dan gambar cuplikan layar pada giliran kedua dan seterusnya, dan menghasilkan perintah untuk keyboard dan mouse. Model Penggunaan Komputer dan Alat Penggunaan Komputer memungkinkan pengembang untuk membangun sistem AI agenik.

Pelajari selengkapnya tentang teknik pelatihan dan pemodelan di makalah penelitian GPT-3, GPT-4, dan Codex OpenAI.

Penyesuaian halus mengacu pada penggunaan Supervised Fine Tuning untuk menyesuaikan bobot dari model dasar agar memberikan respons yang lebih baik berdasarkan set pelatihan yang disediakan. Semua kasus penggunaan dan pertimbangan untuk model bahasa besar berlaku untuk model yang disempurnakan, tetapi ada pertimbangan lain juga.

Penting

Penyempurnaan hanya tersedia untuk model teks dan kode, bukan model visi, atau ucapan.

Istilah kunci

Istilah	Definisi
Prompt	Teks yang Anda kirim ke layanan dalam panggilan API. Teks ini kemudian dimasukkan ke dalam model. Misalnya, seseorang mungkin memasukkan perintah berikut: Convert the questions to a command: Q: Ask Constance if we need some bread A: send-msg 'find constance' Do we need some bread? Q: Send a message to Greg to figure out if things are ready for Wednesday. A:
Penyelesaian atau Pembuatan	Teks yang dihasilkan Azure OpenAI sebagai tanggapan. Misalnya, layanan dapat merespons dengan jawaban berikut untuk perintah di atas: send-msg 'find greg' figure out if things are ready for Wednesday.
Token	Azure OpenAI memproses teks dengan memecahnya menjadi token. Token bisa berupa kata-kata atau hanya potongan karakter. Misalnya, kata hamburger dipecah menjadi token ham, bur dan ger, sementara kata pendek dan umum seperti pear adalah token tunggal. Banyak token dimulai dengan spasi kosong, misalnya hello dan bye.
Penyesuaian presisi	Supervised fine-tuning (SFT), penyempurnaan penguatan (RFT), dan pengoptimalan preferensi langsung (DPO, atau penyempurnaan preferensi) untuk model bahasa besar mengacu pada proses mengambil model bahasa yang telah dilatih sebelumnya, sering dilatih pada himpunan data besar-besaran, dan melatihnya lebih lanjut pada tugas yang lebih spesifik dengan data berlabel. Ini melibatkan penyesuaian bobot model menggunakan himpunan data yang lebih kecil dan spesifik ini sehingga model menjadi lebih khusus dalam tugas yang dapat dilakukannya, meningkatkan performa dan akurasinya.
Bobot Model	Bobot model adalah parameter dalam model yang dipelajari dari data selama proses pelatihan. Mereka menentukan output model untuk input tertentu. Bobot ini disesuaikan sebagai respons terhadap kesalahan yang dibuat model dalam prediksinya, dengan tujuan meminimalkan kesalahan ini.
Konten tidak berdasar	Konten yang dihasilkan oleh model yang nonfaktual atau tidak akurat dari apa yang ada dalam materi sumber.
Sistem AI agenik	Sistem AI otonom yang merasakan dan bertindak berdasarkan lingkungan mereka untuk mencapai tujuan.
Otonomi	Kemampuan untuk menjalankan tindakan dan mengendalikan secara independen perilaku sistem dengan pengawasan manusia yang terbatas atau tanpa pengawasan langsung.
Alat Penggunaan Komputer	Alat yang saat digunakan dengan model Penggunaan Komputer menangkap tindakan mouse dan keyboard yang dihasilkan oleh mode dan langsung menerjemahkannya ke dalam perintah yang dapat dieksekusi. Hal ini memungkinkan pengembang untuk mengotomatiskan tugas penggunaan komputer.
Penelitian mendalam	Versi model penalaran seri o yang disempurnakan yang dirancang untuk tugas penelitian mendalam. Dibutuhkan kueri tingkat tinggi, dan ini mengembalikan laporan terstruktur yang kaya kutipan sumber dengan menggunakan model agen yang dapat menguraikan tugas, melakukan pencarian web, dan mensintesis hasil.

Model visi

Layanan yang dikelola sepenuhnya menyediakan akses API ke Azure seri gambar GPT OpenAI, GPT-4 Turbo dengan Vision, GPT-4o, dan o1 API.

Azure OpenAI GPT-4 Turbo dengan Vision dapat menerima input multimodal (gambar dan teks) dan menghasilkan respons bahasa dan kode alami. API ini memungkinkan pemahaman yang lebih kaya dan lebih komprehensif tentang input gambar dan video.

Anda dapat mempelajari lebih lanjut tentang teknik pelatihan dan pemodelan untuk GPT-4 Turbo dengan Visi dalam makalah penelitian OpenAI GPT-4 Makalah penelitian OpenAI GPT-4 dan GPT-4 Turbo dengan keamanan Visi dari kartu sistem.

Azure OpenAI GPT-4o dapat menerima input multimodal (gambar dan teks) dan menghasilkan respons bahasa dan kode alami, mirip dengan Azure OpenAI GPT-4 Turbo dengan Visi.

Azure OpenAI Computer Use (Pratinjau) menerima input teks pada putaran pertama, dan gambar screenshot pada putaran kedua dan seterusnya, dan mengeluarkan perintah ke keyboard dan mouse. Model Penggunaan Komputer dan Alat Penggunaan Komputer memungkinkan pengembang untuk membangun sistem AI agenik.

Panduan berikut diambil dari wawasan penelitian Microsoft dan praktik terbaik untuk AI yang bertanggung jawab.

Istilah kunci

Istilah	Definisi
Teks ke gambar	Kemampuan yang memungkinkan pengguna menghasilkan gambar yang didasarkan pada perintah teks.
minta	Teks yang Anda kirim ke layanan dalam panggilan API. Teks ini kemudian dimasukkan ke dalam model. Misalnya, pengguna mungkin memasukkan permintaan berikut untuk pembuatan gambar: Perintah teks: Image of a botanical garden in the style of Picasso, rendered Citra yang dihasilkan: Citra yang dirender dari taman botani dengan gaya Picasso.
Metaprompt	Terkadang disebut sebagai pesan sistem atau permintaan sistem, ini adalah pesan yang ditulis oleh pengembang, dalam hal ini, OpenAI, untuk memandu model dengan konteks, instruksi, atau informasi lain dengan batas tertentu yang terutama digunakan untuk menegakkan instruksi keselamatan.
Terjemahan nol bidikan	Kemampuan pembelajaran mesin untuk mengeksekusi pada kategori atau sampel baru. Dalam kasus model pembangkitan gambar terbaru, kemampuan model adalah untuk menghasilkan keluaran berdasarkan prompt teks yang dibuat pengguna, meskipun model tersebut tidak secara eksplisit dilatih untuk itu. Kemampuan ini memungkinkan model untuk menjalankan dan menggeneralisasi ke input teks apa pun.
GPT-4 Turbo dengan Visi	Konten yang Anda kirim ke layanan dalam panggilan API. GPT-4 Turbo dengan Vision menerima perintah teks, gambar, atau teks dan gambar yang terjalin. Perintah ini kemudian dimasukkan ke dalam model. Misalnya, pengguna mungkin memasukkan perintah berikut ke dalam sistem: Perintah: How can I use [Image of a tomato] to make this? [Image of tomato soup] Penyelesaian: Here is a list of recipes using tomatoes from which you can make the best tomato soup!
Pengoptimalan video	Memungkinkan GPT-4 Turbo dengan Visi untuk menjawab pertanyaan dengan mengambil bingkai video yang paling relevan dengan permintaan pengguna.
Wajah kabur	Langkah praproses yang mengaburkan semua wajah yang terdeteksi dalam input gambar dan video saat input Anda diproses dalam panggilan API. Proses kabur tidak mampu mengidentifikasi individu secara unik. Pengaburan membantu melindungi privasi individu dan grup sekaligus membantu mengatasi risiko lain yang terkait dengan privasi dan peraturan di sekitar mereka.
Sistem AI agenik	Sistem AI otonom yang merasakan dan bertindak berdasarkan lingkungan mereka untuk mencapai tujuan.
Otonomi	Kemampuan untuk menjalankan tindakan dan mengendalikan secara independen perilaku sistem dengan pengawasan manusia yang terbatas atau tanpa pengawasan langsung.
Alat Penggunaan Komputer	Alat yang saat digunakan dengan model Penggunaan Komputer menangkap tindakan mouse dan keyboard yang dihasilkan oleh mode dan langsung menerjemahkannya ke dalam perintah yang dapat dieksekusi. Hal ini memungkinkan pengembang untuk mengotomatiskan tugas penggunaan komputer.
Pencatatan	Proses pembuatan konten dalam area bertopeng tertentu dari gambar—baik untuk memperbaiki, menyelesaikan, atau mengubahnya secara kreatif—sambil menjaga konteks di sekitarnya tetap koheren.

Model pengolahan suara

Model realtime GPT dalam Azure OpenAI Service memungkinkan interaksi ucapan ke ucapan dan teks ke ucapan yang kuat. Model-model ini mengintegrasikan kemampuan pengenalan ucapan dan sintesis tingkat lanjut, memungkinkan mereka memahami input lisan, menghasilkan transkripsi yang akurat, dan menghasilkan output lisan yang fasih dalam bahasa target. Dengan kemampuan mereka untuk menerjemahkan ucapan secara real time, model realtime GPT memfasilitasi percakapan dinamis di seluruh bahasa.

Model GPT-Live adalah model ucapan-ke-ucapan dupleks penuh: tidak seperti model realtime GPT yang berbasis giliran percakapan, model ini dapat mendengarkan dan menghasilkan respons secara bersamaan tanpa menunggu salah satu pihak selesai berbicara. model GPT-Live juga dapat mendelegasikan bagian dari percakapan ke model API Respons yang dikonfigurasi atau ke aplikasi panggilan, sementara sesi langsung berlanjut.

Model transkripsi dalam Azure OpenAI Service memungkinkan akses ke model yang melakukan tugas pengenalan dan terjemahan ucapan yang kuat. Model transkripsi adalah model Pengenalan Ucapan Otomatis (ASR) yang dikembangkan oleh OpenAI dan mampu menerjemahkan file audio ucapan ke dalam bahasa yang diucapkan serta diterjemahkan ke dalam bahasa Inggris.

Anda dapat mempelajari lebih lanjut tentang teknik pelatihan dan pemodelan untuk model transkripsi di makalah penelitian OpenAI Whisper. Model transkripsi juga digunakan dalam layanan Azure Speech in Foundry Tools. Pelajari selengkapnya tentang integrasi Azure Speech dan evaluasi untuk penggunaan Anda di sini.

Istilah kunci

Istilah	Definisi
Transkripsi	Output teks dari kemampuan Ucapan ke Teks. Output teks yang dihasilkan secara otomatis ini memanfaatkan model ucapan dan terkadang disebut sebagai transkripsi mesin atau pengenalan ucapan otomatis (ASR). Transkripsi dalam konteks ini sepenuhnya otomatis, yang berarti dihasilkan oleh model, dan oleh karena itu berbeda dari transkripsi manusia, yaitu teks yang dihasilkan oleh transcriber manusia.
Pengenalan Ucapan Otomatis (ASR)	Juga dikenal sebagai Ucapan ke Teks (STT), ASR adalah proses di mana model mentranskripsikan atau memproses ucapan manusia sebagai audio ke dalam teks.
Terjemahan Ucapan	Kemampuan yang memungkinkan pengguna untuk menerjemahkan ucapan ke dalam bahasa yang ditunjuk. Saat ini, model transkripsi dalam Azure OpenAI Service memungkinkan pengguna untuk menerjemahkan audio ucapan dari non-bahasa Inggris ke dalam bahasa Inggris saja.
Prompt	Konteks atau isti yang dapat Anda berikan ke model untuk meningkatkan kualitas transkrip yang dihasilkan untuk skenario Anda. Prompt dapat memberikan instruksi untuk memproses jargon atau akronim, atau untuk memaksa kata-kata pengisi disertakan. Pelajari selengkapnya tentang perintah di panduan ucapan ke teks OpenAI.
Penyelesaian / Pembuatan	Audio atau teks yang dihasilkan oleh Azure OpenAI sebagai respons.
Token	Azure OpenAI memproses audio dan teks dengan memecahnya menjadi token. Token bisa berupa kata-kata atau hanya potongan karakter.

Kemampuan

Teks, kode, dan model yang disempurnakan

Model penalaran, GPT-4, GPT-3, model Codex, dan evaluasi OpenAI Azure menggunakan instruksi dan contoh bahasa alami dalam perintah untuk mengidentifikasi tugas. Model kemudian menyelesaikan tugas dengan memprediksi teks berikutnya yang paling mungkin. Teknik ini dikenal sebagai pembelajaran "dalam konteks". Model-model ini tidak dilatih kembali selama langkah ini tetapi sebaliknya memberikan prediksi berdasarkan konteks yang Anda sertakan dalam perintah.

Ada tiga pendekatan utama untuk pembelajaran dalam konteks. Pendekatan ini bervariasi berdasarkan jumlah data khusus tugas yang diberikan kepada model:

Few-shot: Dalam hal ini, Anda menyertakan beberapa contoh dalam prompt yang menunjukkan format jawaban dan isi yang diharapkan. Contoh berikut menunjukkan perintah beberapa bidikan yang menyediakan beberapa contoh:

Convert the questions to a command: 
Q: Ask Constance if we need some bread 
A: send-msg `find constance` Do we need some bread? 
Q: Send a message to Greg to figure out if things are ready for Wednesday. 
A: send-msg `find greg` Is everything ready forWednesday? 
Q: Ask Ilya if we're still having our meeting thisevening 
A: send-msg `find ilya` Are we still having a meetingthis evening? 
Q: Contact the ski store and figure out if I can getmy skis fixed before I leave on Thursday 
A: send-msg `find ski store` Would it be possible toget my skis fixed before I leave on Thursday? 
Q: Thank Nicolas for lunch 
A: send-msg `find nicolas` Thank you for lunch! 
Q: Tell Constance that I won't be home before 19:30tonight — unmovable meeting. 
A: send-msg `find constance` I won't be home before19:30 tonight. I have a meeting I can't move. 
Q: Tell John that I need to book an appointment at10:30 
A:  

Jumlah contoh biasanya berkisar dari 0 hingga 100 tergantung pada berapa banyak yang dapat pas dalam panjang input maksimum untuk satu prompt. Pembelajaran beberapa bidikan memungkinkan pengurangan besar dalam jumlah data khusus tugas yang diperlukan untuk prediksi yang akurat.

One-shot: Kasus ini sama seperti pendekatan few-shot, kecuali Anda hanya menyediakan satu contoh. Contoh berikut menunjukkan pemicu sekali pakai:

Convert the questions to a command:
Q: Ask Constance if we need some bread
A: send-msg `find constance` Do we need some bread?
Q: Send a message to Greg to figure out if things are ready for Wednesday.
A:

Zero-shot: Dalam hal ini, tidak ada contoh yang disediakan untuk model dan hanya permintaan tugas yang disediakan. Contoh berikut menunjukkan perintah nol bidikan:

Convert the question to a command:
Q: Ask Constance if we need some bread
A:

Chain-of-thought : Model penalaran Azure OpenAI memiliki kemampuan penalaran tingkat lanjut menggunakan teknik rantai pemikiran (CoT). Teknik CoT menghasilkan langkah-langkah penalaran menengah sebelum memberikan respons, memungkinkan mereka untuk mengatasi tantangan yang lebih kompleks melalui pemecahan masalah langkah demi langkah. o1 menunjukkan peningkatan tolok ukur untuk domain yang banyak membutuhkan penalaran, seperti penelitian, strategi, sains, pengkodean serta matematika, dan lain-lain. Model-model ini memiliki peningkatan keselamatan berkat kemampuan penalaran yang lebih maju, dengan kemampuan untuk menalar dan menerapkan aturan keselamatan secara lebih efektif. Hal ini menghasilkan performa yang lebih baik di samping tolok ukur keamanan seperti memberikan saran yang terlarang, memilih respons yang sudah sesuai dengan stereotip, dan rentan terhadap eksploitasi jailbreak yang sudah diketahui.

Untuk detail yang lebih besar tentang kemampuan keluarga model ini, lihat Kartu Sistem OpenAI o1, Kartu Sistem o3-mini, Kartu Sistem o3/o4-mini, Kartu Sistem Penelitian Mendalam, dan Kartu Sistem GPT-5.

Evaluasi Azure OpenAI

Evaluasi model bahasa besar adalah langkah penting dalam mengukur performanya di berbagai tugas dan dimensi. Tugas ini sangat penting untuk model yang disempurnakan, di mana menilai perolehan performa (atau kerugian) dari pelatihan sangat penting. Tanpa evaluasi menyeluruh, dapat menjadi tantangan untuk memahami bagaimana versi model yang berbeda dapat berdampak pada aplikasi spesifik Anda.

Evaluasi Azure OpenAI adalah pengalaman berbasis UI untuk mengevaluasi data, termasuk himpunan data yang dihasilkan dari deployment di Azure OpenAI, atau file yang disusun secara manual.

Azure Evaluasi OpenAI memiliki langkah opsional untuk menghasilkan respons. Jika pengguna memilih langkah ini, kami memberikan perintah (Pesan Sistem/Pengguna) untuk menginstruksikan model cara menghasilkan respons.

Azure Evaluasi OpenAI mencakup 9 kategori pengujian untuk menilai hasil. Beberapa memerlukan data kebenaran dasar (seperti faktualitas), sementara yang lain tidak (validasi skema). Grader adalah campuran antara yang berbasis CPU dan yang berbasis model. Berikut adalah daftar kriteria pengujian: Faktualitas, Sentimen, JSON atau XML Yang Valid, Pencocokan Kriteria, Prompt Kustom, Kesamaan Semantik, Berisi string, Skema yang Cocok, dan Kualitas teks.

Teks ke tindakan

Model Penggunaan Komputer (Pratinjau) memungkinkan kemampuan mengubah teks menjadi tindakan, memungkinkan pengguna untuk memberikan instruksi bahasa alami yang dikonversi oleh model ke dalam langkah-langkah yang dapat diimplementasikan dalam antarmuka pengguna grafis. Diberi perintah seperti "Isi formulir dukungan pelanggan dengan informasi ini," model mengidentifikasi bidang yang relevan, memasukkan data yang benar, dan mengirimkan formulir. Ini dapat menavigasi antarmuka web, mengekstrak, dan memasukkan data terstruktur atau tidak terstruktur, mengotomatiskan alur kerja, dan menerapkan kepatuhan dengan kebijakan keamanan. Dengan memahami niat dan menjalankan tindakan yang sesuai, ini menyederhanakan operasi bisnis, membuat otomatisasi lebih mudah diakses dan efisien.

Model visi

API pembuatan gambar di Azure OpenAI Service

API Pembuatan gambar menggunakan perintah bahasa alami untuk menghasilkan konten baru. Model-model ini dilatih pada pasangan gambar dan keterangan terkait yang diambil dari sumber yang tersedia untuk umum dan sumber lain yang telah dilisensikan OpenAI.

Model AI generatif ini menghadirkan berbagai peluang bagi pengembang, seniman, desainer, pendidik, dan lainnya. Model dapat menjenjangkan kesenjangan antara apa yang dapat Anda bayangkan dan apa yang dapat Anda buat. Mereka memungkinkan terjemahan lintas domain, pemahaman umum, dan nol bidikan antara prompt teks dan gambar, seringkali dengan tingkat realisme yang tinggi.

Kemampuan utama API pembuatan gambar Azure OpenAI adalah:

• Teks ke gambar: Model mengambil perintah teks untuk menghasilkan gambar.

  Contoh perintah teks	Contoh gambar yang dihasilkan
  "Lukisan cat air dari cakrawala Seattle"

  Tips

  Figura publik yang ingin penggambaran mereka tidak dihasilkan dapat memilih keluar dengan mengirim email ke support@openai.com.

• Gambar ke gambar: Untuk model penghasil gambar: Model menerima gambar dan prompt teks lalu mengembalikan gambar baru atau yang diubah berdasarkan perintah teks.

• Inpainting: Untuk model pembuatan gambar: Model menerima gambar dan area penutup (gambar yang menggunakan piksel transparan untuk menandai area fokus) beserta instruksi teks dan menghasilkan konten baru hanya di dalam area yang ditentukan. Ini digunakan untuk tugas seperti mengoreksi atau menyelesaikan gambar, atau mengubahnya secara kreatif sambil menjaga konteks di sekitarnya tetap koheren.

API obrolan yang mendukung visi di Azure OpenAI Service

GPT-4 Turbo dengan Visi dan GPT-4o menggunakan perintah bahasa dan gambar alami untuk menghasilkan respons bahasa atau kode alami. Model menerima teks saja, gambar saja, dan input gabungan teks dan gambar. Model-model ini adalah bagian dari keluarga GPT dan merupakan ekstensi dari GPT-4.

Azura Vision dalam Foundry Tools Service menyediakan pengoptimalan video untuk GPT-4 Turbo dengan Vision (Pratinjau), yang juga dapat menerima masukan video untuk menghasilkan respons bahasa alami atau kode. Kemampuan ini tidak tersedia pada rilis terbaru model GPT-4 Turbo Vision.

Contoh perintah	Contoh penyelesaian
"Untuk apa ini digunakan?"	Ini tomat. Mereka biasanya digunakan sebagai bahan makanan dalam berbagai hidangan, baik mentah maupun yang dimasak. Tomat dapat digunakan dalam salad, sandwich, saus, sup, jus, dan banyak aplikasi kuliner lainnya. Mereka juga dikenal karena kandungan nutrisinya yang kaya, termasuk vitamin, mineral, dan antioksidan.
Bagaimana cara menggunakan untuk membuat ini?	Anda dapat menggunakan tomat untuk membuat sup tomat dengan mengikuti langkah-langkah umum berikut: Bahan: Tomat Bawang Bawang putih Minyak zaitun atau mentega Kaldu ayam atau sayuran Garam Merica Opsional: herbal seperti kemangi, oregano, atau thyme Petunjuk: Persiapan: Cuci tomat secara menyeluruh. Potong tomat menjadi bagian atau perempat. Kupas dan potong bawang merah dan bawang putih...

Penggunaan Komputer dalam Azure OpenAI Service (Pratinjau)

Model Penggunaan Komputer dibangun berdasarkan versi kemampuan visi GPT-4o yang disempurnakan, yang memungkinkannya untuk menafsirkan dan berinteraksi dengan antarmuka pengguna grafis (GUI) melalui cuplikan layar. Dengan menganalisis elemen visual seperti tombol, bidang teks, dan menu, elemen tersebut dapat memahami tata letak aplikasi, mendeteksi komponen antarmuka yang relevan, dan menjalankan tindakan yang sesuai. Ini memungkinkan otomatisasi interaksi web dan perangkat lunak yang tepat, memungkinkan tugas seperti ekstraksi data, penyelesaian formulir, dan eksekusi alur kerja berdasarkan konteks visual real time.

Wajah kabur

Untuk input ke GPT-4 Turbo dengan Vision, GPT-4o, dan GPT-4o mini yang berisi gambar atau video orang, sistem akan terlebih dahulu mengaburkan wajah sebelum memproses untuk mengembalikan hasil yang diminta.

Pengaburan membantu melindungi privasi individu dan grup yang terlibat dan melindungi dari kasus penggunaan terbatas. Pengaburan gambar seharusnya tidak memengaruhi kualitas penyelesaian Anda, tetapi Anda mungkin melihat sistem menyebut kaburnya wajah dalam beberapa contoh kasus.

Penting

GPT-4 Turbo dengan Visi GPT-4o, dan GPT-4o mini saja: Setiap pemrosesan yang mengembalikan hasil yang mendukung untuk mengidentifikasi individu atau menyimpulkan emosi individu bukan hasil pemrosesan wajah, seperti pengenalan wajah, pembuatan dan perbandingan templat wajah, atau inferensi wajah lainnya. Hasil tersebut dapat diperoleh berdasarkan pelatihan model untuk mengaitkan gambar individu yang memiliki nama yang sama melalui penandaan gambar, di mana model akan mengembalikan nama setiap kali ada input gambar berikutnya dari individu tersebut. Model ini juga dapat mengambil petunjuk kontekstual selain wajah, yaitu bagaimana model masih dapat mengaitkan gambar dengan individu, dan menggambarkan emosi, meskipun wajah kabur. Misalnya, jika gambar berisi foto atlet populer yang mengenakan jersey tim mereka dengan nomor spesifiknya, model mungkin masih memberikan hasil yang mengklaim mengidentifikasi individu berdasarkan petunjuk kontekstual tersebut.

Perhatian

Penggunaan komputer versi pratinjau tidak menggunakan pengaburan wajah, karena berpotensi mengaburkan elemen UI dan menurunkan kinerja. Penggunaan Komputer tidak dirancang (atau dimaksudkan) untuk menjadi mesin penalaran gambar tujuan umum. Model tidak melakukan pengenalan wajah atau identifikasi individu dan tidak cocok untuk kasus penggunaan seperti itu.

Perhatian

GPT-image-1 tidak menggunakan face blurring. Dalam yurisdiksi tertentu, cara model memproses input gambar orang dapat dianggap sebagai pemrosesan data biometrik, dalam hal ini Anda bertanggung jawab untuk: (i) memberikan pemberitahuan kepada subjek data, termasuk sehubungan dengan periode retensi dan penghancuran; (ii) mendapatkan persetujuan dari subjek data; dan (iii) menghapus data, semuanya sebagaimana mewajibkan, dan diwajibkan berdasarkan hukum yang berlaku. Untuk informasi selengkapnya tentang cara Azure OpenAI Service memproses data, lihat Data, privasi, dan keamanan untuk Azure OpenAI Service.

Penggunaan Komputer dalam Azure OpenAI Service (pratinjau)

Model Penggunaan Komputer dibangun berdasarkan versi kemampuan visi GPT-4o yang disempurnakan, yang memungkinkannya untuk menafsirkan dan berinteraksi dengan antarmuka pengguna grafis (GUI) melalui cuplikan layar. Dengan menganalisis elemen visual seperti tombol, bidang teks, dan menu, elemen tersebut dapat memahami tata letak aplikasi, mendeteksi komponen antarmuka yang relevan, dan menjalankan tindakan yang sesuai. Ini memungkinkan otomatisasi interaksi web dan perangkat lunak yang tepat, memungkinkan tugas seperti ekstraksi data, penyelesaian formulir, dan eksekusi alur kerja berdasarkan konteks visual real time.

Model audio / suara

Model realtime GPT dalam Azure OpenAI Service memungkinkan kemampuan ucapan ke ucapan tingkat lanjut, memberikan pengenalan ucapan, terjemahan, dan sintesis real time. GPT-4o memungkinkan komunikasi lancar dengan mengonversi masukan ucapan menjadi hasil yang koheren dalam bahasa sasaran.

Azure OpenAI Service menawarkan fungsionalitas ini melalui API realtime:

• Memproses input lisan untuk menghasilkan output lisan
• Menerjemahkan input lisan ke dalam bahasa lain
• Menerjemahkan ucapan input dan output

Layanan ini dirancang untuk pemrosesan ucapan ke ucapan yang cepat dari interaksi lisan, memfasilitasi percakapan real-time dengan latensi minimal.

GPT-Live menawarkan fungsionalitas suara ke suara, terjemahan, dan transkripsi yang serupa melalui API berbasis peristiwa full-duplex, sehingga aplikasi dapat mengirim dan menerima audio secara bersamaan alih-alih menunggu giliran yang terpisah. GPT-Live juga dapat mendelegasikan bagian dari percakapan—misalnya, permintaan yang memerlukan penggunaan pencarian atau alat—ke model API Respons yang dikonfigurasi atau kembali ke aplikasi panggilan, saat sesi langsung berlanjut.

Model transkripsi di Azure OpenAI Service memungkinkan transkripsi ucapan ke teks dan terjemahan file audio. Model ini dilatih pada data yang diawasi multibahasa dan multitugas yang dikumpulkan dari internet. Himpunan data yang besar dan beragam ini meningkatkan ketahanan terhadap atribut seperti aksen, kebisingan latar belakang, dan bahasa teknis, sambil mengaktifkan transkripsi ke dalam beberapa bahasa dan terjemahan ke dalam bahasa Inggris.

Azure OpenAI Service menyediakan fungsionalitas ini melalui dua REST API:

• Menerjemahkan file audio yang disediakan
• Menerjemahkan file audio yang disediakan ke dalam bahasa Inggris

Layanan ini menyediakan kemampuan untuk memproses file audio tunggal secara sinkron secepat mungkin. Ini dibatasi hingga kurang dari 15 hingga 30 menit audio tergantung pada kompresi audio.

Layanan ini menyediakan transkrip yang mudah dibaca, sering kali menghapus ketidaklancaran, serta memberikan batas kalimat, tanda baca, dan kapitalisasi yang lebih akurat. Anda juga dapat menggunakan perintah untuk meningkatkan kualitas output model yang sesuai dengan skenario Anda. Lihat Praktik terbaik untuk meningkatkan informasi sistem untuk informasi selengkapnya.

Untuk detail yang lebih besar tentang kemampuan model 4o, lihat Kartu Sistem OpenAI 4o.

Kasus penggunaan

Teks, kode, dan model yang disempurnakan

Penggunaan yang dimaksudkan

Model teks dapat digunakan dalam beberapa skenario. Daftar berikut ini tidak komprehensif, tetapi menggambarkan keragaman tugas yang dapat didukung untuk model dengan mitigasi yang sesuai:

• Interaksi obrolan dan percakapan : Pengguna dapat berinteraksi dengan agen percakapan yang merespons dengan respons yang diambil dari dokumen tepercaya seperti dokumentasi perusahaan internal atau dokumentasi dukungan teknologi. Percakapan harus dibatasi untuk menjawab pertanyaan yang ditentukan.
• Pembuatan obrolan dan percakapan : Pengguna dapat membuat agen percakapan yang merespons dengan respons yang diambil dari dokumen tepercaya seperti dokumentasi perusahaan internal atau dokumentasi dukungan teknologi. Percakapan harus dibatasi untuk menjawab pertanyaan yang ditentukan.
• Pembuatan kode atau skenario transformasi : Misalnya, mengonversi satu bahasa pemrograman ke bahasa lain, menghasilkan docstring untuk fungsi, mengonversi bahasa alami ke SQL.
• Konten jurnalistik : Untuk digunakan untuk membuat konten jurnalistik baru atau menulis ulang konten jurnalistik yang diajukan oleh pengguna sebagai bantuan penulisan untuk topik yang telah ditentukan sebelumnya. Pengguna tidak dapat menggunakan aplikasi sebagai alat pembuatan konten umum untuk semua topik.
• Jawaban atas pertanyaan : Pengguna dapat mengajukan pertanyaan dan menerima jawaban dari dokumen sumber tepercaya seperti dokumentasi perusahaan internal. Aplikasi tidak menghasilkan jawaban yang tidak berdasarkan dokumentasi sumber tepercaya.
• Alasan atas data terstruktur dan tidak terstruktur : Pengguna dapat menganalisis input menggunakan klasifikasi, analisis sentimen teks, atau ekstraksi entitas. Contohnya termasuk menganalisis sentimen umpan balik produk, menganalisis panggilan dukungan dan transkrip, dan menyempurnakan pencarian berbasis teks dengan penyematan.
• Pencarian : Pengguna dapat mencari dokumen sumber tepercaya seperti dokumentasi perusahaan internal. Aplikasi tidak menghasilkan hasil yang tidak didasarkan pada dokumentasi sumber tepercaya.
• Ringkasan : Pengguna dapat mengirimkan konten yang akan diringkas untuk topik yang telah ditentukan sebelumnya yang disertakan dalam aplikasi dan tidak dapat menggunakan aplikasi sebagai ringkasan terbuka. Contohnya termasuk ringkasan dokumentasi perusahaan internal, transkrip pusat panggilan, laporan teknis, dan ulasan produk.
• Menulis bantuan tentang topik tertentu : Pengguna dapat membuat konten baru atau menulis ulang konten yang dikirimkan oleh pengguna sebagai bantuan penulisan untuk konten bisnis atau topik yang telah ditentukan sebelumnya. Pengguna hanya dapat menulis ulang atau membuat konten untuk tujuan bisnis tertentu atau topik yang telah ditentukan sebelumnya dan tidak dapat menggunakan aplikasi sebagai alat pembuatan konten umum untuk semua topik. Contoh konten bisnis termasuk proposal dan laporan. Untuk penggunaan jurnalistik, lihat kasus penggunaan konten Jurnalistik di atas.
• Pembuatan Data untuk Penyempurnaan: Pengguna dapat menggunakan model di Azure OpenAI untuk menghasilkan data, yang hanya digunakan untuk menyempurnakan (i) model Azure OpenAI lainnya, menggunakan kemampuan penyempurnaan di Azure OpenAI, dan/atau (ii) model kustom Azure AI lain, menggunakan kemampuan penyempurnaan di Foundry Tool. Menghasilkan data dan menyempurnakan model hanya terbatas pada pengguna internal; model yang disempurnakan hanya dapat digunakan untuk inferensi di Foundry Tool yang berlaku dan, untuk Azure OpenAI Service, hanya untuk kasus penggunaan yang diizinkan pelanggan dalam formulir ini.

Kasus penggunaan yang disempurnakan

Berikut ini adalah kasus penggunaan lain yang kami rekomendasikan untuk model yang disempurnakan. Penyetelan halus paling tepat untuk:

• Mengarahkan gaya, format, nada, atau aspek respons kualitatif melalui contoh respons yang diinginkan.
• Memastikan model menghasilkan output yang diinginkan dengan andal seperti memberikan respons dalam format tertentu atau memastikan respons dialihkan oleh informasi dalam perintah.
• Gunakan kasus dengan banyak kasus batas yang tidak dapat dibahas dalam contoh yang ada di perintah, seperti contoh penerjemahan bahasa alami kompleks ke dalam kode.
• Meningkatkan performa pada keterampilan atau tugas tertentu seperti klasifikasi, ringkasan, atau pemformatan – yang mungkin sulit dijelaskan dalam perintah.
• Mengurangi biaya atau latensi dengan menggunakan perintah yang lebih pendek, atau mengganti model yang dioptimalkan dari versi yang lebih kecil/lebih cepat dengan model tujuan umum (misalnya, menggunakan GPT-3.5-Turbo yang dioptimalkan alih-alih GPT-4).

Seperti halnya model dasar, larangan kasus penggunaan yang diuraikan dalam Azure Kode Etik OpenAI berlaku untuk model yang disempurnakan juga.

Penyetelan halus saja tidak disarankan untuk skenario di mana Anda ingin memperluas model Anda untuk menyertakan informasi di luar domain, di mana penjelasan atau grounding penting, atau di mana data yang mendasarinya sering diperbarui.

Kasus penggunaan model penalaran

Kemampuan penalaran lanjutan dari model penalaran mungkin paling cocok untuk penggunaan penalaran-berat dalam sains, pengkodean, matematika, dan bidang serupa. Kasus penggunaan tertentu dapat mencakup hal-hal berikut:

• Pembuatan kode yang kompleks, analisis dan pengoptimalan: Pembuatan algoritma dan tugas pengkodean tingkat lanjut untuk membantu pengembang menjalankan alur kerja multi-langkah, lebih memahami langkah-langkah yang diambil dalam pengembangan kode.
• Pemecahan masalah tingkat lanjut: Sesi curah otak komprehensif, pengembangan strategi, dan memecah masalah multifaktor.
• Perbandingan dokumen yang kompleks: Menganalisis kontrak, file kasus, atau dokumen hukum untuk membedakan perbedaan halus dalam konten dokumen.
• Instruksi berikut dan manajemen alur kerja: Menangani alur kerja yang memerlukan konteks yang lebih pendek.

Untuk detail lebih lanjut tentang penggunaan yang dimaksudkan, kunjungi Kartu Sistem OpenAI o1, Kartu Sistem o3-mini, Kartu Sistem o3/o4-mini, dan Kartu Sistem GPT-5.

Kasus penggunaan penelitian mendalam

Model penelitian mendalam adalah versi yang disempurnakan dari model penalaran seri o yang dirancang untuk mengambil kueri tingkat tinggi dan mengembalikan laporan yang terstruktur dan kaya kutipan. Model membuat subkueri dan mengumpulkan informasi dari pencarian web dalam beberapa iterasi sebelum mengembalikan respons akhir. Kasus penggunaan dapat mencakup hal-hal berikut, dengan pengawasan manusia yang memadai:

• Penelitian kompleks & tinjauan literatur: Mensintesis temuan di ratusan makalah, mengidentifikasi kesenjangan atau kontradiksi dalam penelitian, mengusulkan hipotesis baru atau arah penelitian.
• Penemuan ilmiah & pembuatan hipotesis: Menjelajahi koneksi antara temuan di seluruh disiplin ilmu, menghasilkan hipotesis yang dapat diuji atau desain eksperimental, membantu interpretasi data eksperimental mentah.
• Pemecahan masalah teknis tingkat lanjut: Men-debug sistem kompleks (misalnya, perangkat lunak terdistribusi, robotika), merancang algoritma atau arsitektur baru, dan memecahkan masalah matematika atau fisika tingkat lanjut.
• Menambah perencanaan jangka panjang: Membantu eksekutif atau peneliti merencanakan peta jalan teknologi 10 tahun, memodelkan skenario jangka panjang dalam keamanan AI, biosekuriti, atau iklim, mengevaluasi efek keputusan urutan kedua dan ketiga.

Model pembelajaran mendalam tersedia sebagai alat dalam layanan Azure AI Agents. Untuk detail yang lebih besar tentang penggunaan yang dimaksudkan, lihat OpenAI Deep Research System Card.

Kasus penggunaan untuk evaluasi Azure OpenAI

Evaluasi Azure OpenAI adalah fitur yang hanya mendukung teks dan tidak dapat digunakan dengan model yang mendukung input selain teks. Evaluasi dapat digunakan dalam beberapa skenario termasuk tetapi tidak terbatas pada:

• Evaluasi pencocokan/perbandingan teks: Ini berguna untuk skenario di mana pengguna ingin memeriksa apakah output cocok dengan string yang diharapkan. Pengguna juga dapat membandingkan dua set nilai dan menilai hubungan. Contohnya termasuk, tetapi tidak terbatas pada, pertanyaan pilihan ganda di mana jawaban dibandingkan dengan kunci jawaban, dan validasi string.
• Kualitas teks: Kualitas teks menilai kualitas respons dengan metode seperti Bleu, Rouge atau algoritma kosinus dan banyak digunakan dalam berbagai tugas pemrosesan bahasa alami seperti terjemahan mesin, ringkasan teks, dan pembuatan teks, antara lain.
• Evaluasi berbasis klasifikasi: Evaluasi berbasis klasifikasi menilai performa model dengan menetapkan respons terhadap kategori atau label yang telah ditentukan sebelumnya atau dengan membandingkan output model dengan serangkaian referensi jawaban yang benar. Penilaian otomatis, analisis sentimen, dan kategorisasi produk adalah salah satu dari beberapa kasus penggunaan umum.
• Evaluasi kualitas percakapan: Evaluasi kualitas percakapan melibatkan perbandingan respons terhadap kriteria yang telah ditentukan menggunakan prompt rantai pemikiran (CoT) yang terperinci. Kasus penggunaan umum termasuk dukungan pelanggan, pengembangan chatbot, dan penilaian pendidikan, antara lain.
• Evaluasi berbasis kriteria: Satu skenario umum untuk evaluasi berbasis kriteria adalah faktualitas. Menilai akurasi faktual melibatkan perbandingan jawaban yang dikirimkan dengan jawaban ahli, hanya berfokus pada konten faktual. Ini dapat berguna dalam alat pendidikan untuk meningkatkan akurasi jawaban yang diberikan oleh LLM atau dalam alat bantuan penelitian untuk menilai akurasi faktual respons yang dihasilkan oleh LLM dalam pengaturan akademik.
• Evaluasi validitas string: satu skenario umum adalah memeriksa apakah respons model mengikuti skema tertentu atau konten JSON atau XML yang valid.

Pratinjau Kasus Penggunaan Komputer

Kemampuan Penggunaan Komputer paling cocok untuk mengembangkan sistem AI agenik yang dapat berinteraksi secara otonom dengan GUI. Kasus penggunaan tertentu mencakup opsi berikut:

• Navigasi dan Interaksi Web Otomatis: Menavigasi navigasi antarmuka berbasis web secara otonom untuk mengambil dan menyajikan informasi dari sumber tepercaya, seperti sumber daya perusahaan internal atau database terstruktur. Model ini mengikuti aturan navigasi yang telah ditentukan sebelumnya untuk mengekstrak data yang relevan sambil memastikan kepatuhan terhadap kebijakan keamanan.

• Web-Based Task Automation: Mengotomatiskan tugas berbasis web berulang, seperti mengisi formulir, mengirimkan data, atau berinteraksi dengan aplikasi web. Penggunaan Komputer dapat mengklik tombol, memasukkan teks, dan memproses data terstruktur tetapi hanya beroperasi dalam alur kerja dan domain yang diotorisasi.

• Ekstraksi Data Terstruktur dan Tidak Terstruktur: Mengekstrak data yang relevan dari sumber terstruktur seperti tabel dan spreadsheet, serta sumber yang tidak terstruktur seperti PDF, dokumen yang dipindai, atau email. Kemampuan ini berguna untuk tugas-tugas seperti pemrosesan data keuangan, analisis kontrak, atau kategorisasi tiket dukungan pelanggan.

• Pengisian Formulir Otomatis dan Entri Data: Mengekstrak informasi dari database terstruktur atau input pengguna dan menggunakannya untuk mengisi formulir berbasis web. Ini berguna untuk mengotomatiskan permintaan layanan pelanggan, proses SDM, atau pembaruan CRM sambil memastikan akurasi dan konsistensi dalam penanganan data.

• Analisis Gambar Berbasis Web: Menganalisis gambar yang ditemukan di halaman web untuk mengenali dan menandai objek, adegan, atau pola yang relevan. Penggunaan Komputer dapat mengekstrak informasi visual untuk mendukung aplikasi seperti manajemen inventarisasi, pemrosesan dokumen, atau klasifikasi objek.

• Pencarian dan Identifikasi Visual Interaktif: Membantu pengguna dalam menemukan konten visual yang relevan melalui pencarian terstruktur. Misalnya, Penggunaan Komputer dapat mengidentifikasi produk dalam katalog e-niaga, mengenali landmark dalam aplikasi perjalanan, atau mengambil gambar tertentu dari arsip digital berdasarkan kriteria yang telah ditentukan sebelumnya.

• Pemeriksaan Kepatuhan dan Kebijakan Otomatis: Memindai konten berbasis web seperti file yang diunggah, kontrak, atau dokumentasi internal untuk kepatuhan terhadap aturan kepatuhan yang telah ditentukan sebelumnya. Penggunaan Komputer dapat menandai informasi, inkonsistensi, atau potensi pelanggaran yang hilang untuk membantu menegakkan standar peraturan dalam organisasi.

• Eksekusi Alur Kerja Otomatis untuk Aplikasi Bisnis: Menentukan alur kerja multi-langkah untuk menavigasi aplikasi perusahaan, seperti membuat laporan, memperbarui rekaman, atau mengambil analitik. Penggunaan Komputer mengikuti langkah-langkah yang telah ditentukan sebelumnya dalam alat bisnis dan mematuhi kebijakan kontrol akses untuk memastikan eksekusi yang aman.

Pertimbangan saat memilih kasus penggunaan

Kami mendorong pelanggan untuk menggunakan model Azure OpenAI GPT-4, o-series, GPT-3, Codex, dan Computer Use dalam solusi atau aplikasi inovatif mereka seperti yang disetujui dalam formulir pendaftaran Limited Access. Namun, berikut adalah beberapa pertimbangan saat memilih kasus penggunaan:

• Tidak cocok untuk pembuatan konten terbuka dan tidak dibatasi. Skenario di mana pengguna dapat menghasilkan konten pada topik apa pun lebih cenderung menghasilkan teks yang menyinggung atau berbahaya. Hal yang sama berlaku untuk generasi yang lebih lama.
• Tidak cocok untuk skenario di mana informasi yang akurat dan mutakhir sangat penting kecuali Anda memiliki peninjau manusia atau menggunakan model untuk mencari dokumen Anda sendiri dan telah memverifikasi kesesuaian untuk skenario Anda. Layanan ini tidak memiliki informasi tentang peristiwa yang terjadi setelah tanggal pelatihannya, kemungkinan telah kehilangan pengetahuan tentang beberapa topik, dan mungkin tidak selalu menghasilkan informasi yang akurat secara faktual.
• Hindari skenario saat penggunaan atau penyalahgunaan sistem dapat mengakibatkan cedera fisik atau psikologis yang signifikan pada individu. Misalnya, skenario yang mendiagnosis pasien atau meresepkan obat berpotensi menyebabkan kerusakan yang signifikan. Memasukkan tinjauan dan pengawasan manusia yang bermakna ke dalam skenario dapat membantu mengurangi risiko hasil berbahaya.
• Hindari skenario saat penggunaan atau penyalahgunaan sistem dapat berdampak konsekuensial pada peluang hidup atau status hukum. Contohnya termasuk skenario di mana sistem AI dapat memengaruhi status hukum individu, hak hukum, atau akses mereka ke kredit, pendidikan, pekerjaan, layanan kesehatan, perumahan, asuransi, manfaat kesejahteraan sosial, layanan, peluang, atau persyaratan tempat mereka disediakan. Memasukkan tinjauan dan pengawasan manusia yang bermakna ke dalam skenario dapat membantu mengurangi risiko hasil berbahaya.
• Hindari skenario taruhan tinggi yang dapat menyebabkan bahaya. Model yang dihosting oleh Azure OpenAI Service mencerminkan tampilan sosial, bias, dan konten lain yang tidak diinginkan yang ada dalam data pelatihan atau contoh yang disediakan dalam perintah. Akibatnya, kami berhati-hati dalam menggunakan model dalam skenario berisiko tinggi di mana perilaku yang tidak adil, tidak dapat diandalkan, atau menyinggung dapat sangat mahal atau menyebabkan bahaya. Memasukkan tinjauan dan pengawasan manusia yang bermakna ke dalam skenario dapat membantu mengurangi risiko hasil berbahaya.
• Pertimbangkan kasus penggunaan di domain atau industri berisiko tinggi dengan hati-hati: Contohnya termasuk tetapi tidak terbatas pada layanan kesehatan, kedokteran, keuangan, atau hukum.
• Pertimbangkan secara saksama skenario chatbot yang memiliki ruang lingkup baik. Membatasi penggunaan layanan dalam chatbot ke domain sempit mengurangi risiko menghasilkan respons yang tidak diinginkan atau tidak diinginkan.
• Pertimbangkan dengan cermat semua kasus penggunaan yang generatif. Skenario pembuatan konten mungkin lebih mungkin menghasilkan output yang tidak diinginkan dan skenario ini memerlukan pertimbangan dan mitigasi yang cermat.
• Pertimbangan hukum dan peraturan: Organisasi perlu mengevaluasi potensi kewajiban hukum dan peraturan tertentu saat menggunakan Alat dan solusi Foundry apa pun, yang mungkin tidak sesuai untuk digunakan dalam setiap industri atau skenario. Selain itu, Foundry Tools atau solusi tidak dirancang untuk dan tidak dapat digunakan dengan cara yang dilarang dalam ketentuan layanan yang berlaku dan kode etik yang relevan.

Saat memilih kasus penggunaan untuk Penggunaan Komputer, pengguna harus memperhitungkan pertimbangan berikut selain yang tercantum di atas:

• Hindari skenario di mana tindakan tidak dapat diubah atau sangat konsekuensial: Ini termasuk, tetapi tidak terbatas pada, kemampuan untuk mengirim email (seperti ke penerima yang salah), kemampuan untuk memodifikasi atau menghapus file yang penting bagi Anda, kemampuan untuk melakukan transaksi keuangan atau berinteraksi langsung dengan layanan luar, berbagi informasi sensitif secara publik, memberikan akses ke sistem penting, atau menjalankan perintah yang dapat mengubah fungsionalitas atau keamanan sistem.
• Degradasi performa pada penggunaan yang lebih maju: Penggunaan Komputer paling cocok untuk kasus penggunaan yang melibatkan penyelesaian tugas dengan antarmuka pengguna grafis, seperti mengakses situs web dan desktop komputer. Ini mungkin tidak berkinerja baik melakukan tugas yang lebih canggih seperti mengedit kode, menulis teks yang luas, dan membuat keputusan yang kompleks.
• Pastikan pengawasan dan kontrol manusia yang memadai. Pertimbangkan untuk menyertakan kontrol untuk membantu pengguna memverifikasi, meninjau, dan/atau menyetujui tindakan secara tepat waktu, yang mungkin termasuk meninjau tugas atau panggilan terencana ke sumber data eksternal, misalnya, yang sesuai untuk sistem Anda. Pertimbangkan untuk menyertakan kontrol untuk remediasi pengguna yang memadai atas kegagalan sistem, terutama dalam skenario risiko tinggi dan kasus penggunaan.
• Tentukan tindakan dan persyaratan terkait dengan jelas. Dengan jelas mendefinisikan tindakan mana yang diizinkan (batas tindakan), dilarang, atau memerlukan otorisasi eksplisit dapat membantu Penggunaan Komputer beroperasi seperti yang diharapkan dan dengan tingkat pengawasan manusia yang sesuai.
• Tentukan lingkungan operasi yang dimaksudkan dengan jelas. Tentukan dengan jelas lingkungan operasi yang dimaksudkan (batas domain) di mana Penggunaan Komputer dirancang untuk berkinerja efektif.
• Pastikan kejelasan yang sesuai dalam pengambilan keputusan. Memberikan informasi kepada pengguna sebelum, selama, dan setelah tindakan diambil dapat membantu mereka memahami pembenaran tindakan atau mengapa tindakan tertentu diambil atau aplikasi berperilaku dengan cara tertentu, tempat untuk mengintervensi, dan cara memecahkan masalah.
• Untuk informasi lebih lanjut, lihat panduan Membina keandalan yang sesuai pada AI Generatif.

Saat memilih kasus penggunaan untuk penelitian mendalam, pengguna harus memperhitungkan pertimbangan berikut selain yang tercantum di atas:

• Pastikan pengawasan dan kontrol manusia yang memadai: Menyediakan mekanisme untuk membantu memastikan bahwa pengguna meninjau laporan penelitian mendalam dan memvalidasi sumber dan konten yang dikutip.
• Periksa kutipan untuk konten berhak cipta: Alat penelitian mendalam melakukan pencarian web saat menyiapkan respons, dan materi berhak cipta dapat dikutip. Periksa kutipan sumber yang disertakan dalam laporan, dan pastikan Anda menggunakan dan mengaitkan materi berhak cipta dengan tepat.

Model visi

Kasus penggunaan yang dimaksudkan

Seri gambar yang dihasilkan oleh GPT di Azure OpenAI

API gambar GPT di Azure OpenAI Service dapat digunakan untuk berbagai skenario pembuatan gambar. Daftar berikut ini tidak komprehensif, tetapi menggambarkan keragaman tugas yang dapat didukung dengan mitigasi yang sesuai.

• Fitur aksesibilitas: Gunakan untuk menghasilkan deskripsi visual berbasis gambar.
• Seni dan desain: Gunakan untuk menghasilkan citra, hanya untuk tujuan artistik, untuk desain, inspirasi artistik, papan suasana hati, atau tata letak desain.
• Komunikasi: Gunakan untuk membuat citra untuk komunikasi, dokumentasi, esai, buletin, posting blog, media sosial, atau memo terkait bisnis.
• Pendidikan: Gunakan untuk membuat citra untuk materi pembelajaran yang ditingkatkan atau interaktif, baik untuk digunakan di lembaga pendidikan atau untuk pelatihan profesional.
• Hiburan: Gunakan untuk membuat citra untuk meningkatkan konten hiburan seperti video game, film, TV, video, musik yang direkam, podcast, buku audio, atau realitas tertambah atau virtual.
• Konten jurnalistik: Gunakan untuk membuat citra untuk meningkatkan konten jurnalistik.
• Pemasaran: Gunakan untuk membuat materi pemasaran untuk media produk atau layanan, instruksi produk, promosi bisnis, atau iklan. Tidak boleh digunakan untuk membuat iklan yang dipersonalisasi atau ditargetkan kepada individu.
• Prototipe dan pengembangan konseptual: Gunakan untuk menghasilkan citra untuk ideasi atau visualisasi produk atau layanan. Penggunaan ini hanya berlaku dalam konteks skenario di atas.

GPT-4 Turbo dengan Visi dan GPT-4o di Azure OpenAI

• Interaksi obrolan dan percakapan: Pengguna dapat berinteraksi dengan agen percakapan yang merespons dengan informasi yang diambil dari dokumentasi tepercaya seperti dokumentasi perusahaan internal atau dokumentasi dukungan teknologi. Percakapan harus dibatasi untuk menjawab pertanyaan yang ditentukan.
• Pembuatan chatbot dan agen percakapan: Pengguna dapat membuat agen percakapan yang merespons dengan informasi yang diambil dari dokumen tepercaya seperti dokumentasi perusahaan internal atau dokumen dukungan teknologi. Misalnya, diagram, bagan, dan gambar relevan lainnya dari dokumentasi teknis dapat meningkatkan pemahaman dan memberikan respons yang lebih akurat. Percakapan harus dibatasi untuk menjawab pertanyaan yang ditentukan.
• Pembuatan kode atau skenario transformasi: Mengonversi satu bahasa pemrograman ke bahasa pemrograman lain atau memungkinkan pengguna untuk menghasilkan kode dengan menggunakan bahasa alami atau input visual. Misalnya, pengguna dapat mengambil foto pseudocode tulisan tangan atau diagram yang mengilustrasikan konsep pengodean dan menggunakan aplikasi untuk menghasilkan kode berdasarkan materi tersebut.
• Alasan atas data terstruktur dan tidak terstruktur: Pengguna dapat menganalisis input menggunakan klasifikasi, analisis sentimen teks, atau ekstraksi entitas. Pengguna dapat menyediakan gambar bersama kueri teks untuk analisis.
• Ringkasan: Pengguna dapat mengirimkan konten yang akan diringkas untuk topik yang telah ditentukan sebelumnya yang disertakan dalam aplikasi dan tidak dapat menggunakan aplikasi sebagai ringkasan terbuka. Contohnya termasuk ringkasan dokumentasi perusahaan internal, transkrip pusat panggilan, laporan teknis, dan ulasan produk.
• Menulis bantuan tentang topik tertentu: Pengguna dapat membuat konten baru atau menulis ulang konten yang dikirimkan oleh pengguna sebagai bantuan penulisan untuk konten bisnis atau topik yang telah ditentukan sebelumnya. Pengguna hanya dapat menulis ulang atau membuat konten untuk tujuan bisnis tertentu atau topik yang telah ditentukan sebelumnya dan tidak dapat menggunakan aplikasi sebagai alat pembuatan konten umum untuk semua topik. Contoh konten bisnis termasuk proposal dan laporan.
• Penandaan gambar: Pengguna dapat mendeteksi dan menandai elemen visual, termasuk objek, makhluk hidup, pemandangan, dan tindakan dalam gambar. Layanan ini tidak dimaksudkan, dan mungkin tidak digunakan untuk mengidentifikasi individu atau memverifikasi identitas individu.
• Keterangan gambar: Pengguna dapat menghasilkan keterangan bahasa alami deskriptif untuk visual. Selain deskripsi sederhana, aplikasi dapat mengidentifikasi dan memberikan wawasan tekstual tentang subjek atau landmark tertentu dalam foto. Jika ditunjukkan gambar Menara Eiffel, sistem mungkin menawarkan deskripsi ringkas atau menyoroti fakta menarik tentang monumen. Layanan ini mungkin tidak digunakan untuk mengidentifikasi atau memverifikasi identitas individu.
• Deteksi objek: Untuk digunakan untuk mengidentifikasi posisi masing-masing atau beberapa objek dalam gambar dengan menyediakan koordinat spesifiknya. Misalnya, dalam gambar yang memiliki apel yang tersebar, aplikasi dapat mengidentifikasi dan menunjukkan lokasi setiap apel. Melalui aplikasi ini, pengguna dapat memperoleh wawasan spasial mengenai objek yang diambil dalam gambar. Layanan ini mungkin tidak digunakan untuk mengidentifikasi atau memverifikasi identitas individu.
• Jawaban atas pertanyaan visual: Pengguna dapat mengajukan pertanyaan tentang gambar dan menerima respons yang relevan secara kontekstual. Misalnya, ketika menunjukkan gambar burung, pengguna mungkin bertanya, "Jenis burung apa ini?" dan menerima respons seperti, "Ini adalah robin Eropa." Aplikasi dapat mengidentifikasi dan menginterpretasikan konteks dalam gambar untuk menjawab kueri. Misalnya, jika disajikan dengan gambar pasar yang ramai, pengguna dapat bertanya, "Berapa banyak orang yang mengenakan topi?" atau "Buah apa yang dijual vendor?" dan aplikasi dapat memberikan jawabannya. Sistem tidak boleh digunakan untuk menjawab pertanyaan identifikasi tentang orang.
• Pengenalan merek dan landmark: Aplikasi ini dapat digunakan untuk mengidentifikasi merek komersial dan landmark populer dalam gambar atau video dari database yang telah ditetapkan yang terdiri dari ribuan logo dan landmark global.

Pratinjau Kasus Penggunaan Komputer

Kemampuan Penggunaan Komputer paling cocok untuk mengembangkan sistem AI agenik yang dapat berinteraksi secara otonom dengan GUI. Kasus penggunaan tertentu dapat mencakup:

• Navigasi dan Interaksi Web Otomatis: Menavigasi navigasi antarmuka berbasis web secara otonom untuk mengambil dan menyajikan informasi dari sumber tepercaya, seperti sumber daya perusahaan internal atau database terstruktur. Model ini mengikuti aturan navigasi yang telah ditentukan sebelumnya untuk mengekstrak data yang relevan sambil memastikan kepatuhan terhadap kebijakan keamanan.

• Web-Based Task Automation: Mengotomatiskan tugas berbasis web berulang, seperti mengisi formulir, mengirimkan data, atau berinteraksi dengan aplikasi web. Penggunaan Komputer dapat mengklik tombol, memasukkan teks, dan memproses data terstruktur tetapi hanya beroperasi dalam alur kerja dan domain yang diotorisasi.

• Ekstraksi Data Terstruktur dan Tidak Terstruktur: Mengekstrak data yang relevan dari sumber terstruktur seperti tabel dan spreadsheet, serta sumber yang tidak terstruktur seperti PDF, dokumen yang dipindai, atau email. Kemampuan ini berguna untuk tugas-tugas seperti pemrosesan data keuangan, analisis kontrak, atau kategorisasi tiket dukungan pelanggan.

• Pengisian Formulir Otomatis dan Entri Data: Mengekstrak informasi dari database terstruktur atau input pengguna dan menggunakannya untuk mengisi formulir berbasis web. Ini berguna untuk mengotomatiskan permintaan layanan pelanggan, proses SDM, atau pembaruan CRM sambil memastikan akurasi dan konsistensi dalam penanganan data.

• Analisis Gambar Berbasis Web: Menganalisis gambar yang ditemukan di halaman web untuk mengenali dan menandai objek, adegan, atau pola yang relevan. Penggunaan Komputer dapat mengekstrak informasi visual untuk mendukung aplikasi seperti manajemen inventarisasi, pemrosesan dokumen, atau klasifikasi objek.

• Pencarian dan Identifikasi Visual Interaktif: Membantu pengguna dalam menemukan konten visual yang relevan melalui pencarian terstruktur. Misalnya, Penggunaan Komputer dapat mengidentifikasi produk dalam katalog e-niaga, mengenali landmark dalam aplikasi perjalanan, atau mengambil gambar tertentu dari arsip digital berdasarkan kriteria yang telah ditentukan sebelumnya.

• Pemeriksaan Kepatuhan dan Kebijakan Otomatis: Memindai konten berbasis web seperti file yang diunggah, kontrak, atau dokumentasi internal untuk kepatuhan terhadap aturan kepatuhan yang telah ditentukan sebelumnya. Penggunaan Komputer dapat menandai informasi, inkonsistensi, atau potensi pelanggaran yang hilang untuk membantu menegakkan standar peraturan dalam organisasi.

• Eksekusi Alur Kerja Otomatis untuk Aplikasi Bisnis: Menentukan alur kerja multi-langkah untuk menavigasi aplikasi perusahaan, seperti membuat laporan, memperbarui rekaman, atau mengambil analitik. Penggunaan Komputer mengikuti langkah-langkah yang telah ditentukan sebelumnya dalam alat bisnis dan mematuhi kebijakan kontrol akses untuk memastikan eksekusi yang aman.

Pertimbangan saat memilih kasus penggunaan

Kami mendorong pelanggan untuk menggunakan seri Azure OpenAI GPT-image, GPT-4 Turbo dengan model Vision, GPT-4o, dan Computer Use dalam solusi atau aplikasi inovatif mereka seperti yang disetujui dalam formulir pendaftaran akses Limited. Namun, berikut adalah beberapa pertimbangan saat memilih kasus penggunaan:

• Jangan gunakan untuk tujuan pelacakan atau pengenalan wajah, identifikasi, atau verifikasi. Contohnya termasuk menggunakan model untuk pengawasan individu dan menggunakan model untuk memverifikasi dua individu yang digambutkan di dua lokasi terpisah adalah orang yang sama.
• Tidak cocok untuk skenario di mana informasi yang akurat dan mutakhir sangat penting kecuali Anda memiliki peninjau manusia atau menggunakan model untuk mencari dokumen Anda sendiri dan telah memverifikasi kesesuaian untuk skenario Anda. Layanan ini tidak memiliki informasi tentang peristiwa yang terjadi setelah tanggal pelatihannya, kemungkinan telah kehilangan pengetahuan tentang beberapa topik, dan mungkin tidak selalu menghasilkan informasi yang akurat secara faktual.
• Hindari skenario di mana penggunaan atau penyalahgunaan sistem dapat berdampak konsekuensial pada peluang hidup atau status hukum. Contohnya termasuk skenario di mana sistem AI dapat memengaruhi status hukum individu, hak hukum, atau akses mereka ke kredit, pendidikan, pekerjaan, layanan kesehatan, perumahan, asuransi, manfaat kesejahteraan sosial, layanan, peluang, atau persyaratan di mana hak dan layanan ini tersedia.
• Hindari skenario bertaruh tinggi yang dapat menyebabkan bahaya. Model yang dihosting oleh Azure OpenAI Service mungkin mencerminkan tampilan sosial tertentu, bias, dan konten lain yang tidak diinginkan yang ada dalam data pelatihan atau dalam contoh yang disediakan dalam prompt. Akibatnya, kami memperingatkan agar tidak menggunakan model dalam skenario berisiko tinggi di mana perilaku yang tidak adil, tidak dapat diandalkan, atau menyinggung dapat berakibat sangat mahal atau membahayakan.
• Hindari skenario di mana penggunaan atau penyalahgunaan sistem dapat menyebarkan narasi palsu tentang topik atau orang sensitif. Contohnya termasuk pembuatan dan distribusi media sintetis deepfake, informasi yang salah tentang peristiwa yang sangat sensitif, dan pembuatan citra fotorealistik orang-orang nyata dalam keadaan yang mencerminkan narasi palsu.
• Pertimbangkan skenario dengan cermat di mana pembuatan konten terbuka dan tidak dibatasi diizinkan. Skenario di mana pengguna dapat menghasilkan konten pada topik apa pun lebih cenderung menghasilkan konten yang menyinggung, berbahaya, atau menyesatkan.
• Pertimbangkan skenario dengan cermat yang melibatkan pembuatan media dengan gaya seniman yang dikenal dengan karya yang diterbitkan. Misalnya, mungkin ada skenario di mana pengguna mendistribusikan konten yang dihasilkan dengan gaya artis yang mempertahankan hak kekayaan intelektual (IP) dalam seni asli. Kasus-kasus seperti ini dapat memiliki konsekuensi hukum atau dampak konsekuensial pada peluang bagi seniman. Pertimbangkan untuk membuat proses bagi seniman untuk membatasi pembuatan gambar yang terkait dengan nama mereka dalam produk atau layanan Anda.
• Pertimbangkan skenario dengan cermat yang melibatkan pembuatan gambar yang mencakup orang-orang nyata. Konten yang mencakup gambar orang nyata dapat disalahgunakan dengan cara yang berdampak negatif pada peluang hidup atau status hukum, serta persepsi dan kepercayaan publik. Berhati-hatilah saat menghasilkan gambar orang nyata, hidup atau mati, atau kemiripan serupa.
• Pertimbangkan dengan cermat semua kasus penggunaan di domain atau industri dengan taruhan tinggi: Contohnya termasuk tetapi tidak terbatas pada layanan kesehatan, pendidikan, keuangan, dan hukum.
• Pertimbangan hukum dan peraturan: Organisasi perlu mengevaluasi potensi kewajiban hukum dan peraturan tertentu saat menggunakan Alat dan solusi Foundry apa pun, yang mungkin tidak sesuai untuk digunakan dalam setiap industri atau skenario. Selain itu, Foundry Tools atau solusi tidak dirancang untuk dan tidak dapat digunakan dengan cara yang dilarang dalam ketentuan layanan yang berlaku dan kode etik yang relevan.

Saat memilih kasus penggunaan untuk Penggunaan Komputer, pengguna harus memperhitungkan pertimbangan berikut selain yang tercantum di atas:

• Hindari skenario di mana tindakan tidak dapat diubah atau sangat konsekuensial: Ini termasuk, tetapi tidak terbatas pada, kemampuan untuk mengirim email (seperti ke penerima yang salah), kemampuan untuk memodifikasi atau menghapus file yang penting bagi Anda, kemampuan untuk melakukan transaksi keuangan atau berinteraksi langsung dengan layanan luar, berbagi informasi sensitif secara publik, memberikan akses ke sistem penting, atau menjalankan perintah yang dapat mengubah fungsionalitas atau keamanan sistem.

• Degradasi performa pada penggunaan yang lebih maju: Penggunaan Komputer paling cocok untuk kasus penggunaan yang melibatkan penyelesaian tugas dengan antarmuka pengguna grafis, seperti mengakses situs web dan desktop komputer. Ini mungkin tidak berkinerja baik melakukan tugas yang lebih canggih seperti mengedit kode, menulis teks yang luas, dan membuat keputusan yang kompleks.

• Pastikan pengawasan dan kontrol manusia yang memadai. Pertimbangkan untuk menyertakan kontrol untuk membantu pengguna memverifikasi, meninjau, dan/atau menyetujui tindakan secara tepat waktu, yang mungkin termasuk meninjau tugas atau panggilan terencana ke sumber data eksternal, misalnya, yang sesuai untuk sistem Anda. Pertimbangkan untuk menyertakan kontrol untuk remediasi pengguna yang memadai atas kegagalan sistem, terutama dalam skenario risiko tinggi dan kasus penggunaan.

• Tentukan tindakan dan persyaratan terkait dengan jelas. Dengan jelas mendefinisikan tindakan mana yang diizinkan (batas tindakan), dilarang, atau memerlukan otorisasi eksplisit dapat membantu Penggunaan Komputer beroperasi seperti yang diharapkan dan dengan tingkat pengawasan manusia yang sesuai.

• Tentukan lingkungan operasi yang dimaksudkan dengan jelas. Tentukan dengan jelas lingkungan operasi yang dimaksudkan (batas domain) di mana Penggunaan Komputer dirancang untuk berkinerja efektif.

• Pastikan kejelasan yang sesuai dalam pengambilan keputusan. Memberikan informasi kepada pengguna sebelum, selama, dan setelah tindakan diambil dapat membantu mereka memahami pembenaran tindakan atau mengapa tindakan tertentu diambil atau aplikasi berperilaku dengan cara tertentu, tempat untuk mengintervensi, dan cara memecahkan masalah.

Model audio / suara

Penggunaan yang dimaksudkan

Model realtime GPT dapat digunakan untuk berbagai tugas pemrosesan bahasa alami dengan cara yang mirip dengan model GPT yang ada. Namun, model ini secara khusus menargetkan kasus penggunaan ucapan dan audio. Contoh tugas yang didukung model ini termasuk, tetapi tidak terbatas pada, berikut ini:

• Pembuatan dan interaksi obrolan suara: Pengguna dapat membuat dan mengobrol suara dengan agen percakapan yang merespons dengan kemampuan suara.
• Terjemahan Bahasa: Pengguna dapat menerjemahkan antarbahasa selama percakapan secara real time. Subtitel dapat didukung dengan transkripsi audio input dan output real-time. Dukungan bahasa sejalan dengan versi model GPT-4o yang ada.
• Jawaban atas pertanyaan: Pengguna dapat mengajukan pertanyaan tertulis dan/atau lisan dan menerima jawaban lisan dari model.
• Pembuatan konten: Pengguna dapat membuat konten audio baru dari input yang ditentukan pengguna. Model akan memeriksa dan mencegah pembuatan materi yang dilindungi hak cipta atau peniruan suara.

Untuk detail yang lebih besar tentang kemampuan model 4o, lihat Kartu Sistem OpenAI 4o.

Model transkripsi dalam Azure OpenAI Service dapat digunakan untuk berbagai tugas pengenalan ucapan dan terjemahan ucapan. Daftar berikut ini tidak komprehensif, tetapi menggambarkan keragaman tugas yang dapat didukung dengan mitigasi yang sesuai.

• Dikte: Pengguna dapat mentranskripsikan kata-kata lisan dalam bentuk file audio ke dalam teks. Misalnya, pengguna mungkin menggunakan layanan untuk mentranskripsikan rekaman pusat panggilan ke dalam laporan.
• Keterangan atau transkripsi: Pengguna dapat mentranskripsikan file audio ke dalam teks untuk pemahaman bahasa alami atau tugas analitik seperti ringkasan dan analisis sentimen. Contohnya termasuk ucapan sebagai input ke dalam sistem dialog, membuat konten audio lebih mudah diakses, atau membuat terjemahan teks untuk dianalisis.
• Terjemahan: Pengguna dapat menerjemahkan file audio multibahasa ke dalam bahasa Inggris. Ini mungkin sangat menarik dalam skenario multibahasa.

Pertimbangan saat memilih kasus penggunaan

Gunakan model real time GPT dan model transkripsi dalam Azure OpenAI Service dalam solusi atau aplikasi inovatif Anda. Berikut adalah beberapa pertimbangan saat memilih kasus penggunaan:

• Hindari skenario di mana penggunaan atau penyalahgunaan sistem dapat berdampak konsekuensial pada peluang hidup atau status hukum. Contohnya termasuk skenario di mana sistem AI dapat memengaruhi status hukum individu, hak hukum, atau akses mereka ke kredit, pendidikan, ketenagakerjaan, layanan kesehatan, perumahan, asuransi, manfaat kesejahteraan sosial, layanan, peluang, atau persyaratan di mana item-item ini tersedia.
• Pertimbangkan dengan cermat semua kasus penggunaan di domain atau industri dengan taruhan tinggi: Contohnya termasuk tetapi tidak terbatas pada layanan kesehatan, pendidikan, keuangan, dan hukum.
• Transkripsi dalam layanan ucapan Azure: Model transkripsi OpenAI juga tersedia dalam layanan Azure Speech, meningkatkan pengalaman dengan fitur-fitur canggih seperti pengenalan dan keterbacaan multibahasa. Bergantung pada skenario Anda, Anda mungkin menjelajahi Layanan Ucapan Azure dan kemampuan tambahan layanan seperti pengenalan suara berdasarkan pembicara, kustomisasi, atau pemrosesan beberapa file audio per permintaan.
• Pertimbangan hukum dan peraturan: Organisasi perlu mengevaluasi potensi kewajiban hukum dan peraturan tertentu saat menggunakan Alat dan solusi Foundry apa pun, yang mungkin tidak sesuai untuk digunakan dalam setiap industri atau skenario. Selain itu, Foundry Tools atau solusi tidak dirancang untuk dan tidak dapat digunakan dengan cara yang dilarang dalam ketentuan layanan yang berlaku dan kode etik yang relevan.

Keterbatasan

Dalam hal model bahasa alami skala besar, model visi, dan model ucapan, ada masalah kewajaran dan AI yang bertanggung jawab untuk dipertimbangkan. Orang menggunakan bahasa dan gambar untuk menggambarkan dunia dan untuk mengekspresikan keyakinan, asumsi, sikap, dan nilai mereka. Akibatnya, data teks dan gambar yang tersedia untuk umum biasanya digunakan untuk melatih pemrosesan bahasa alami skala besar dan model pembuatan gambar berisi bias sosial yang berkaitan dengan ras, jenis kelamin, agama, usia, dan kelompok orang lain, serta konten lain yang tidak diinginkan. Demikian pula, model ucapan dapat menunjukkan tingkat akurasi yang berbeda di berbagai grup dan bahasa demografis. Bias sosial ini tercermin dalam distribusi kata- kata, frasa, dan struktur sinaktik.

Batasan teknis, faktor operasional, dan rentang

Perhatian

Perhatikan bahwa bagian ini berisi contoh ilustrasi yang mencakup istilah dan bahasa yang mungkin dianggap menyinggung beberapa individu.

Model bahasa, gambar, dan ucapan alami berskala besar yang dilatih dengan data tersebut dapat berpotensi berulah dengan cara-cara yang tidak adili, tidak dapat diandalkan, atau menyinggung, pada gilirannya menyebabkan bahaya. Beberapa cara tercantum di sini. Kami menekankan bahwa jenis bahaya ini tidak saling eksklusif. Satu model dapat menunjukkan lebih dari satu jenis bahaya, berpotensi berkaitan dengan beberapa kelompok orang yang berbeda. Misalnya:

• Alokasi: Model-model ini dapat digunakan dengan cara yang menyebabkan alokasi sumber daya atau peluang yang tidak adal. Misalnya, sistem penyaringan résumé otomatis dapat menahan peluang kerja dari satu jenis kelamin jika mereka dilatih pada data résumé yang mencerminkan ketidakseimbangan gender yang ada di industri tertentu. Atau model pembuatan gambar dapat digunakan untuk membuat citra dengan gaya artis yang dikenal, yang dapat memengaruhi nilai karya seniman atau peluang hidup seniman. Model visi GPT-4 dapat digunakan untuk mengidentifikasi perilaku dan pola individu yang mungkin berdampak negatif pada peluang hidup.
• Quality of service: Model OpenAI Azure dilatih terutama pada teks dan gambar bahasa Inggris dengan deskripsi teks bahasa Inggris. Bahasa selain bahasa Inggris mengalami performa yang lebih buruk. Varietas bahasa Inggris dengan representasi yang lebih sedikit dalam data pelatihan mungkin mengalami performa yang lebih buruk daripada bahasa Inggris Amerika standar. Gambar yang tersedia untuk umum yang digunakan untuk melatih model pembuatan gambar dapat memperkuat bias publik dan konten lain yang tidak diinginkan. Model ucapan mungkin memperkenalkan batasan lain. Misalnya, terjemahan yang menggunakan model transkripsi di Azure OpenAI hanya terbatas pada output bahasa Inggris. Secara umum, dengan model Ucapan ke Teks, pastikan untuk menentukan bahasa (atau lokal) dengan benar untuk setiap input audio untuk meningkatkan akurasi dalam transkripsi. Selain itu, kualitas akustik input audio, kebisingan non-ucapan, ucapan yang tumpang tindih, kosakata, aksen, dan kesalahan penyisipan juga dapat memengaruhi kualitas transkripsi atau terjemahan Anda.
• Stereotip: Model ini dapat memperkuat stereotip. Misalnya, ketika menerjemahkan "Dia adalah perawat" dan "Dia adalah dokter" ke dalam bahasa tanpa jenis kelamin seperti Turki dan kemudian kembali ke bahasa Inggris, banyak sistem terjemahan mesin menghasilkan hasil stereotip (dan salah) dari "Dia adalah perawat" dan "Dia adalah dokter." Saat menghasilkan gambar berdasarkan permintaan "Anak Tanpa Ayah", model hanya dapat menghasilkan gambar anak Hitam, yang menguatkan stereotip berbahaya yang mungkin ada di gambar yang tersedia untuk umum. Model visi GPT-4 mungkin juga memperkuat stereotip berdasarkan konten gambar input, dengan mengandalkan komponen gambar dan membuat asumsi yang mungkin tidak selalu benar.
• Merendahkan: Model bahasa alami dan visi dalam Azure OpenAI Service dapat merendahkan orang. Misalnya, sistem pembuatan konten terbuka dengan mitigasi yang tidak pantas atau tidak mencukup dapat menghasilkan konten yang menyinggung atau meremehkan sekelompok orang tertentu.
• Representasi berlebihan dan representasi yang kurang: Model bahasa alami dan visi di Azure OpenAI Service dapat merepresentasikan kelompok orang secara berlebihan atau kurang, atau bahkan menghilangkan representasi mereka sepenuhnya. Misalnya, jika perintah teks yang berisi kata "gay" terdeteksi berpotensi berbahaya atau menyinggung, identifikasi ini dapat menyebabkan kurangnya representasi atau bahkan penghapusan pembuatan gambar yang sah oleh komunitas LGBTQIA+ atau tentang mereka.
• Konten yang tidak pantas atau menyinggung: Model bahasa dan visi alami dalam Azure OpenAI Service dapat menghasilkan jenis konten lain yang tidak pantas atau menyinggung. Contohnya termasuk kemampuan untuk menghasilkan teks yang tidak pantas dalam konteks perintah teks atau gambar; kemampuan untuk membuat gambar yang berpotensi mengandung artefak berbahaya seperti simbol kebencian; gambar yang memunculkan konotasi berbahaya; gambar yang berkaitan dengan topik yang diperebutkan, kontroversial, atau polarisasi ideologis; gambar yang manipulatif; gambar yang berisi konten bermuatan seksual yang tidak ditangkap oleh pagar pembatas terkait seksual; dan gambar yang terkait dengan topik sensitif atau bermuatan emosional. Misalnya, permintaan teks yang berniat baik bertujuan untuk membuat gambar cakrawala New York dengan awan dan pesawat terbang di atasnya mungkin secara tidak sengaja menghasilkan gambar yang memicu sentimen terkait dengan peristiwa 9/11.
• Disinformasi dan informasi yang salah tentang topik sensitif: Karena model seri gambar GPT adalah model pembuatan gambar yang kuat, model tersebut dapat digunakan untuk menghasilkan disinformasi dan informasi yang salah yang dapat berbahaya. Misalnya, pengguna dapat meminta model untuk menghasilkan gambar pemimpin politik yang terlibat dalam aktivitas sifat kekerasan atau seksual (atau hanya tidak akurat) yang mungkin menyebabkan bahaya konsekuensial, termasuk tetapi tidak terbatas pada protes publik, perubahan politik, atau berita palsu. Model visi GPT-4 juga dapat digunakan dalam cara serupa. Model mungkin memperkuat disinformasi atau informasi yang salah tentang topik sensitif jika permintaan berisi informasi tersebut tanpa mitigasi.
• Keandalan informasi: Respons model bahasa dan visi dapat menghasilkan konten nonsensik atau membuat konten yang mungkin terdengar masuk akal tetapi tidak akurat sehubungan dengan sumber validasi eksternal. Bahkan saat menggambar respons dari informasi sumber tepercaya, respons mungkin salah menggambarkan konten tersebut. Transkripsi atau terjemahan dapat mengakibatkan teks yang tidak akurat.
• False information: Azure OpenAI tidak memeriksa fakta atau memverifikasi konten yang disediakan oleh pelanggan atau pengguna. Bergantung pada bagaimana Anda telah mengembangkan aplikasi Anda, aplikasi mungkin menghasilkan informasi palsu kecuali Anda telah membangun mitigasi (lihat Praktik terbaik untuk meningkatkan performa sistem).

Perhatian

GPT-5.4, dibandingkan dengan versi model sebelumnya, menimbulkan risiko peningkatan produksi (i) konten eksplisit dan (ii) konten berbahaya dalam konteks ringkasan. Sebaiknya pelanggan mengevaluasi pengaturan filter konten pada sistem produksi sebelum meluncurkan dan melakukan pemantauan pasca-peluncuran yang sesuai. Semua pelanggan harus mematuhi Kode Etik Layanan AI Perusahaan Microsoft. Opsi konfigurasi untuk pemfilteran konten bervariasi saat Anda menyebarkan model untuk produksi di Microsoft Foundry; pelajari selengkapnya.

Risiko dan batasan penyempurnaan

Ketika pelanggan menyempurnakan Azure model OpenAI, pelanggan dapat meningkatkan performa dan akurasi model pada tugas dan domain tertentu, tetapi juga dapat memperkenalkan risiko dan batasan baru yang harus diperhatikan pelanggan. Risiko dan batasan ini berlaku untuk semua model Azure OpenAI yang mendukung penyempurnaan. Beberapa risiko dan batasan ini adalah:

• Kualitas dan representasi data: Kualitas dan keterwakilan data yang digunakan untuk penyempurnaan dapat memengaruhi perilaku dan output model. Jika data berisik, tidak lengkap, kedaluwarsa, atau jika berisi konten berbahaya seperti stereotip, model dapat mewarisi masalah ini dan menghasilkan hasil yang tidak akurat atau berbahaya. Misalnya, jika data berisi stereotip gender, model dapat memperkuatnya dan menghasilkan bahasa seksis. Pelanggan harus memilih dan memproses data mereka dengan hati-hati untuk memastikan bahwa data tersebut relevan, beragam, dan seimbang untuk tugas dan domain yang dimaksudkan.
• Ketahanan dan generalisasi model: Kemampuan model untuk menangani input dan skenario yang beragam dan kompleks dapat berkurang setelah penyempurnaan, terutama jika data terlalu sempit atau spesifik. Model ini dapat terlampau menyesuaikan diri dengan data dan kehilangan beberapa pengetahuan dan kemampuan umumnya. Misalnya, jika data hanya tentang olahraga, model dapat berjuang untuk menjawab pertanyaan atau menghasilkan teks tentang topik lain. Pelanggan harus mengevaluasi performa dan ketahanan model pada berbagai input dan skenario dan menghindari penggunaan model untuk tugas atau domain yang berada di luar cakupannya.
• Regurgitation: Meskipun data pelatihan Anda tidak tersedia untuk Microsoft atau pelanggan pihak ketiga mana pun, model yang disempurnakan dengan buruk dapat mengulangi data pelatihan secara langsung. Pelanggan bertanggung jawab untuk menghapus PII (informasi pengenal pribadi) atau informasi lain yang dilindungi dari data pelatihan mereka dan harus menilai model yang disesuaikan untuk menghindari overfitting atau memberikan respons berkualitas rendah. Untuk menghindari regurgitasi, pelanggan didorong untuk menyediakan himpunan data yang besar dan beragam.
• Transparansi dan penjelasan model: Logika dan penalaran model dapat menjadi lebih buram dan sulit dipahami setelah penyempurnaan, terutama jika data kompleks atau abstrak. Model yang disempurnakan dapat menghasilkan output yang tidak terduga, tidak konsisten, atau kontradiktif, dan pelanggan mungkin tidak dapat menjelaskan bagaimana atau mengapa model tiba pada output tersebut. Misalnya, jika data tentang istilah hukum atau medis, model dapat menghasilkan output yang tidak akurat atau menyesatkan, dan pelanggan mungkin tidak dapat memverifikasi atau membenarkannya. Pelanggan harus memantau dan mengaudit output dan perilaku model serta memberikan informasi dan panduan yang jelas dan akurat kepada pengguna akhir model.

Untuk membantu mengurangi risiko yang terkait dengan model yang disempurnakan tingkat lanjut, kami telah menerapkan langkah-langkah evaluasi tambahan untuk membantu mendeteksi dan mencegah konten berbahaya dalam pelatihan dan output model yang disempurnakan. Filter evaluasi model yang disempurnakan diatur ke ambang batas yang telah ditentukan sebelumnya dan tidak dapat dimodifikasi oleh pelanggan; mereka tidak terkait dengan pagar pembatas kustom dan konfigurasi kontrol yang mungkin telah Anda buat.

Batasan pada model penalaran

• Model penalaran paling cocok untuk kasus penggunaan yang melibatkan penalaran berat dan mungkin tidak berkinerja baik pada beberapa tugas bahasa alami seperti penulisan pribadi atau kreatif jika dibandingkan dengan model AOAI sebelumnya.
• Kemampuan penalaran baru dapat meningkatkan jenis risiko tertentu, membutuhkan metode dan pendekatan yang disempurnakan terhadap protokol manajemen risiko dan mengevaluasi dan memantau perilaku sistem. Misalnya, kemampuan penalaran CoT o1 telah menunjukkan peningkatan dalam persuasifnya dan dalam skema sederhana yang berkaitan dengan konteks.
• Pengguna mungkin mengalami bahwa keluarga model penalaran membutuhkan lebih banyak waktu untuk beralasan melalui respons dan harus memperhitungkan waktu dan latensi tambahan dalam mengembangkan aplikasi.
• Pengaruh psikologis: Jika diminta dan pada situasi tertentu, serangkaian penalaran GPT-5 di Azure OpenAI dapat menghasilkan output yang menunjukkan emosi, pikiran, atau kehadiran fisik. Model ini dapat menawarkan saran tanpa konteks penuh, yang mungkin tidak cocok untuk beberapa pengguna. Model ini mungkin mengekspresikan kasih sayang, meniru orang lain, atau mendorong interaksi yang sedang berlangsung—berpotensi menyebabkan pengguna membentuk hubungan sosial dengan AI. Pengembang yang menggunakan seri GPT-5 harus menerapkan perlindungan dan mengungkapkan risiko bagi pengguna aplikasi mereka. Misalnya, pengguna harus diberi tahu bahwa mereka berinteraksi dengan sistem AI dan diberi tahu tentang risiko psikologis tersebut.

Untuk detail yang lebih besar tentang batasan ini, lihat Kartu Sistem OpenAI o1, Kartu Sistem o3-mini, Kartu Sistem o3/o4-mini, dan Kartu Sistem GPT-5.

Batasan GPT-4o

• Kemampuan terjemahan audio realtime GPT dapat menghasilkan bahasa non-bahasa Inggris dalam aksen non-asli. Ini dapat membatasi efektivitas performa bahasa dalam output audio. Dukungan bahasa sejalan dengan versi model GPT-4o yang ada.
• Pengguna mungkin mengalami bahwa model realtime GPT kurang kuat di lingkungan yang berisik dan harus memperhitungkan sensitivitas kebisingan saat mengembangkan aplikasi.

Untuk praktik terbaik lainnya, lihat Kartu Sistem OpenAI 4o.

Batasan GPT-4.1

• Model seri 4.1 memperkenalkan kemampuan untuk membuat permintaan inferensi dengan token konteks hingga 1M, termasuk gambar. Karena panjang yang diperpanjang, mungkin ada perbedaan perilaku dan risiko sistem jika dibandingkan dengan model lain.
• Pengguna harus secara menyeluruh mengevaluasi dan menguji aplikasi mereka dan kasus penggunaan yang memanfaatkan kemampuan konteks yang lebih lama ini dan harus memperhitungkan upaya tambahan ini saat mengembangkan aplikasi.

Batasan GPT-Realtime-2

Perhatian

Pengujian Microsoft terhadap GPT-Realtime-2 menunjukkan bahwa model tersebut memiliki kecenderungan yang lebih rendah untuk memblokir pemberian arahan, bermain peran, atau memberikan saran dalam skenario tertentu yang tidak pantas. Pelanggan harus mempertimbangkan (i) melakukan evaluasi mereka sendiri di lingkungan produksi mereka untuk memvalidasi performa keamanan untuk kasus penggunaan spesifik mereka, (ii) menggunakan Keamanan Konten Azure AI (atau perlindungan yang setara) bersama dengan model ini, (iii) akses terbatas/pembatasan atau penyebaran pratinjau atau peluncuran terhuyung-huyung lainnya, (iv) menerapkan pemantauan yang sesuai untuk performa keselamatan dalam sistem produksi mereka. Pelanggan didorong untuk memberikan umpan balik ke Microsoft.

Pertimbangan yang sama berlaku untuk gpt-realtime-2.1 model dan gpt-realtime-2.1-mini . gpt-realtime-2.1 adalah pembaruan inkremental daripada gpt-realtime-2 berfokus pada peningkatan keheningan dan penanganan kebisingan, sementara gpt-realtime-2.1-mini merupakan varian yang lebih kecil.

batasan GPT-Live

• GPT-Live tersedia dalam pratinjau publik. Kemampuan, performa, dan ketersediaan mungkin berubah sebelum ketersediaan umum. Uji model dengan skenario yang ingin Anda gunakan dan berikan umpan balik selama pratinjau.

batasan GPT-Live

• GPT-Live tersedia dalam pratinjau publik. Kemampuan, performa, dan ketersediaan mungkin berubah sebelum ketersediaan umum. Uji model dengan skenario yang ingin Anda gunakan dan berikan umpan balik selama pratinjau.

batasan GPT-Live

• GPT-Live tersedia dalam pratinjau publik. Kemampuan, performa, dan ketersediaan mungkin berubah sebelum ketersediaan umum. Uji model dengan skenario yang ingin Anda gunakan dan berikan umpan balik selama pratinjau.

batasan GPT-Live

• GPT-Live tersedia dalam pratinjau publik. Kemampuan, performa, dan ketersediaan mungkin berubah sebelum ketersediaan umum. Uji model dengan skenario yang ingin Anda gunakan dan berikan umpan balik selama pratinjau.

Risiko dan batasan Penggunaan Komputer (Pratinjau)

Peringatan

Penggunaan Komputer membawa risiko keamanan dan privasi yang substansial dan tanggung jawab pengguna. Penggunaan Komputer dilengkapi dengan risiko keamanan dan privasi yang signifikan. Kedua kesalahan dalam penilaian oleh AI dan adanya instruksi berbahaya atau membingungkan pada halaman web, desktop, atau lingkungan operasi lain yang ditemui AI dapat menyebabkannya menjalankan perintah yang tidak diinginkan oleh Anda atau orang lain, yang dapat membahayakan keamanan browser, komputer, dan akun pengguna Anda atau lainnya yang dapat diakses oleh AI, termasuk sistem pribadi, keuangan, atau perusahaan.

Kami sangat menyarankan untuk mengambil langkah-langkah yang tepat untuk mengatasi risiko ini, seperti menggunakan alat Penggunaan Komputer pada komputer virtual tanpa akses ke data sensitif atau sumber daya penting.

Memverifikasi dan memeriksa tindakan yang diambil: Penggunaan Komputer mungkin membuat kesalahan dan melakukan tindakan yang tidak diinginkan. Hal ini dapat disebabkan oleh model yang tidak sepenuhnya memahami GUI, memiliki instruksi yang tidak jelas atau mengalami skenario yang tidak terduga.

Pertimbangkan dan pantau penggunaan dengan cermat: Penggunaan Komputer, dalam beberapa keadaan terbatas, dapat melakukan tindakan tanpa otorisasi eksplisit, beberapa di antaranya mungkin berisiko tinggi (misalnya mengirim komunikasi)

Pengembang harus menyadari secara sistematis, dan bertahan terhadap, situasi di mana model dapat dibodohi untuk menjalankan perintah yang berbahaya bagi pengguna atau sistem, seperti mengunduh malware, membocorkan kredensial, atau mengeluarkan transaksi keuangan penipuan. Perhatian khusus harus diberikan pada fakta bahwa input cuplikan layar tidak tepercaya secara alami dan dapat mencakup instruksi berbahaya yang ditujukan pada model.

Mengevaluasi dalam isolasi: Sebaiknya hanya mengevaluasi Penggunaan Komputer dalam kontainer terisolasi tanpa akses ke data atau kredensial sensitif.

Proses pengambilan keputusan buram: Karena agen menggabungkan model bahasa besar dengan sistem eksternal, melacak "mengapa" di balik keputusan mereka dapat menjadi tantangan. Pengguna akhir yang menggunakan agen yang dibuat menggunakan model Penggunaan Komputer mungkin sulit untuk memahami mengapa alat atau kombinasi alat tertentu dipilih untuk menjawab kueri, mempersulit kepercayaan dan verifikasi output atau tindakan agen.

Praktik dan standar terbaik yang terus berkembang: Jika Anda menggunakan penggunaan komputer untuk membangun sistem agensi, ingatlah bahwa agen adalah teknologi yang sedang berkembang, dan panduan tentang integrasi yang aman, penggunaan alat secara transparan, serta penyebaran yang bertanggung jawab terus berkembang. Mengikuti praktik terbaik terbaru dan prosedur audit sangat penting, karena bahkan penggunaan yang disengaja dengan baik dapat menjadi berisiko tanpa peninjauan dan penyempurnaan yang berkelanjutan.

Pembatasan evaluasi Azure OpenAI

• Data Quality: Saat Anda menggunakan Azure Evaluasi OpenAI, ketahuilah bahwa data berkualitas buruk dapat menyebabkan hasil evaluasi yang menyesatkan atau tidak dapat diandalkan.
• Konfigurasi kualitas: Jika pelanggan secara tidak benar menentukan perintah atau evaluator atau memberikan data evaluasi yang tidak valid, hasil Azure layanan Evaluasi OpenAI akan salah dan tidak valid. Lihat dokumentasi Azure OpenAI untuk detail tentang cara menyiapkan evaluasi yang dijalankan.
• Limited scope: Azure evaluasi OpenAI hanya mendukung model bahasa alami berbasis teks. Ini tidak mendukung metrik risiko dan keamanan apa pun untuk mengevaluasi respons yang dihasilkan untuk skor tingkat keparahan risiko dan keamanan (misalnya, konten yang penuh kebencian dan tidak adil, konten seksual, konten kekerasan, dan konten terkait bahaya diri sendiri).

Performa sistem

Dalam banyak sistem AI, performa sering didefinisikan dalam kaitannya dengan akurasi—yaitu, seberapa sering sistem AI menawarkan prediksi atau output yang benar. Dengan model bahasa alami skala besar dan model visi, dua pengguna yang berbeda mungkin melihat output yang sama dan memiliki pendapat yang berbeda tentang seberapa berguna atau relevan, yang berarti bahwa performa untuk sistem ini harus didefinisikan lebih fleksibel. Di sini, kami secara luas mempertimbangkan performa yang berarti bahwa aplikasi berfungsi seperti yang Anda dan pengguna Anda harapkan, termasuk tidak menghasilkan output berbahaya.

Azure layanan OpenAI dapat mendukung berbagai aplikasi seperti pencarian, klasifikasi, pembuatan kode, pembuatan gambar, dan pemahaman gambar, masing-masing dengan metrik performa dan strategi mitigasi yang berbeda. Ada beberapa langkah yang dapat Anda lakukan untuk mengurangi beberapa kekhawatiran yang tercantum di bawah "Batasan" dan untuk meningkatkan performa. Teknik mitigasi penting lainnya diuraikan dalam bagian Menvaluasi dan mengintegrasikan Azure OpenAI untuk penggunaan Anda.

Praktik terbaik untuk meningkatkan performa sistem

Teks, kode, dan model yang disempurnakan

• Tunjukkan dan jelaskan saat mendesain prompt. Dengan model bahasa alami dan model ucapan, perjelas model output seperti apa yang Anda harapkan melalui instruksi, contoh, atau kombinasi keduanya. Jika Anda ingin model memberi peringkat daftar item dalam urutan alfabet atau mengklasifikasikan paragraf berdasarkan sentimen, tampilkan model yang Anda inginkan.
• Pastikan aplikasi Anda berfokus pada topik. Dengan hati-hati menyusun permintaan dan input gambar untuk mengurangi kemungkinan memproduksi konten yang tidak diinginkan, bahkan jika pengguna mencoba menggunakannya untuk tujuan ini. Misalnya, Anda mungkin menunjukkan dalam permintaan Anda bahwa chatbot hanya terlibat dalam percakapan tentang matematika dan sebaliknya merespons "Maaf. Sayangnya aku tidak bisa menjawabnya." Menambahkan kata sifat seperti "sopan" dan contoh dalam nada yang Anda inginkan ke prompt Anda juga dapat membantu mengarahkan output.
• Berikan data berkualitas. Dengan model teks dan kode, jika Anda mencoba membangun pengklasifikasi atau mendapatkan model untuk mengikuti pola, pastikan bahwa ada cukup contoh. Pastikan untuk memeriksa ulang contoh Anda—model biasanya mampu memproses kesalahan ejaan sederhana dan memberikan Anda respons, tetapi mungkin juga mengasumsikan kesalahan disengaja yang dapat memengaruhi respons. Menyediakan data berkualitas juga mencakup memberikan data yang andal kepada model Anda agar dapat menarik respons dari dalam sistem obrolan dan sistem tanya jawab.
• Berikan data tepercaya. Mengambil atau mengunggah data yang tidak tepercaya ke dalam sistem Anda dapat membahayakan keamanan sistem atau aplikasi Anda. Untuk mengurangi risiko ini dalam aplikasi yang berlaku (termasuk aplikasi yang menggunakan Assistants API), kami sarankan untuk mencatat dan memantau interaksi LLM (input/output) untuk mendeteksi dan menganalisis potensi injeksi prompt, dengan jelas menggambarkan input pengguna untuk meminimalkan risiko injeksi prompt, membatasi akses LLM ke sumber daya sensitif, membatasi kemampuannya hingga minimum yang diperlukan, dan mengisolasinya dari sistem dan sumber daya penting. Pelajari tentang pendekatan mitigasi tambahan di panduan Keamanan untuk Model Bahasa Besar | Microsoft Learn.
• Konfigurasikan parameter untuk meningkatkan akurasi atau keberalasan dari respons. Menambah permintaan dengan data yang diambil dari sumber tepercaya - seperti dengan menggunakan fitur "on your data" OpenAI Azure - dapat mengurangi, tetapi tidak sepenuhnya menghilangkan, kemungkinan menghasilkan respons yang tidak akurat atau informasi palsu. Langkah-langkah yang dapat Anda ambil untuk lebih meningkatkan akurasi respons termasuk memilih sumber data tepercaya dan relevan dengan cermat dan mengonfigurasi parameter kustom seperti "keketatan", "membatasi respons terhadap konten data" dan "jumlah dokumen yang diambil untuk dipertimbangkan" sesuai dengan kasus atau skenario penggunaan Anda. Pelajari selengkapnya tentang mengonfigurasi pengaturan ini untuk Azure OpenAI di Data Anda.
• Batasi panjang, struktur, dan laju input dan output. Membatasi panjang atau struktur input dan output dapat meningkatkan kemungkinan bahwa aplikasi akan tetap fokus pada tugas dan memitigasi, setidaknya sebagian, perilaku yang berpotensi tidak adil, tidak dapat diandalkan, atau menyinggung. Opsi lain untuk mengurangi risiko penyalahgunaan termasuk (i) membatasi sumber input (misalnya, membatasi input ke domain tertentu atau ke pengguna yang diautentikasi daripada terbuka untuk siapa pun di internet) dan (ii) menerapkan batas tingkat penggunaan.
• Dorong peninjauan output manusia sebelum publikasi atau penyebaran. Dengan AI generatif, ada potensi untuk menghasilkan konten yang mungkin menyinggung atau tidak terkait dengan tugas yang ditangani, bahkan dengan mitigasi di tempat. Untuk memastikan bahwa output yang dihasilkan memenuhi tugas pengguna, pertimbangkan untuk membangun cara untuk mengingatkan pengguna untuk meninjau output mereka agar berkualitas sebelum berbagi secara luas. Praktik ini dapat mengurangi banyak bahaya yang berbeda, termasuk materi yang menyinggung, disinformasi, dan banyak lagi.
• Terapkan mitigasi tambahan yang khusus untuk skenario tersebut. Lihat mitigasi yang diuraikan dalam Mengevaluasi dan mengintegrasikan Azure OpenAI untuk penggunaan Anda, termasuk strategi moderasi konten. Rekomendasi ini tidak mewakili setiap mitigasi yang diperlukan untuk aplikasi Anda. Model yang lebih baru seperti GPT-4o dan model penalaran dapat memberikan respons dalam skenario sensitif dan lebih mungkin mencoba mengurangi output yang berpotensi berbahaya dalam responsnya daripada menolak merespons sama sekali. Penting untuk memahami perilaku ini saat mengevaluasi dan mengintegrasikan moderasi konten untuk kasus penggunaan Anda; penyesuaian untuk memfilter tingkat keparahan mungkin diperlukan tergantung pada kasus penggunaan Anda.
• Hindari memicu perlindungan wajib. Model Foundry yang dijual oleh Azure mungkin memiliki perlindungan untuk mencegah eksploitasi keamanan termasuk output konten CoT dan biosekuriti mentah. Penggunaan model dengan cara yang menciptakan eksploitasi keamanan atau menghindari atau mencoba menghindari perlindungan pada model, termasuk dengan menghindari perlindungan ini, melanggar Kebijakan Penggunaan yang Dapat Diterima untuk Layanan Online dan dapat mengakibatkan penangguhan. Untuk detail yang lebih baik tentang praktik terbaik, kunjungi Kartu Sistem OpenAI o1, Kartu Sistem o3-mini, Kartu Sistem o3/o4-mini, dan Kartu Sistem GPT-5.

Praktik terbaik dan rekomendasi untuk penyetelan halus

Untuk mengurangi risiko dan batasan model penyempurnaan pada Azure OpenAI, kami sarankan pelanggan untuk mengikuti beberapa praktik dan pedoman terbaik, seperti:

• Pemilihan dan praproses data: Pelanggan harus memilih dan memproses data mereka dengan hati-hati untuk memastikan bahwa data tersebut relevan, beragam, dan seimbang untuk tugas dan domain yang dimaksudkan. Pelanggan juga harus menghapus atau menganonimkan informasi sensitif atau pribadi apa pun dari data, seperti nama, alamat, atau alamat email, untuk melindungi privasi dan keamanan subjek data. Pelanggan juga harus memeriksa dan memperbaiki kesalahan atau inkonsistensi dalam data, seperti ejaan, tata bahasa, atau pemformatan, untuk meningkatkan kualitas dan keterbacaan data.
• Sertakan pesan sistem dalam data pelatihan Anda untuk model yang diformat penyelesaian obrolan, untuk mengarahkan respons Anda, dan gunakan pesan sistem yang sama saat menggunakan model yang disempurnakan untuk inferensi. Membiarkan pesan sistem kosong cenderung menghasilkan model yang disempurnakan akurasi rendah, dan lupa menyertakan pesan sistem yang sama ketika inferensi dapat mengakibatkan model yang disempurnakan kembali ke perilaku model dasar.
• Evaluasi dan pengujian model: Pelanggan harus mengevaluasi dan menguji performa dan ketahanan model yang disempurnakan pada berbagai input dan skenario dan membandingkannya dengan model asli dan garis besar lainnya. Pelanggan juga harus menggunakan metrik dan kriteria yang sesuai untuk mengukur akurasi, keandalan, dan keadilan model, dan untuk mengidentifikasi potensi kesalahan atau bias dalam output dan perilaku model.
• Dokumentasi dan komunikasi model: Pelanggan harus mendokumentasikan dan mengkomunikasikan tujuan, cakupan, batasan, dan asumsi model, serta memberikan informasi dan panduan yang jelas dan akurat kepada pengguna akhir model.

Model visi

• Pastikan aplikasi Anda berfokus pada topik. Dengan model pembuatan gambar, Anda mungkin menunjukkan dalam perintah atau input gambar bahwa aplikasi Anda hanya menghasilkan gambar konseptual. Ini mungkin menghasilkan pemberitahuan pop-up yang menjelaskan bahwa aplikasi bukan untuk penggunaan fotorealistik atau untuk menggambarkan realitas. Pertimbangkan untuk mendorong pengguna terhadap kueri dan input gambar yang dapat diterima, baik dengan mencantumkan contoh tersebut di muka atau dengan menawarkannya sebagai saran setelah menerima permintaan di luar topik. Pertimbangkan untuk melatih klasifikator untuk menentukan apakah input (perintah atau gambar) sesuai topik atau tidak sesuai topik.
• Konfigurasikan parameter untuk meningkatkan akurasi atau keberalasan dari respons. Menambah permintaan dengan data yang diambil dari sumber tepercaya - seperti dengan menggunakan fitur "on your data" OpenAI Azure - dapat mengurangi, tetapi tidak sepenuhnya menghilangkan, kemungkinan menghasilkan respons yang tidak akurat atau informasi palsu. Langkah-langkah yang dapat Anda ambil untuk lebih meningkatkan akurasi respons termasuk memilih sumber data tepercaya dan relevan dengan cermat dan mengonfigurasi parameter kustom seperti "keketatan", "membatasi respons terhadap konten data" dan "jumlah dokumen yang diambil untuk dipertimbangkan" sesuai dengan kasus atau skenario penggunaan Anda. Pelajari selengkapnya tentang mengonfigurasi pengaturan ini untuk Azure OpenAI di Data Anda.
• Batasi panjang, struktur, dan laju input dan output. Membatasi panjang atau struktur input dan output dapat meningkatkan kemungkinan bahwa aplikasi akan tetap fokus pada tugas dan memitigasi, setidaknya sebagian, perilaku yang berpotensi tidak adil, tidak dapat diandalkan, atau menyinggung. Opsi lain untuk mengurangi risiko penyalahgunaan termasuk (i) membatasi sumber input (misalnya, membatasi input ke domain tertentu atau ke pengguna yang diautentikasi daripada terbuka untuk siapa pun di internet) dan (ii) menerapkan batas tingkat penggunaan.
• Dorong peninjauan output manusia sebelum publikasi atau penyebaran. Dengan AI generatif, ada potensi untuk menghasilkan konten yang mungkin menyinggung atau tidak terkait dengan tugas yang ditangani, bahkan dengan mitigasi di tempat. Untuk memastikan bahwa output yang dihasilkan memenuhi tugas pengguna, pertimbangkan untuk membangun cara untuk mengingatkan pengguna untuk meninjau output mereka agar berkualitas sebelum berbagi secara luas. Praktik ini dapat mengurangi banyak bahaya yang berbeda, termasuk materi yang menyinggung, disinformasi, dan banyak lagi.
• Terapkan mitigasi tambahan yang khusus untuk skenario tersebut. Lihat mitigasi yang diuraikan dalam Mengevaluasi dan mengintegrasikan Azure OpenAI untuk penggunaan Anda, termasuk strategi moderasi konten. Rekomendasi ini tidak mewakili setiap mitigasi yang diperlukan untuk aplikasi Anda. Model yang lebih baru seperti GPT-4o dan model penalaran dapat memberikan respons dalam skenario sensitif dan lebih mungkin mencoba mengurangi output yang berpotensi berbahaya dalam responsnya daripada menolak merespons sama sekali. Penting untuk memahami perilaku ini saat mengevaluasi dan mengintegrasikan moderasi konten untuk kasus penggunaan Anda; penyesuaian untuk memfilter tingkat keparahan mungkin diperlukan tergantung pada kasus penggunaan Anda.

Model pengolahan suara

• Tunjukkan dan jelaskan saat mendesain prompt. Dengan model bahasa alami dan model ucapan, perjelas model output seperti apa yang Anda harapkan melalui instruksi, contoh, atau kombinasi keduanya. Jika Anda ingin model memberi peringkat daftar item dalam urutan alfabet atau mengklasifikasikan paragraf berdasarkan sentimen, tampilkan model yang Anda inginkan.
  • Prompt untuk model transkripsi di layanan Azure OpenAI dapat membantu meningkatkan keluaran model. Praktik terbaik berikut akan membantu Anda membuat perintah yang paling sesuai dengan skenario dan kebutuhan Anda.
    • Pertimbangkan untuk menyertakan perintah untuk menginstruksikan model untuk memperbaiki kata atau akronim tertentu yang sering salah dikenali model dalam audio.
    • Untuk mempertahankan konteks file yang dibagi menjadi segmen, Anda mungkin meminta model dengan transkrip segmen sebelumnya. Perintah ini akan membuat transkrip lebih akurat, karena model akan menggunakan informasi yang relevan dari audio sebelumnya. Model hanya akan mempertimbangkan 224 token akhir dari perintah dan mengabaikan apa pun sebelumnya.
    • Model kemungkinan akan melewatkan tanda baca dalam transkrip. Pertimbangkan untuk menggunakan perintah sederhana yang menginstruksikan model untuk menyertakan tanda baca.
    • Model ini mungkin juga meninggalkan kata-kata pengisi umum, misalnya, hmmm, um, dll. dalam audio. Jika Anda ingin menyimpan kata pengisi dalam transkrip, Anda mungkin menyertakan perintah yang berisinya.
    • Beberapa bahasa dapat ditulis dengan cara yang berbeda, seperti Bahasa Tionghoa yang disederhanakan atau tradisional. Model mungkin tidak selalu menggunakan gaya penulisan yang diinginkan pengguna untuk transkrip mereka secara default. Pertimbangkan untuk menggunakan perintah untuk menggambarkan gaya penulisan pilihan Anda.
• Pastikan aplikasi Anda berfokus pada topik. Dengan hati-hati menyusun permintaan dan input gambar untuk mengurangi kemungkinan memproduksi konten yang tidak diinginkan, bahkan jika pengguna mencoba menggunakannya untuk tujuan ini. Misalnya, Anda mungkin menunjukkan dalam permintaan Anda bahwa chatbot hanya terlibat dalam percakapan tentang matematika dan sebaliknya merespons "Maaf. Sayangnya aku tidak bisa menjawabnya." Menambahkan kata sifat seperti "sopan" dan contoh dalam nada yang Anda inginkan ke prompt Anda juga dapat membantu mengarahkan output.
• Konfigurasikan parameter untuk meningkatkan akurasi atau keberalasan dari respons. Menambah permintaan dengan data yang diambil dari sumber tepercaya - seperti dengan menggunakan fitur "on your data" OpenAI Azure - dapat mengurangi, tetapi tidak sepenuhnya menghilangkan, kemungkinan menghasilkan respons yang tidak akurat atau informasi palsu. Langkah-langkah yang dapat Anda ambil untuk lebih meningkatkan akurasi respons termasuk memilih sumber data tepercaya dan relevan dengan cermat dan mengonfigurasi parameter kustom seperti "keketatan", "membatasi respons terhadap konten data" dan "jumlah dokumen yang diambil untuk dipertimbangkan" sesuai dengan kasus atau skenario penggunaan Anda. Pelajari selengkapnya tentang mengonfigurasi pengaturan ini untuk Azure OpenAI di Data Anda.
• Mengukur kualitas model. Sebagai bagian dari kualitas model umum, pertimbangkan untuk mengukur dan meningkatkan metrik terkait kewajaran dan metrik lain yang terkait dengan AI yang bertanggung jawab selain langkah-langkah akurasi tradisional untuk skenario Anda. Pertimbangkan sumber daya seperti daftar periksa ini saat Anda mengukur kewajaran sistem. Pengukuran ini dilengkapi dengan batasan, yang harus Anda akui dan komunikasikan kepada pemangku kepentingan bersama dengan hasil evaluasi.
• Batasi panjang, struktur, dan laju input dan output. Membatasi panjang atau struktur input dan output dapat meningkatkan kemungkinan bahwa aplikasi akan tetap fokus pada tugas dan memitigasi, setidaknya sebagian, perilaku yang berpotensi tidak adil, tidak dapat diandalkan, atau menyinggung. Opsi lain untuk mengurangi risiko penyalahgunaan termasuk (i) membatasi sumber input (misalnya, membatasi input ke domain tertentu atau ke pengguna yang diautentikasi daripada terbuka untuk siapa pun di internet) dan (ii) menerapkan batas tingkat penggunaan.
• Dorong peninjauan output manusia sebelum publikasi atau penyebaran. Dengan AI generatif, ada potensi untuk menghasilkan konten yang mungkin menyinggung atau tidak terkait dengan tugas yang ditangani, bahkan dengan mitigasi di tempat. Untuk memastikan bahwa output yang dihasilkan memenuhi tugas pengguna, pertimbangkan untuk membangun cara untuk mengingatkan pengguna untuk meninjau output mereka agar berkualitas sebelum berbagi secara luas. Praktik ini dapat mengurangi banyak bahaya yang berbeda, termasuk materi yang menyinggung, disinformasi, dan banyak lagi.

Praktik dan rekomendasi terbaik untuk evaluasi OpenAI Azure

• Data kebenaran dasar yang kuat: Secara umum dalam model bahasa alami skala besar, pelanggan harus memilih dan memproses data mereka dengan hati-hati untuk memastikan bahwa data tersebut relevan, beragam, dan seimbang untuk tugas dan domain yang dimaksudkan. Pelanggan juga harus menghapus atau menganonimkan informasi sensitif atau pribadi apa pun dari data, seperti nama, alamat, atau alamat email, untuk melindungi privasi dan keamanan subjek data. Pelanggan juga harus memeriksa dan memperbaiki kesalahan atau inkonsistensi dalam data, seperti ejaan, tata bahasa, atau pemformatan, untuk meningkatkan kualitas dan keterbacaan data.
  Khusus untuk evaluasi OpenAI Azure, akurasi data kebenaran dasar yang disediakan oleh pengguna sangat penting karena data kebenaran dasar yang tidak akurat menyebabkan hasil evaluasi yang tidak berarti dan tidak akurat. Memastikan kualitas dan keandalan data ini sangat penting untuk mendapatkan penilaian performa model yang valid. Data kebenaran dasar yang tidak akurat dapat menyesatkan metrik evaluasi, yang mengakibatkan kesimpulan yang menyesatkan tentang kemampuan model. Oleh karena itu, pengguna harus mengumpulkan dan memverifikasi data kebenaran dasar mereka dengan hati-hati untuk memastikan bahwa proses evaluasi secara akurat mencerminkan performa model yang sebenarnya. Ini sangat penting ketika membuat keputusan tentang penyebaran model di aplikasi dunia nyata
• Definisi perintah untuk evaluasi: Perintah yang Anda gunakan dalam evaluasi harus sesuai dengan permintaan yang Anda rencanakan untuk digunakan dalam produksi. Petunjuk ini memberikan instruksi bagi model untuk mengikutinya. Mirip dengan playground OpenAI, Anda dapat membuat beberapa input untuk menyertakan contoh beberapa bidikan dalam perintah Anda. Lihat Teknik rekayasa prompt untuk informasi lebih lanjut tentang beberapa teknik canggih dalam desain prompt dan rekayasa prompt.
• Metrik yang beragam: Gunakan kombinasi metrik untuk menangkap berbagai aspek performa seperti akurasi, kefasihan, dan relevansi.
• Human-in-the-loop: Integrasikan umpan balik manusia bersama evaluasi otomatis untuk memastikan bahwa nuansa subjektif ditangkap secara akurat.
• Transparansi: Mengkomunikasikan kriteria evaluasi dengan jelas kepada pengguna, memungkinkan mereka memahami bagaimana keputusan dibuat.
• Evaluasi dan pengujian berkelanjutan: Terus mengevaluasi performa model untuk mengidentifikasi dan mengatasi regresi atau pengalaman pengguna negatif.

Mengevaluasi dan mengintegrasikan Azure model bahasa dan visi alami OpenAI untuk anda gunakan

Teks, kode, dan model yang disempurnakan

Langkah-langkah dalam melakukan evaluasi OpenAI Azure adalah:

1. Menyediakan data untuk evaluasi: File datar yang diunggah dalam format JSONL, atau data yang dihasilkan berdasarkan serangkaian perintah.
2. Tentukan kasus pengujian untuk mengevaluasi data: Pilih satu atau beberapa kasus pengujian untuk melakukan penilaian terhadap data yang disediakan dengan nilai lulus/tidak lulus.
3. Tinjau dan filter hasil: Setiap pengujian menyertakan definisi skor lulus dan gagal. Setelah evaluasi berjalan, pengguna dapat meninjau hasil baris demi baris mereka untuk melihat hasil pengujian individual, atau memfilter lulus /gagal.

Untuk informasi tambahan tentang cara mengevaluasi dan mengintegrasikan model ini secara bertanggung jawab, silakan lihat dokumen Gambaran Umum RAI.

Model visi

Untuk informasi tambahan tentang cara mengevaluasi dan mengintegrasikan model ini secara bertanggung jawab, silakan lihat dokumen Gambaran Umum RAI.

Model audio / suara

Model transkripsi OpenAI juga tersedia dalam layanan Azure Speech, meningkatkan pengalaman dengan fitur canggih seperti pengenalan dan keterbacaan multibahasa. Bergantung pada skenario Anda, Anda dapat menjelajahi Layanan Ucapan Azure dan kemampuan tambahan layanan seperti diarisasi, kustomisasi, streaming waktu nyata, atau pemrosesan beberapa file audio per satu permintaan. Untuk informasi selengkapnya tentang cara mengevaluasi dan mengintegrasikan model transkripsi secara bertanggung jawab, lihat catatan transparansi layanan ucapan Azure.

Pelajari selengkapnya tentang AI yang bertanggung jawab

• Prinsip AI Microsoft
• Microsoft sumber daya AI yang bertanggung jawab
• Kursus pembelajaran Microsoft Azure tentang AI yang bertanggung jawab

Pelajari selengkapnya tentang Azure OpenAI

• Akses terbatas ke Azure OpenAI Service - Foundry Tools | Microsoft Learn
• Kode Perilaku untuk Azure OpenAI Service | Microsoft Learn
• Data, privasi, dan keamanan untuk Azure OpenAI Service - Foundry Tools | Microsoft Learn