Tanya jawab umum tentang menggunakan layanan Azure AI untuk startup.
Lihat kursus Generative AI untuk pemula di GitHub. Ini adalah set instruksi 18 pelajaran yang memperkenalkan semua fitur Utama Azure OpenAI dan menunjukkan kepada Anda cara membangun aplikasi dengannya.
Gunakan Azure AI Studio untuk menguji berbagai kemampuan AI, termasuk menyebarkan model Azure OpenAI dan menerapkan layanan con mode tenda ration.
Model Azure OpenAI yang berbeda dibatasi untuk berbagai wilayah. Lihat tabel ketersediaan model untuk daftar lengkap.
Dampaknya minimal, kecuali Anda menggunakan fitur streaming. Latensi respons model sendiri memiliki efek yang jauh lebih besar pada latensi daripada perbedaan wilayah.
Pilihan menggunakan server Azure OpenAI khusus vs. paket bayar sesuai pemakaian juga memiliki dampak yang lebih besar pada performa.
Lihat Mengelola kuota Azure OpenAI Service untuk memahami cara kerja batas kuota dan cara mengelolanya.
Untuk pelanggan yang menggunakan model bayar sesuai penggunaan (paling umum), lihat halaman Kelola kuota Layanan Azure OpenAI. Untuk pelanggan yang menggunakan server Azure OpenAI khusus, lihat bagian kuota panduan terkait.
Pertimbangkan untuk menggabungkan beberapa penyebaran Azure OpenAI dalam arsitektur tingkat lanjut untuk membangun sistem yang memberikan lebih banyak token per menit kepada lebih banyak pengguna.
Kapan saya harus menggunakan server Azure OpenAI khusus (PTU) alih-alih model bayar sesuai pemakaian?
Anda harus mempertimbangkan untuk beralih dari pay-as-you-go ke throughput yang disediakan ketika Anda telah menentukan dengan baik, persyaratan throughput yang dapat diprediksi. Biasanya, ini terjadi ketika aplikasi siap untuk produksi atau telah disebarkan dalam produksi dan ada pemahaman tentang lalu lintas yang diharapkan. Ini memungkinkan pengguna untuk secara akurat memperkirakan kapasitas yang diperlukan dan menghindari penagihan yang tidak terduga.
Bagaimana cara mengelola lalu lintas tinggi dan memastikan aplikasi Azure OpenAI saya tetap responsif?
Buat load balancer untuk aplikasi Anda.
Lihat sampel Penyeimbangan beban jika Anda menggunakan model bayar sesuai pemakaian. Jika Anda menggunakan server Azure OpenAI khusus, lihat panduan PTU untuk informasi tentang penyeimbangan beban.
Buat penyebaran online menggunakan alur perintah di Azure AI Studio. Kemudian, uji dengan memasukkan nilai di editor formulir atau editor JSON.
Lihat Panduan metrik Evaluasi dan pemantauan untuk informasi tentang melacak metrik risiko dan keselamatan serta sejumlah metrik kualitas respons.
Gunakan fitur pemantauan Azure OpenAI Studio. Ini menyediakan dasbor yang melacak metrik performa model Anda dari waktu ke waktu.
Lihat arsitektur referensi obrolan Azure OpenAI untuk praktik terbaik untuk menyebarkan aplikasi obrolan standar.
Dapatkah Anda memberikan contoh atau studi kasus tentang keberhasilan implementasi Azure OpenAI Service?
Untuk mempelajari selengkapnya, lihat Microsoft untuk Startups.