Baca dalam bahasa Inggris Edit

Bagikan melalui


Tanya Jawab Umum AI untuk startup

Tanya jawab umum tentang menggunakan layanan Azure AI untuk startup.

Memulai

Apa cara terbaik untuk mulai menggunakan Azure OpenAI Service untuk startup saya?

Lihat kursus Generative AI untuk pemula di GitHub. Ini adalah set instruksi 18 pelajaran yang memperkenalkan semua fitur Utama Azure OpenAI dan menunjukkan kepada Anda cara membangun aplikasi dengannya.

Bagaimana cara menguji kemampuan Azure AI dengan cepat dengan pendekatan rendah/tanpa kode?

Gunakan Azure AI Studio untuk menguji berbagai kemampuan AI, termasuk menyebarkan model Azure OpenAI dan menerapkan layanan con mode tenda ration.

Ketersediaan regional dan residensi data

Di wilayah Azure mana layanan OpenAI tersedia?

Model Azure OpenAI yang berbeda dibatasi untuk berbagai wilayah. Lihat tabel ketersediaan model untuk daftar lengkap.

Bagaimana pemilihan wilayah memengaruhi latensi dan performa layanan Azure OpenAI?

Dampaknya minimal, kecuali Anda menggunakan fitur streaming. Latensi respons model sendiri memiliki efek yang jauh lebih besar pada latensi daripada perbedaan wilayah.

Pilihan menggunakan server Azure OpenAI khusus vs. paket bayar sesuai pemakaian juga memiliki dampak yang lebih besar pada performa.

Batas tarif dan manajemen sumber daya

Bagaimana cara memastikan aplikasi saya dapat menskalakan kuota Azure OpenAI-nya?

Lihat Mengelola kuota Azure OpenAI Service untuk memahami cara kerja batas kuota dan cara mengelolanya.

Berapa batas tarif untuk Azure OpenAI Service dan bagaimana cara mengelolanya?

Untuk pelanggan yang menggunakan model bayar sesuai penggunaan (paling umum), lihat halaman Kelola kuota Layanan Azure OpenAI. Untuk pelanggan yang menggunakan server Azure OpenAI khusus, lihat bagian kuota panduan terkait.

Bagaimana cara menangani pembatasan token per menit di Azure OpenAI Service?

Pertimbangkan untuk menggabungkan beberapa penyebaran Azure OpenAI dalam arsitektur tingkat lanjut untuk membangun sistem yang memberikan lebih banyak token per menit kepada lebih banyak pengguna.

Kapan saya harus menggunakan server Azure OpenAI khusus (PTU) alih-alih model bayar sesuai pemakaian?

Anda harus mempertimbangkan untuk beralih dari pay-as-you-go ke throughput yang disediakan ketika Anda telah menentukan dengan baik, persyaratan throughput yang dapat diprediksi. Biasanya, ini terjadi ketika aplikasi siap untuk produksi atau telah disebarkan dalam produksi dan ada pemahaman tentang lalu lintas yang diharapkan. Ini memungkinkan pengguna untuk secara akurat memperkirakan kapasitas yang diperlukan dan menghindari penagihan yang tidak terduga.

Penyeimbangan beban dan penskalaan

Bagaimana cara mengelola lalu lintas tinggi dan memastikan aplikasi Azure OpenAI saya tetap responsif?

Buat load balancer untuk aplikasi Anda.

Lihat sampel Penyeimbangan beban jika Anda menggunakan model bayar sesuai pemakaian. Jika Anda menggunakan server Azure OpenAI khusus, lihat panduan PTU untuk informasi tentang penyeimbangan beban.

Pengembangan dan pengujian

Bagaimana cara menyiapkan lingkungan pengembangan untuk menguji aplikasi Azure OpenAI?

Buat penyebaran online menggunakan alur perintah di Azure AI Studio. Kemudian, uji dengan memasukkan nilai di editor formulir atau editor JSON.

Pemantauan dan Metrik

Bagaimana cara melacak dan mengevaluasi metrik penggunaan aplikasi AI saya?

Lihat Panduan metrik Evaluasi dan pemantauan untuk informasi tentang melacak metrik risiko dan keselamatan serta sejumlah metrik kualitas respons.

Alat apa yang dapat saya gunakan untuk memantau performa titik akhir Azure OpenAI saya?

Gunakan fitur pemantauan Azure OpenAI Studio. Ini menyediakan dasbor yang melacak metrik performa model Anda dari waktu ke waktu.

Implementasi produksi dan praktik terbaik

Apa saja praktik terbaik untuk menyebarkan aplikasi OpenAI di Azure ke produksi?

Lihat arsitektur referensi obrolan Azure OpenAI untuk praktik terbaik untuk menyebarkan aplikasi obrolan standar.

Dapatkah Anda memberikan contoh atau studi kasus tentang keberhasilan implementasi Azure OpenAI Service?

Untuk mempelajari selengkapnya, lihat Microsoft untuk Startups.