Rencanakan pengelolaan biaya untuk Azure OpenAI Service

Artikel ini menjelaskan cara merencanakan dan mengelola biaya untuk Azure OpenAI Service. Sebelum Anda menyebarkan layanan, gunakan kalkulator harga Azure untuk memperkirakan biaya untuk Azure OpenAI. Kemudian, saat Anda menyebarkan sumber daya Azure, tinjau perkiraan biaya. Setelah Anda mulai menggunakan sumber daya Azure OpenAI, gunakan fitur Cost Management untuk mengatur anggaran dan memantau biaya.

Anda juga dapat meninjau perkiraan biaya dan mengidentifikasi tren pengeluaran untuk mengidentifikasi area tempat Anda mungkin ingin bertindak. Biaya untuk Layanan Azure OpenAI hanya sebagian dari biaya bulanan dalam tagihan Azure Anda. Meskipun artikel ini tentang merencanakan dan mengelola biaya untuk Azure OpenAI, Anda ditagih untuk semua layanan dan sumber daya Azure yang digunakan dalam langganan Azure Anda, termasuk layanan pihak ketiga.

Prasyarat

Analisis biaya dalam Cost Management mendukung sebagian besar jenis akun Azure, tetapi tidak semuanya. Untuk melihat daftar lengkap jenis akun yang didukung, lihat Memahami data Manajemen Biaya. Untuk melihat data biaya, Anda memerlukan setidaknya akses baca untuk akun Azure. Untuk informasi terkait cara menetapkan akses ke data Azure Cost Management, lihat Menetapkan akses ke data.

Memperkirakan biaya sebelum menggunakan Azure OpenAI

Gunakan kalkulator harga Azure untuk memperkirakan biaya penggunaan Azure OpenAI.

Memahami model penagihan penuh Azure OpenAI

Azure OpenAI Service berjalan pada infrastruktur Azure yang mengumpulkan biaya saat Anda menyebarkan sumber daya baru. Mungkin ada biaya infrastruktur lain yang mungkin bertambah. Bagian berikut ini menjelaskan bagaimana Anda dikenakan biaya untuk Layanan Azure OpenAI.

Model Seri Dasar dan Seri Codex

Seri dasar Azure OpenAI dan model seri Codex dikenai biaya per 1.000 token. Biaya bervariasi tergantung pada seri model yang Anda pilih: Ada, Babbage, Curie, Davinci, atau Code-Cushman.

Model Azure OpenAI memahami dan memproses teks dengan memecahnya menjadi token. Sebagai referensi, setiap token kira-kira terdiri dari empat karakter untuk teks bahasa Inggris pada umumnya.

Biaya token ditujukan untuk input dan output. Misalnya, Anda memiliki 1.000 sampel kode JavaScript token yang Anda minta model Azure OpenAI untuk dikonversi ke Python. Anda akan dikenakan biaya sekitar 1.000 token untuk permintaan input awal yang dikirim, dan 1.000 token lagi untuk output yang diterima sebagai respons untuk total 2.000 token.

Dalam praktiknya, untuk jenis panggilan penyelesaian ini, input/output token tidak akan sempurna 1:1. Konversi dari satu bahasa pemrograman ke bahasa pemrograman lainnya dapat menghasilkan output yang lebih panjang atau lebih pendek tergantung pada banyak faktor. Salah satu faktor tersebut adalah nilai yang ditetapkan ke max_tokens parameter .

Model seri dasar dan seri Codex yang disempurnakan

Model Azure OpenAI yang disempurnakan dikenai biaya berdasarkan tiga faktor:

• Jam pelatihan
• Jam hosting
• Inferensi per 1.000 token

Biaya jam hosting penting untuk diperhatikan karena setelah model yang disempurnakan disebarkan, itu terus dikenakan biaya per jam terlepas dari apakah Anda secara aktif menggunakannya. Pantau biaya model yang disempurnakan dengan cermat.

Penting

Setelah Anda menyebarkan model yang disesuaikan, jika kapan saja penyebaran tetap tidak aktif selama lebih dari lima belas (15) hari, penyebaran akan dihapus. Penyebaran model yang disesuaikan tidak aktif jika model disebarkan lebih dari lima belas (15) hari yang lalu dan tidak ada penyelesaian atau panggilan penyelesaian obrolan yang dilakukan padanya selama periode 15 hari berkelanjutan.

Penghapusan penyebaran yang tidak aktif tidak menghapus atau memengaruhi model yang dikustomisasi yang mendasar, dan model yang disesuaikan dapat disebarkan ulang kapan saja.

Setiap model yang disesuaikan (disempurnakan) yang disebarkan dikenakan biaya hosting per jam terlepas dari apakah penyelesaian atau panggilan penyelesaian obrolan sedang dilakukan ke model. .

Biaya lain yang mungkin bertambah dengan Azure OpenAI Service

Mengaktifkan kemampuan seperti mengirim data ke Log Azure Monitor dan pemberitahuan dikenakan biaya tambahan untuk layanan tersebut. Biaya ini terlihat di bawah layanan lain tersebut dan di tingkat langganan, tetapi tidak terlihat saat dicakupkan hanya ke sumber daya Azure OpenAI Anda.

Menggunakan Prabayar Azure dengan Azure OpenAI Service

Anda dapat membayar biaya Azure OpenAI Service dengan kredit Azure Prepayment Anda. Namun, Anda tidak dapat menggunakan kredit Prabayar Azure untuk membayar biaya untuk produk dan layanan pihak ketiga termasuk produk dan layanan yang ditemukan di Marketplace Azure.

Kode respons Kesalahan HTTP dan status penagihan di Layanan Azure OpenAI

Jika layanan melakukan pemrosesan, Anda akan dikenakan biaya bahkan jika kode status tidak berhasil (bukan 200). Misalnya, kesalahan 400 karena filter konten atau batas input, atau kesalahan 408 karena batas waktu.

Jika layanan tidak melakukan pemrosesan, Anda tidak akan dikenakan biaya. Misalnya, kesalahan 401 karena autentikasi atau kesalahan 429 karena melebihi Batas Tarif.

Memantau biaya

Saat Anda menggunakan sumber daya Azure dengan Azure OpenAI, Anda dikenakan biaya. Biaya unit penggunaan sumber daya Azure bervariasi menurut interval waktu, seperti detik, menit, jam, dan hari, atau berdasarkan penggunaan unit, seperti byte dan megabyte. Segera setelah penggunaan Azure OpenAI dimulai, biaya dapat dikeluarkan dan Anda dapat melihat biaya dalam analisis biaya.

Saat Anda menggunakan analisis biaya, Anda melihat biaya Azure OpenAI dalam grafik dan tabel untuk interval waktu yang berbeda. Beberapa contohnya adalah harian, bulan ini dan sebelumnya, serta tahun. Anda juga dapat melihat biaya terhadap anggaran dan perkiraan biaya. Beralih ke tampilan yang lebih panjang dari waktu ke waktu dapat membantu Anda mengidentifikasi tren pengeluaran. Anda dapat melihat di mana pengeluaran berlebihan mungkin terjadi. Jika Anda telah membuat anggaran, Anda juga dapat dengan mudah melihat di mana anggaran tersebut terlampaui.

Untuk melihat biaya Azure OpenAI dalam analisis biaya:

1. Masuk ke portal Azure.
2. Pilih salah satu sumber daya Azure OpenAI Anda.
3. Di bawah Manajemen Sumber Daya pilih Analisis biaya
4. Secara default, analisis biaya dilingkupkan ke sumber daya Azure OpenAI individual.

Untuk memahami perincian apa yang membentuk biaya tersebut, ini dapat membantu memodifikasi Kelompokkan menurut untuk Mengukur dan mengalihkan jenis bagan ke Garis. Anda sekarang dapat melihat bahwa untuk sumber daya khusus ini, sumber biaya berasal dari tiga seri model yang berbeda dengan Token Text-Davinci yang mewakili sebagian besar biaya.

Penting untuk memahami cakupan saat Anda mengevaluasi biaya yang terkait dengan Azure OpenAI. Jika sumber daya Anda adalah bagian dari grup sumber daya yang sama, Anda dapat mencakup Analisis Biaya pada tingkat tersebut untuk memahami efek pada biaya. Jika sumber daya Anda tersebar di beberapa grup sumber daya, Anda dapat mencakup tingkat langganan.

Ketika dilingkup pada tingkat yang lebih tinggi, Anda sering kali perlu menambahkan lebih banyak filter untuk fokus pada penggunaan Azure OpenAI. Saat dilingkup di tingkat langganan, Anda melihat banyak sumber daya lain yang mungkin tidak Anda pedulikan dalam konteks manajemen biaya Azure OpenAI. Saat Anda cakupan di tingkat langganan, kami sarankan Anda menavigasi ke alat analisis Biaya lengkap di bawah layanan Cost Management.

Berikut adalah contoh cara menggunakan alat Analisis biaya untuk melihat akumulasi biaya untuk langganan atau grup sumber daya:

1. Cari Cost Management di bilah pencarian Azure teratas untuk menavigasi ke pengalaman layanan lengkap, yang mencakup lebih banyak opsi seperti membuat anggaran.
2. Jika perlu, pilih ubah jika Cakupan: tidak menunjuk ke grup sumber daya atau langganan yang ingin Anda analisis.
3. Di sebelah kiri, pilih Pelaporan + analitik>Analisis biaya.
4. Pada tab Semua tampilan , pilih Akumulasi biaya.

Dasbor analisis biaya menunjukkan akumulasi biaya yang dianalisis tergantung pada apa yang telah Anda tentukan untuk Cakupan.

Jika Anda mencoba menambahkan filter menurut layanan, Anda menemukan bahwa Anda tidak dapat menemukan Azure OpenAI dalam daftar. Situasi ini terjadi karena Azure OpenAI memiliki kesamaan dengan subset layanan Azure AI di mana filter tingkat layanan adalah Cognitive Services. Jika Anda ingin melihat semua sumber daya Azure OpenAI di seluruh langganan tanpa jenis sumber daya layanan Azure AI lainnya, sebagai gantinya cakupan ke tingkat Layanan: Azure OpenAI:

Membuat anggaran

Anda dapat membuat anggaran untuk mengelola biaya dan membuat pemberitahuan yang memberi tahu pemangku kepentingan tentang anomali pengeluaran dan risiko pengeluaran berlebih. Peringatan didasarkan pada pengeluaran dibandingkan dengan ambang batas anggaran dan biaya. Anda membuat anggaran dan pemberitahuan untuk langganan Azure dan grup sumber daya. Ini berguna sebagai bagian dari strategi pemantauan biaya secara keseluruhan.

Anda dapat membuat anggaran dengan filter untuk sumber daya atau layanan tertentu di Azure jika Anda menginginkan lebih banyak granularitas yang ada dalam pemantauan Anda. Filter membantu memastikan bahwa Anda tidak membuat sumber daya baru yang menghabiskan biaya tambahan secara tidak sengaja. Untuk informasi lebih lanjut tentang opsi filter yang tersedia saat Anda membuat anggaran, lihat Opsi mengelompokkan dan memfilter.

Penting

Meskipun OpenAI memiliki opsi untuk batas keras yang mencegah Anda melampaui anggaran Anda, Azure OpenAI saat ini tidak menyediakan fungsionalitas ini. Anda dapat memulai otomatisasi dari grup tindakan sebagai bagian dari pemberitahuan anggaran Anda untuk mengambil tindakan yang lebih canggih, tetapi ini memerlukan pengembangan kustom tambahan di bagian Anda.

Mengekspor data biaya

Anda juga dapat mengekspor data biaya Anda ke akun penyimpanan, yang berguna ketika Anda membutuhkan orang lain untuk melakukan analisis data tambahan untuk biaya. Contohnya, tim keuangan dapat menganalisis data menggunakan Excel atau Power BI. Anda dapat mengekspor biaya pada jadwal harian, mingguan, atau bulanan dan menetapkan rentang tanggal kustom. Sebaiknya ekspor data biaya sebagai cara untuk mengambil himpunan data biaya.

Langkah berikutnya

• Pelajari cara mengoptimalkan investasi cloud Anda dengan Azure Cost Management.
• Pelajari lebih lanjut mengelola biaya dengan analisis biaya.
• Pelajari cara mencegah biaya tak terduga.
• Ikuti kursus pembelajaran terpandu Cost Management.