Bagikan melalui

Jenis penyebaran untuk Model Azure AI Foundry

Azure AI Foundry Models menyediakan model menggunakan konsep penyebaran model dalam Azure AI Foundry Services (sebelumnya dikenal sebagai Azure AI Services). Penyebaran model juga merupakan sumber daya Azure dan, saat dibuat, mereka memberikan akses ke model tertentu di bawah konfigurasi tertentu. Konfigurasi tersebut mencakup infrastruktur yang diperlukan untuk memproses permintaan.

Model Foundry Azure AI memberi pelanggan pilihan pada struktur hosting yang sesuai dengan pola bisnis dan penggunaan mereka. Opsi tersebut diterjemahkan ke berbagai jenis penyebaran (atau SKU) yang tersedia pada waktu penyebaran model di sumber daya Azure AI Foundry. Layanan ini menawarkan dua jenis penyebaran utama adalah: standar dan disediakan. Untuk jenis penyebaran tertentu, pelanggan dapat menyelaraskan beban kerja mereka dengan persyaratan pemrosesan data mereka dengan memilih geografi Azure (Standard atau Provisioned-Managed), zona data yang ditentukan Microsoft (DataZone-Standard atau DataZone Provisioned-Managed), atau opsi pemrosesan Global (Global-Standard atau Global Provisioned-Managed).

Untuk model yang disempurnakan, tipe penyebaran tambahan Developer menyediakan sarana evaluasi model kustom yang hemat biaya, tetapi tanpa tempat penyimpanan data.

Semua penyebaran dapat melakukan operasi inferensi yang persis sama, namun penagihan, skala, dan performanya berbeda secara signifikan. Sebagai bagian dari desain solusi Anda, Anda harus membuat dua keputusan utama:

  • Lokasi pemrosesan data
  • Volume panggilan

Lokasi Pemrosesan Data untuk Penyebaran di Azure AI Foundry

Untuk penyebaran standar, ada tiga opsi jenis penyebaran yang dapat dipilih - global, zona data, dan geografi Azure. Untuk penyebaran yang disediakan, ada dua opsi jenis penyebaran untuk dipilih - geografi global dan Azure. Standar global adalah titik awal yang direkomendasikan.

Penyebaran global memanfaatkan infrastruktur global Azure untuk mengatur lalu lintas pelanggan secara dinamis ke pusat data dengan ketersediaan terbaik untuk menangani permintaan inferensi pelanggan. Ini berarti Anda akan mendapatkan batas throughput awal tertinggi dan ketersediaan model terbaik dengan Global, sambil tetap menyediakan Perjanjian Tingkat Layanan (SLA) uptime kami dan menjaga latensi tetap rendah. Untuk beban kerja volume tinggi di atas tingkat penggunaan yang ditentukan pada standar standar dan global, Anda mungkin mengalami peningkatan variasi latensi. Untuk pelanggan yang memerlukan variansi latensi yang lebih rendah pada penggunaan beban kerja yang besar, sebaiknya manfaatkan jenis penyebaran yang disediakan.

Penyebaran global kami akan menjadi lokasi pertama untuk semua model dan fitur baru. Bergantung pada volume panggilan, pelanggan dengan volume besar dan persyaratan variansi latensi rendah harus mempertimbangkan jenis penyebaran yang disediakan.

Penyebaran zona data memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas pelanggan secara dinamis ke pusat data dengan ketersediaan terbaik untuk permintaan inferensi pelanggan dalam zona data yang ditentukan oleh Microsoft. Diposisikan antara geografi Azure dan penawaran penyebaran Global kami, penyebaran zona data menyediakan batas kuota yang ditinggikan sambil menjaga pemrosesan data dalam zona data yang ditentukan Microsoft. Data yang disimpan saat tidak aktif akan terus berada di geografi sumber daya Azure AI Foundry (misalnya, untuk sumber daya AI Foundry yang dibuat di wilayah Azure Swedia Tengah, geografi Azure adalah Swedia).

Jika sumber daya Azure AI Foundry yang digunakan dalam penyebaran Zona Data Anda terletak di Amerika Serikat, data akan diproses di Amerika Serikat. Jika sumber daya Azure AI Foundry yang digunakan dalam penyebaran Zona Data Anda terletak di Negara Anggota Uni Eropa, data akan diproses dalam geografi Negara Anggota Uni Eropa. Untuk semua jenis penyebaran Azure AI Foundry, data apa pun yang disimpan saat tidak aktif akan terus berada dalam geografi sumber daya Azure AI Foundry. Pemrosesan data Azure dan komitmen kepatuhan tetap berlaku.

Untuk setiap jenis penyebaran berlabel 'Global,' perintah dan respons dapat diproses dalam geografi apa pun di mana model Azure AI Foundry yang relevan disebarkan (pelajari selengkapnya tentang ketersediaan model wilayah). Untuk jenis penyebaran apa pun yang diberi label sebagai 'DataZone,' perintah dan respons dapat diproses dalam geografi apa pun dalam zona data yang ditentukan, seperti yang didefinisikan oleh Microsoft. Jika Anda membuat penyebaran DataZone di sumber daya Azure AI Foundry yang terletak di Amerika Serikat, perintah dan respons dapat diproses di mana saja dalam Amerika Serikat. Jika Anda membuat penyebaran DataZone di sumber daya Azure AI Foundry yang terletak di Negara Anggota Uni Eropa, permintaan dan respons dapat diproses di negara tersebut atau Negara Anggota Uni Eropa lainnya. Untuk jenis penyebaran Global dan DataZone, data apa pun yang disimpan saat tidak aktif, seperti data yang diunggah, disimpan dalam geografi yang ditentukan pelanggan. Hanya lokasi pemrosesan yang terpengaruh ketika pelanggan menggunakan jenis penyebaran Global atau jenis penyebaran DataZone di sumber daya Azure AI Foundry; Pemrosesan data Azure dan komitmen kepatuhan tetap berlaku.

Nota

Dengan jenis penyebaran standar Global dan Zona Data, jika wilayah utama mengalami gangguan dalam layanan, semua lalu lintas yang dirutekan awal ke wilayah ini akan terpengaruh. Untuk mempelajari lebih lanjut, lihat panduan kelangsungan bisnis dan pemulihan bencana.

Standar global

Penting

Data yang disimpan saat tidak aktif tetap berada di geografi Azure yang ditunjuk, sementara data dapat diproses untuk inferensi di lokasi Azure AI Foundry mana pun. Pelajari selengkapnya tentang lokasi penyimpanan data.

Nama SKU dalam kode:GlobalStandard

Penyebaran global tersedia di sumber daya Azure AI Foundry yang sama dengan jenis penyebaran non-global tetapi memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis ke pusat data dengan ketersediaan terbaik untuk setiap permintaan. Standar global menyediakan kuota default tertinggi dan menghapus kebutuhan untuk mendistribusikan beban antar beberapa sumber daya.

Pelanggan dengan volume konsisten tinggi mungkin mengalami varianbilitas latensi yang lebih besar. Ambang diatur per model. Lihat halaman kuota untuk mempelajari selengkapnya. Untuk aplikasi yang memerlukan variansi latensi yang lebih rendah pada penggunaan beban kerja besar, sebaiknya beli throughput yang disediakan.

Disediakan secara global

Penting

Data yang disimpan saat tidak aktif tetap berada di geografi Azure yang ditunjuk, sementara data dapat diproses untuk inferensi di lokasi Azure AI Foundry mana pun. Pelajari selengkapnya tentang lokasi penyimpanan data.

Nama SKU dalam kode:GlobalProvisionedManaged

Penyebaran global tersedia di sumber daya Azure AI Foundry yang sama dengan jenis penyebaran non-global tetapi memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis ke pusat data dengan ketersediaan terbaik untuk setiap permintaan. Penyebaran yang disediakan secara global menyediakan kapasitas pemrosesan model yang telah dipesan untuk throughput tinggi dan yang dapat diprediksi menggunakan infrastruktur global Azure.

Batch secara global

Penting

Data yang disimpan saat tidak aktif tetap berada di geografi Azure yang ditunjuk, sementara data dapat diproses untuk inferensi di lokasi Azure AI Foundry mana pun. Pelajari selengkapnya tentang lokasi penyimpanan data.

Batch global dirancang untuk secara efisien menangani tugas pemrosesan dalam skala besar dan volume tinggi. Proses grup permintaan asinkron dengan kuota terpisah, dengan penyelesaian target 24 jam, dengan biaya 50% lebih murah daripada standar global. Dengan pemrosesan batch, daripada mengirim satu permintaan pada satu waktu Anda mengirim sejumlah besar permintaan dalam satu file. Permintaan batch global memiliki kuota token antrian terpisah untuk menghindari gangguan pada beban kerja online Anda.

Nama SKU dalam kode:GlobalBatch

Kasus penggunaan utama meliputi:

  • Pemrosesan Data Skala Besar: Menganalisis himpunan data yang luas secara paralel dengan cepat.

  • Pembuatan Konten: Membuat teks dalam volume besar, seperti deskripsi produk atau artikel.

  • Tinjauan dan Ringkasan Dokumen: Mengotomatiskan tinjauan dan ringkasan dokumen yang panjang.

  • Automasi Dukungan Pelanggan: Tangani banyak kueri secara bersamaan untuk respons yang lebih cepat.

  • Ekstraksi dan Analisis Data: Mengekstrak dan menganalisis informasi dari sejumlah besar data yang tidak terstruktur.

  • Tugas Pemrosesan Bahasa Alami (NLP): Lakukan tugas seperti analisis sentimen atau terjemahan pada himpunan data besar.

  • Pemasaran dan Personalisasi: Hasilkan konten dan rekomendasi yang dipersonalisasi dalam skala besar.

Standar untuk zona data

Penting

Data yang disimpan saat tidak aktif tetap berada di geografi Azure yang ditunjuk, sementara data dapat diproses untuk inferensi di lokasi Azure AI Foundry apa pun dalam zona data yang ditentukan Microsoft. Pelajari selengkapnya tentang lokasi penyimpanan data.

Nama SKU dalam kode:DataZoneStandard

Penyebaran standar zona data tersedia di sumber daya Azure AI Foundry yang sama dengan semua jenis penyebaran Azure AI Foundry lainnya tetapi memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis ke pusat data dalam zona data yang ditentukan Microsoft dengan ketersediaan terbaik untuk setiap permintaan. Standar zona data menyediakan kuota default yang lebih tinggi daripada jenis penyebaran berbasis geografi Azure kami.

Pelanggan dengan volume konsisten tinggi mungkin mengalami varianbilitas latensi yang lebih besar. Ambang diatur per model. Lihat halaman Kuota dan batasan untuk mempelajari selengkapnya. Untuk beban kerja yang memerlukan variansi latensi rendah pada volume besar, sebaiknya manfaatkan penawaran penyebaran yang disediakan.

Zona data yang disediakan

Penting

Data yang disimpan saat tidak aktif tetap berada di geografi Azure yang ditunjuk, sementara data dapat diproses untuk inferensi di lokasi Azure AI Foundry apa pun dalam zona data yang ditentukan Microsoft. Pelajari selengkapnya tentang residensi data.

Nama SKU dalam kode:DataZoneProvisionedManaged

Penyebaran yang disediakan zona data tersedia di sumber daya Azure AI Foundry yang sama dengan semua jenis penyebaran Azure AI Foundry lainnya tetapi memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis ke pusat data dalam zona data yang ditentukan Microsoft dengan ketersediaan terbaik untuk setiap permintaan. Penyebaran yang disediakan di zona data memberikan kapasitas pemrosesan model yang telah dipesan untuk memastikan throughput yang tinggi dan dapat diprediksi, menggunakan infrastruktur Azure dalam zona data yang ditentukan oleh Microsoft.

Pengelompokan zona data

Penting

Data yang disimpan saat tidak aktif tetap berada di geografi Azure yang ditunjuk, sementara data dapat diproses untuk inferensi di lokasi Azure AI Foundry apa pun dalam zona data yang ditentukan Microsoft. Pelajari selengkapnya tentang lokasi penyimpanan data.

Nama SKU dalam kode:DataZoneBatch

Penyebaran batch zona data menyediakan semua fungsionalitas yang sama dengan penyebaran batch global sambil memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis hanya ke pusat data dalam zona data yang ditentukan Microsoft dengan ketersediaan terbaik untuk setiap permintaan.

Standar

Nama SKU dalam kode:Standard

Penyebaran standar menyediakan model penagihan bayar per panggilan pada model yang dipilih. Menyediakan cara tercepat untuk memulai karena Anda hanya membayar apa yang Anda konsumsi. Model yang tersedia serta throughput di setiap wilayah mungkin terbatas.

Penyebaran standar dioptimalkan untuk beban kerja volume rendah hingga menengah dengan lonjakan aktivitas tinggi. Pelanggan dengan volume konsisten tinggi mungkin mengalami varianbilitas latensi yang lebih besar.

Diprovisikan Regional

Nama SKU dalam kode:ProvisionedManaged

Penyebaran regional yang disediakan memungkinkan Anda menentukan jumlah throughput yang diperlukan dalam penyebaran. Layanan kemudian mengalokasikan kapasitas pemrosesan model yang diperlukan dan memastikannya siap untuk Anda. Throughput didefinisikan dalam hal unit throughput yang disediakan (PTU) yang merupakan cara yang dinormalisasi untuk mewakili throughput untuk penyebaran Anda. Setiap pasangan versi model memerlukan jumlah PTU yang berbeda untuk mengaktifkan dan memberikan jumlah kapasitas pemrosesan yang berbeda per PTU. Pelajari lebih lanjut dari artikel tentang konsep-konsep throughput yang telah disediakan.

Cara menonaktifkan akses ke penyebaran global di langganan Anda

Azure Policy membantu menegakkan standar organisasi dan menilai kepatuhan dalam skala besar. Melalui dasbor kepatuhannya, ia menyediakan tampilan agregat untuk mengevaluasi keadaan lingkungan secara menyeluruh, dengan kemampuan untuk menelusuri ke granularitas per sumber daya, per kebijakan dengan mendetail. Ini juga membantu untuk membawa sumber daya Anda ke kepatuhan melalui remediasi massal untuk sumber daya yang sudah ada dan remediasi otomatis untuk sumber daya baru. Pelajari selengkapnya tentang Azure Policy dan kontrol bawaan tertentu untuk layanan AI.

Anda dapat menggunakan kebijakan berikut untuk menonaktifkan akses ke jenis penyebaran Azure AI Foundry apa pun. Untuk menonaktifkan akses ke jenis penyebaran tertentu, ganti GlobalStandard dengan nama sku untuk jenis penyebaran yang ingin Anda nonaktifkan aksesnya.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Pengembang (untuk model yang disempurnakan)

Penting

Data yang disimpan saat tidak aktif tetap berada di geografi Azure yang ditunjuk, sementara data dapat diproses untuk inferensi di lokasi Azure AI Foundry mana pun. Pelajari selengkapnya tentang lokasi penyimpanan data.

Nama SKU dalam kode:Developer

Model yang disempurnakan mendukung penyebaran untuk Pengembang yang khusus dirancang untuk mendukung evaluasi model kustom. Ini tidak menawarkan jaminan residensi data atau tidak menawarkan SLA. Untuk mempelajari lebih lanjut tentang cara menggunakan tipe penyebaran Pengembang, lihat panduan penyempurnaan.

Terapkan model

Cuplikan layar yang memperlihatkan dialog penyebaran model di portal Azure AI Foundry dengan tiga jenis penyebaran disorot.

Untuk mempelajari tentang membuat sumber daya dan menyebarkan model, lihat panduan pembuatan sumber daya.

Lihat juga