AI Siap

Artikel ini menguraikan proses organisasi untuk membangun beban kerja AI di Azure. Artikel ini memberikan rekomendasi untuk membuat keputusan desain dan proses utama untuk mengadopsi beban kerja AI dalam skala besar. Ini berfokus pada panduan khusus AI untuk organisasi sumber daya dan konektivitas.

Menetapkan tata kelola AI

Tata kelola AI memerlukan organisasi sumber daya dan manajemen kebijakan yang tepat untuk memastikan operasi yang aman, patuh, dan hemat biaya. Anda harus membuat batas tata kelola yang jelas untuk melindungi data sensitif dan mengontrol akses sumber daya AI secara efektif. Berikut caranya:

1. Buat grup manajemen terpisah untuk beban kerja AI internal dan yang menghadap internet. Pemisahan grup manajemen menetapkan batas tata kelola data penting antara aplikasi AI eksternal ("online") dan internal saja ("perusahaan"). Pemisahan ini mencegah pengguna eksternal mengakses data bisnis internal sensitif saat Anda mempertahankan kontrol akses yang sesuai. Pendekatan ini selaras dengan prinsip arsitektur Grup Manajemen Zona Pendaratan Azure, dan mendukung pewarisan kebijakan untuk segala jenis beban kerja.

2. Terapkan kebijakan khusus AI ke setiap grup manajemen. Mulailah dengan kebijakan dasar dari zona pendaratan Azure dan tambahkan definisi Azure Policy untuk Foundry, alat Foundry, Pencarian Azure AI, dan Azure Virtual Machines. Penegakan kebijakan memastikan tata kelola AI yang seragam di seluruh platform Anda dan mengurangi pengawasan kepatuhan manual.

3. Sebarkan sumber daya AI dalam langganan yang spesifik untuk beban kerja. Sumber daya AI harus mewarisi kebijakan tata kelola dari grup manajemen beban kerja mereka daripada langganan platform. Dengan pemisahan ini, hambatan dalam pengembangan yang diakibatkan oleh kontrol tim platform dapat dicegah, sehingga memungkinkan tim beban kerja untuk bekerja dengan lebih mandiri dan tingkat otonomi yang tepat. Sebarkan beban kerja AI ke langganan zona pendaratan aplikasi di lingkungan zona pendaratan Azure.

Membuat jaringan AI

Jaringan AI mencakup desain infrastruktur jaringan, langkah-langkah keamanan, dan pola transfer data yang efisien untuk beban kerja AI. Anda harus menerapkan kontrol keamanan dan opsi konektivitas yang tepat untuk mencegah gangguan berbasis jaringan dan mempertahankan performa yang konsisten. Berikut caranya:

1. Aktifkan Azure DDoS Protection untuk beban kerja AI yang menghadap internet.Azure DDoS Protection melindungi layanan AI Anda dari potensi gangguan dan waktu henti yang disebabkan oleh serangan penolakan layanan terdistribusi. Perlindungan DDoS di tingkat jaringan virtual mempertahankan terhadap banjir lalu lintas yang menargetkan aplikasi yang terhubung ke internet dan mempertahankan ketersediaan layanan selama serangan.

2. Akses operasional yang aman ke beban kerja AI dengan Azure Bastion. Gunakan jumpbox dan Azure Bastion untuk mengamankan akses operasional ke beban kerja AI dan mencegah eksposur internet langsung antarmuka manajemen. Pendekatan ini membuat gateway aman untuk tugas administratif sambil mempertahankan isolasi jaringan untuk sumber daya AI.

3. Pilih konektivitas yang sesuai untuk sumber data lokal. Organisasi yang mentransfer data dalam jumlah besar dari sumber lokal ke lingkungan cloud memerlukan koneksi bandwidth tinggi untuk mendukung persyaratan performa beban kerja AI.

   • Gunakan Azure ExpressRoute untuk transfer data volume tinggi.Azure ExpressRoute menyediakan konektivitas khusus untuk volume data tinggi, pemrosesan real time, atau beban kerja yang memerlukan performa konsisten. ExpressRoute menyertakan fitur FastPath yang meningkatkan performa jalur data dengan melewati gateway ExpressRoute untuk arus lalu lintas tertentu.

   • Gunakan Azure VPN Gateway untuk transfer data sedang.Azure VPN Gateway berfungsi dengan baik untuk volume data sedang, transfer data jarang, atau ketika akses internet publik diperlukan. VPN Gateway menawarkan penyiapan yang lebih sederhana dan operasi hemat biaya untuk himpunan data yang lebih kecil dibandingkan dengan ExpressRoute. Gunakan topologi dan desain yang sesuai untuk beban kerja AI Anda, termasuk VPN situs-ke-situs untuk konektivitas lintas lokasi dan VPN titik-ke-situs untuk akses perangkat yang aman.

Menetapkan keandalan AI

Keandalan AI memerlukan penempatan wilayah strategis dan perencanaan redundansi untuk memastikan performa yang konsisten dan ketersediaan tinggi. Organisasi harus mengatasi hosting model, lokalitas data, dan pemulihan bencana untuk mempertahankan layanan AI yang andal. Anda perlu merencanakan strategi penyebaran regional Anda untuk menghindari gangguan layanan dan mengoptimalkan performa. Berikut caranya:

1. Sebarkan endpoint AI di beberapa wilayah untuk beban kerja di lingkungan produksi. Beban kerja AI produksi memerlukan hosting di setidaknya dua wilayah untuk memberikan redundansi dan memastikan ketersediaan tinggi. Penyebaran multi-wilayah memungkinkan failover dan pemulihan yang lebih cepat selama kegagalan regional. Untuk Azure OpenAI di Foundry, gunakan penyebaran global yang secara otomatis mengalihkan permintaan ke wilayah dengan kapasitas yang tersedia. Untuk penyebaran regional, terapkan Azure API Management untuk menyebarkan beban permintaan API di seluruh endpoint AI.

2. Verifikasi ketersediaan layanan AI di wilayah target sebelum penyebaran. Wilayah yang berbeda menyediakan berbagai tingkat ketersediaan layanan AI dan dukungan fitur. Periksa ketersediaan layanan Azure menurut wilayah untuk mengonfirmasi bahwa layanan AI yang diperlukan tersedia. Model penerapan Azure OpenAI mencakup opsi yang standar global, penyediaan global, standar regional, dan penyediaan regional dengan pola ketersediaan regional yang berbeda.

3. Mengevaluasi batas kuota regional dan persyaratan kapasitas. Foundry Tools memiliki batas langganan regional yang memengaruhi penyebaran model skala besar dan beban kerja inferensi. Hubungi Azure support secara proaktif ketika Anda mengantisipasi kebutuhan kapasitas yang melebihi kuota standar untuk mencegah gangguan layanan selama penskalaan.

4. Optimalkan penempatan data untuk aplikasi generasi yang ditingkatkan dengan pengambilan data. Lokasi penyimpanan data secara signifikan memengaruhi performa aplikasi dalam skenario RAG. Menempatkan data dan model AI di wilayah yang sama dapat mengurangi latensi dan meningkatkan efisiensi pengambilan data, meskipun konfigurasi lintas wilayah masih layak untuk persyaratan bisnis tertentu.

5. Replikasi aset AI penting ke wilayah sekunder untuk kelangsungan bisnis. Kelangsungan bisnis memerlukan replikasi model yang disempurnakan, himpunan data RAG, model terlatih, dan data pelatihan ke wilayah sekunder. Replikasi aset memungkinkan pemulihan yang lebih cepat selama pemadaman dan mempertahankan ketersediaan layanan di berbagai skenario kegagalan.

Menetapkan fondasi AI

Fondasi AI menyediakan infrastruktur inti dan hierarki sumber daya yang mendukung beban kerja AI di Azure. Ini termasuk menyiapkan lingkungan yang dapat diskalakan dan aman yang selaras dengan kebutuhan tata kelola dan operasional. Fondasi AI yang kuat memungkinkan penyebaran dan manajemen beban kerja AI yang efisien. Ini juga memastikan keamanan dan fleksibilitas untuk pertumbuhan di masa depan.

Menggunakan zona pendaratan Azure

Zona pendaratan Azure adalah titik awal yang direkomendasikan yang mempersiapkan lingkungan Azure Anda. Ini menyediakan penyiapan yang telah ditentukan sebelumnya untuk platform dan sumber daya aplikasi. Setelah platform terpasang, Anda dapat menyebarkan beban kerja AI ke zona pendaratan khusus aplikasi.

Jika organisasi Anda menggunakan Azure zona pendaratan untuk beban kerja, lanjutkan menggunakannya untuk beban kerja yang menggunakan AI. Anda menyebarkan beban kerja AI Anda ke zona pendaratan aplikasi reguler, seperti halnya beban kerja lainnya. Lihat AI di zona pendaratan Azure. Gambar 2 di bawah ini menggambarkan bagaimana beban kerja AI terintegrasi dalam zona pendaratan Azure.

Figure 2. Beban kerja AI di zona pendaratan Azure.

Membangun lingkungan AI

Jika Anda tidak menggunakan zona pendaratan Azure, ikuti rekomendasi dalam artikel ini untuk membangun lingkungan AI Anda. Diagram berikut menunjukkan hierarki sumber daya garis besar. Ini mengegmentasi beban kerja AI internal dan beban kerja AI yang terhubung ke internet. Beban kerja internal menggunakan kebijakan untuk menolak akses online bagi pelanggan. Pemisahan ini melindungi data internal dari paparan pengguna eksternal. Pengembangan AI harus menggunakan jumpbox untuk mengelola sumber daya dan data AI.

Gambar 3. Hierarki sumber daya garis besar untuk beban kerja AI.

Langkah berikutnya

Langkah selanjutnya adalah membangun dan menyebarkan beban kerja AI ke lingkungan AI Anda. Gunakan tautan berikut untuk menemukan panduan arsitektur yang memenuhi kebutuhan Anda. Mulailah dengan arsitektur platform-as-a-service (PaaS). PaaS adalah pendekatan yang direkomendasikan Microsoft untuk mengadopsi AI.

Panduan arsitektur PaaS AI

Panduan arsitektur IaaS AI