Share via

Ikhtisar konfigurasi AI dan LLM di Microsoft Cloud for Sovereignty (pratinjau)

  • Artikel

Penting

Ini adalah fitur pratinjau. Informasi ini berkaitan dengan fitur prarilis yang mungkin dimodifikasi secara substansial sebelum dirilis. Microsoft tidak memberikan jaminan, tersurat maupun tersirat, sehubungan dengan informasi yang diberikan di sini.

Organisasi Sektor Publik dapat memanfaatkan inovasi AI terbaru di cloud publik, sambil mengelola data mereka sesuai dengan kebijakan lokal dan persyaratan peraturan mereka dengan bantuan Microsoft Cloud for Sovereignty.

Microsoft Cloud for Sovereignty menawarkan kelincahan dan fleksibilitas, fitur keamanan siber canggih, dan akses ke inovasi terbaru, seperti Azure OpenAI, untuk mempercepat transformasi digital dan penyampaian layanan publik yang penting. Ini memungkinkan pelanggan untuk membangun dan mengubah beban kerja secara digital di cloud Microsoft sambil membantu memenuhi banyak persyaratan kepatuhan, keamanan, dan kebijakan khusus mereka.

Azure OpenAI Service menyediakan akses ke OpenAI model bahasa yang kuat termasuk GPT-4, GPT-3.5 (ChatGPT), Codex, dan seri model Embeddings. Model bahasa dasar ini dilatih sebelumnya pada sejumlah besar data untuk melakukan tugas, seperti pembuatan konten, peringkasan, pencarian semantik, dan bahasa alami untuk terjemahan kode. Anda dapat menggunakan Azure OpenAI Service untuk mengakses model yang telah dilatih sebelumnya dan membangun aplikasi berkemampuan AI dengan lebih cepat dan dengan sedikit usaha, sambil menggunakan Microsoft Cloud for Sovereignty untuk menegakkan persyaratan kepatuhan, keamanan, dan kebijakan dengan kontrol kedaulatan skala perusahaan dan arsitektur cloud.

Tunjangan

Anda dapat menggunakan layanan Azure OpenAI pada data Anda untuk:

  • Tingkatkan produktivitas karyawan dengan mengurangi waktu yang mereka butuhkan untuk menemukan informasi penting dalam basis pengetahuan kolektif organisasi Anda.

  • Meningkatkan kepuasan konstituen dengan menyederhanakan peraturan atau persyaratan program yang kompleks.

Contoh kasus penggunaan

Kasus penggunaan Sovereign paling baik diterapkan berdasarkan Sovereign Landing Zone (SLZ). SLZ terdiri dari hierarki grup manajemen dan sumber daya platform umum yang memfasilitasi jaringan, logging, dan identitas layanan terkelola. Diagram berikut menunjukkan arsitektur referensi konfigurasi AI dan LLM yang berdaulat.

Arsitektur referensi konfigurasi Sovereign AI dan LLM.

Grup manajemen akar SLZ biasanya disebut sebagai zona pendaratan, atau zona pendaratan skala perusahaan. Langganan individu yang berada di salah satu grup manajemen anak di bawah induk biasanya disebut sebagai zona pendaratan aplikasi, atau zona pendaratan beban kerja. Beban kerja aplikasi dapat disebarkan ke lingkungan SLZ di salah satu dari empat zona pendaratan default:

  • Corp (corporate) - Beban kerja non-internet, nonconfidential

  • Online - Menghadapi internet, beban kerja tidak rahasia

  • Confidential corp - Beban kerja rahasia yang menghadap non-internet (hanya memungkinkan penggunaan sumber daya komputasi rahasia)

  • Confidential online - Internet facing, beban kerja rahasia (hanya memungkinkan sumber daya komputasi rahasia digunakan)

Perbedaan utama antara grup manajemen Corp dan Online adalah bagaimana mereka menangani titik akhir publik. Lingkungan Online memungkinkan penggunaan titik akhir publik, sedangkan lingkungan Corp tidak. Pelajari lebih lanjut tentang arsitektur SLZ.

Dalam lingkungan SLZ, Anda harus menyebarkan solusi berbasis LLM sebagai beban kerja khusus dalam langganan mereka sendiri dalam hierarki grup manajemen Corp atau Online .

Sebaiknya gunakan lingkungan Corp sebagai pola standar aman untuk menerapkan aplikasi berbasis LLM RAG seperti kopilot untuk penggunaan organisasi internal. Anda memerlukan koneksi berbasis ExpressRoute atau VPN untuk mengakses API front-end atau antarmuka pengguna yang terhubung ke layanan Azure AI dan memberikan kemampuan LLM kepada pengguna akhir atau konsumen.

Untuk menawarkan aplikasi berbasis LLM atau RAG kepada publik, gunakan zona pendaratan beban kerja dalam hierarki grup manajemen Online . Namun, Anda harus mengakses semua layanan yang diperlukan untuk implementasi melalui titik akhir privat dengan aman di jaringan virtual. Hanya menyediakan API atau aplikasi web front-end melalui titik akhir publik kepada pengguna akhir atau konsumen.

Dalam hal ini, Anda harus melindungi titik akhir publik dengan Firewall Aplikasi Web. Anda juga harus menerapkan dan mengonfigurasi DDoS dan layanan keamanan lainnya yang sesuai. Bergantung pada preferensi Anda, konfigurasi ini mungkin terjadi secara terpusat di jaringan virtual hub, atau terdesentralisasi di jaringan virtual beban kerja.

Jika Anda perlu mengintegrasikan data dari zona pendaratan Rahasia dengan beban kerja berbasis LLM, Anda harus menjalankan proses transformasi yang memproses dan menyimpan data dalam layanan seperti layanan Azure AI, seperti Azure AI Search atau Azure OpenAI, dalam zona pendaratan Rahasia . Selain itu, proses ini harus secara aktif memfilter dan mengelola data untuk mencegah pengiriman data rahasia yang harus dienkripsi saat digunakan untuk layanan dan beban kerja nonrahasia. Anda perlu menerapkan pemfilteran ini dalam logika bisnis kustom berdasarkan kasus per kasus.

Jika Anda perlu menyerap, mengubah, dan menggunakan data dengan beban kerja berbasis LLM, sebaiknya sebarkan zona pendaratan data yang selaras dengan domain data. Zona pendaratan data memiliki beberapa lapisan yang memungkinkan kelincahan untuk melayani integrasi data dan produk data yang dikandungnya.

Anda dapat menerapkan zona pendaratan data baru dengan serangkaian layanan standar yang memungkinkan zona pendaratan data mulai menyerap dan menganalisis data. Anda dapat menghubungkan zona pendaratan data ke zona pendaratan data LLM dan semua zona pendaratan data lainnya dengan peering jaringan virtual. Mekanisme ini memungkinkan Anda berbagi data dengan aman melalui jaringan internal Azure sambil mencapai latensi yang lebih rendah dan throughput yang lebih tinggi daripada melalui hub.

Beberapa implementasi mungkin memerlukan penggunaan data sensitif atau rahasia yang memerlukan enkripsi saat digunakan, yang tersedia dengan komputasi rahasia. Untuk skenario ini, Anda dapat menjalankan solusi data berbasis komputer virtual di zona pendaratan di bawah Grup Manajemen Rahasia. Beberapa layanan data PaaS mungkin tidak dapat berjalan di komputer virtual rahasia.

Langkah berikutnya