Memilih antara model AI berbasis cloud dan lokal

Untuk pengembang aplikasi yang ingin mengintegrasikan fitur AI, Microsoft Windows menawarkan platform komprehensif dan fleksibel yang mendukung pemrosesan lokal di perangkat dan solusi berbasis cloud yang dapat diskalakan.

Memilih antara model AI berbasis cloud dan lokal tergantung pada kebutuhan dan prioritas spesifik Anda. Faktor-faktor yang perlu dipertimbangkan meliputi:

• Privasi data, kepatuhan, dan keamanan
• Ketersediaan sumber daya
• Aksesibilitas dan kolaborasi
• Biaya
• Pemeliharaan dan pembaruan
• Performa & latensi
• Skalabilitas
• Persyaratan konektivitas
• Ukuran dan kompleksitas model
• Alat dan ekosistem terkait
• Kustomisasi dan kontrol

Faktor keputusan utama untuk pengembang aplikasi

• Privasi, kepatuhan, dan keamanan data

  • • Lokal, lokal: Karena data tetap berada di perangkat, menjalankan model secara lokal dapat menawarkan manfaat mengenai keamanan dan privasi, dengan tanggung jawab keamanan data yang berada di pengguna. Pengembang bertanggung jawab untuk mengelola pembaruan, memastikan kompatibilitas, dan memantau kerentanan keamanan.
  • • Cloud: penyedia cloud menawarkan langkah-langkah keamanan yang kuat, tetapi data perlu ditransfer ke cloud, yang mungkin meningkatkan masalah privasi data untuk bisnis atau manajemen layanan aplikasi dalam beberapa kasus. Mengirim data ke cloud juga harus mematuhi peraturan perlindungan data, seperti GDPR atau HIPAA, tergantung pada sifat data dan wilayah tempat aplikasi beroperasi. Penyedia cloud biasanya menangani pembaruan dan pemeliharaan keamanan, tetapi pengguna harus memastikan bahwa mereka menggunakan API yang aman dan mengikuti praktik terbaik untuk penanganan data.

• Ketersediaan sumber daya

  • Lokal, lokal: Menjalankan model tergantung pada sumber daya yang tersedia pada perangkat yang digunakan, termasuk kapasitas CPU, GPU, NPU, memori, dan penyimpanan. Ini dapat membatasi jika perangkat tidak memiliki daya komputasi yang tinggi atau penyimpanan yang cukup. Model Bahasa Kecil (SLM), seperti Phi, lebih cocok untuk penggunaan lokal pada perangkat. Copilot+ PC menawarkan model bawaan dengan fitur AI siap pakai yang didukung oleh Microsoft Foundry on Windows.

  • • Awan: Platform cloud, seperti Azure Layanan AI, menawarkan sumber daya yang dapat diskalakan. Anda dapat menggunakan daya komputasi atau penyimpanan sebanyak yang Anda butuhkan dan hanya membayar untuk apa yang Anda gunakan. Model Bahasa Besar (LLM), seperti model bahasa OpenAI, membutuhkan lebih banyak sumber daya, tetapi juga lebih kuat.

• Aksesibilitas dan kolaborasi

  • • Lokal, lokal: Model dan data hanya dapat diakses di perangkat kecuali dibagikan secara manual. Ini berpotensi membuat kolaborasi pada data model lebih menantang.
  • • Cloud: Model dan data dapat diakses dari mana saja dengan konektivitas internet. Ini mungkin lebih baik untuk skenario kolaborasi.

• Biaya

  • Lokal, lokal: Tidak ada biaya tambahan di luar investasi awal dalam perangkat keras perangkat.

  • Cloud: Meskipun platform cloud beroperasi pada model bayar sesuai penggunaan, biaya dapat terakumulasi berdasarkan sumber daya yang digunakan dan durasi penggunaan.

• Pemeliharaan dan Pembaruan

  • Lokal, lokal: Pengguna bertanggung jawab untuk mempertahankan sistem dan menginstal pembaruan.

  • Cloud: Pemeliharaan, pembaruan sistem, dan pembaruan fitur baru ditangani oleh penyedia layanan cloud, mengurangi overhead pemeliharaan untuk pengguna.

• Performa & Latensi

  • Lokal, lokal: Menjalankan model secara lokal dapat mengurangi latensi karena data tidak perlu dikirim melalui jaringan. Namun, performa dibatasi oleh kemampuan perangkat keras perangkat.

  • Awan: Model berbasis cloud dapat memanfaatkan perangkat keras yang kuat, tetapi mereka dapat memperkenalkan latensi karena komunikasi jaringan. Performa dapat bervariasi berdasarkan koneksi internet pengguna dan waktu respons layanan cloud.

• Skalabilitas

  • Lokal, lokal: Penskalaan model pada perangkat lokal mungkin memerlukan peningkatan perangkat keras yang signifikan atau penambahan lebih banyak perangkat, yang dapat mahal dan memakan waktu.

  • Awan: Platform cloud menawarkan skalabilitas yang mudah, memungkinkan Anda menyesuaikan sumber daya dengan cepat berdasarkan permintaan tanpa perlu perubahan perangkat keras fisik.

• Persyaratan Konektivitas

  • Lokal, lokal: Perangkat lokal tidak memerlukan koneksi internet untuk menjalankan model, yang dapat bermanfaat di lingkungan dengan konektivitas terbatas.

  • Awan: Model berbasis cloud memerlukan koneksi internet yang stabil untuk akses dan dapat dipengaruhi oleh masalah jaringan.

• Ukuran dan Kompleksitas Model

  • Lokal, lokal: Perangkat lokal mungkin memiliki batasan pada ukuran dan kompleksitas model yang dapat dijalankan karena kendala perangkat keras. Model yang lebih kecil, seperti Phi, lebih cocok untuk eksekusi lokal.

  • Awan: Platform cloud dapat menangani model yang lebih besar dan lebih kompleks, seperti yang disediakan oleh OpenAI, karena infrastruktur yang dapat diskalakan.

• Alat dan ekosistem terkait

  • Lokal, lokal: Solusi AI lokal, seperti Microsoft FoundryMicrosoft Foundry on Windows, Windows ML, dan Foundry Local, terintegrasi dengan Windows App SDK dan ONNX Runtime, memungkinkan pengembang untuk menyematkan model langsung ke aplikasi desktop atau edge dengan dependensi eksternal minimal.

  • Awan: Solusi AI cloud, seperti Microsoft Foundry, Azure Layanan AI, dan Azure Layanan OpenAI, menyediakan serangkaian API dan SDK yang komprehensif untuk membangun aplikasi AI. Layanan ini dirancang untuk berintegrasi dengan mulus dengan Azure DevOps, GitHub Copilot, Semantic Kernel, dan layanan lainnya Azure , memungkinkan orkestrasi end-to-end, penyebaran model, dan pemantauan dalam skala besar.

• Kustomisasi dan Kontrol

  • Lokal, lokal: Model lokal dapat digunakan secara langsung, tanpa memerlukan keahlian tingkat tinggi. Microsoft Foundry on Windows menawarkan model seperti Phi Silica itu siap digunakan. Atau, Windows ML memungkinkan pengembang untuk menjalankan model kustom, seperti yang dilatih dengan ONNX Runtime, langsung di Windows perangkat. Ini memberikan tingkat kontrol yang tinggi atas model dan perilakunya, memungkinkan penyempurnaan dan pengoptimalan berdasarkan kasus penggunaan tertentu. Foundry Local juga memungkinkan pengembang untuk menjalankan model secara lokal pada Windows perangkat, memberikan tingkat kontrol yang tinggi atas model dan perilakunya.

  • Awan: Model berbasis cloud juga menawarkan opsi yang siap digunakan dan dapat disesuaikan, memungkinkan pengembang memanfaatkan kemampuan yang telah dilatih sebelumnya sambil tetap menyesuaikan model dengan kebutuhan spesifik mereka. Microsoft Foundry adalah penawaran platform sebagai layanan terpadu Azure untuk operasi AI perusahaan, penyusun model, dan pengembangan aplikasi. Fondasi ini menggabungkan infrastruktur tingkat produksi dengan antarmuka yang ramah, memungkinkan pengembang untuk fokus membangun aplikasi daripada mengelola infrastruktur.

Sampel Cloud AI

Jika solusi berbasis cloud berfungsi lebih baik untuk skenario aplikasi Anda Windows , Anda mungkin tertarik pada beberapa tutorial di bawah ini.

Banyak API tersedia untuk mengakses model berbasis cloud untuk mendukung fitur AI di aplikasi Anda Windows , baik model tersebut disesuaikan atau siap digunakan. Menggunakan model berbasis cloud dapat memungkinkan aplikasi Anda untuk tetap disederhanakan dengan mendelegasikan tugas intensif sumber daya ke cloud. Beberapa sumber daya untuk membantu Anda menambahkan API yang didukung AI berbasis cloud yang ditawarkan oleh Microsoft atau OpenAI meliputi:

• Tambahkan penyelesaian obrolan OpenAI ke WinUI 3 / Windows Aplikasi desktop App SDK: Tutorial tentang cara mengintegrasikan kemampuan penyelesaian OpenAI ChatGPT berbasis cloud ke dalam aplikasi desktop WinUI 3 / Windows App SDK.

• Tambahkan DALL-E ke WinUI 3 / Windows Aplikasi desktop App SDK: Tutorial tentang cara mengintegrasikan kemampuan pembuatan gambar OpenAI DALL-E berbasis cloud ke dalam aplikasi desktop WinUI 3 / Windows App SDK.

• Buat aplikasi rekomendasi dengan .NET MAUI dan ChatGPT: Tutorial tentang cara membuat contoh aplikasi Rekomendasi yang mengintegrasikan kemampuan penyelesaian OpenAI ChatGPT berbasis cloud ke dalam aplikasi .NET MAUI.

• Tambahkan DALL-E ke aplikasi desktop .NET MAUI Windows Anda: Tutorial tentang cara mengintegrasikan kemampuan pembuatan gambar OpenAI DALL-E berbasis cloud ke dalam aplikasi .NET MAUI.

• Azure Layanan OpenAI: Jika Anda ingin aplikasi Anda Windows mengakses model OpenAI, seperti GPT-4, GPT-4 Turbo dengan Vision, GPT-3.5-Turbo, DALLE-3 atau seri model Embeddings, dengan kemampuan Azurekeamanan dan perusahaan tambahan , Anda dapat menemukan panduan dalam dokumentasi OpenAI ini Azure .

• Azure Layanan AI: Azure menawarkan seluruh rangkaian layanan AI yang tersedia melalui REST API dan SDK pustaka klien dalam bahasa pengembangan populer. Untuk informasi selengkapnya, lihat dokumentasi setiap layanan. Layanan berbasis cloud ini membantu pengembang dan organisasi menciptakan aplikasi dan model yang cerdas, mutakhir, siap pasar, dan bertanggung jawab dengan API dan model yang siap dibangun dan dapat disesuaikan sebelumnya. Contoh aplikasi termasuk pemrosesan bahasa alami untuk percakapan, pencarian, pemantauan, terjemahan, ucapan, visi, dan pengambilan keputusan.