Mulai menggunakan API yang didukung AI di aplikasi Windows Anda

Windows Copilot Runtimemenawarkan berbagai API yang didukung AI yang disebut sebagai Windows Copilot Library yang memungkinkan Anda untuk memanfaatkan fitur AI tanpa perlu menemukan, menjalankan, atau mengoptimalkan model Pembelajaran Mesin (ML) Anda sendiri. Model yang mendukung Windows Copilot Library siap digunakan dan berjalan secara pasif sepanjang waktu pada perangkat untuk mengaktifkan fitur AI pada PC Copilot+.

Menggunakan API yang didukung AI lokal yang tersedia di Windows Copilot Library

Windows Copilot Library termasuk API yang didukung AI ini yang didukung oleh model yang berjalan secara lokal, langsung di perangkat Windows:

• Phi Silica: PHI Silica API tersedia sebagai bagian dari SDK Aplikasi Windows. Mirip dengan Model Bahasa Besar (LLM) GPT OpenAI yang mendukung ChatGPT, Phi adalah Model Bahasa Kecil (SLM) yang dikembangkan oleh Microsoft Research untuk melakukan tugas pemrosesan bahasa pada perangkat lokal. Phi Silica dirancang khusus untuk perangkat Windows dengan Neural Processing Unit (NPU), memungkinkan pembuatan teks dan fitur percakapan berjalan dengan cara yang dipercepat perangkat keras yang sangat berkinerja tinggi langsung di perangkat.

• Text Recognitiondengan OCR: Text Recognition API (juga disebut sebagai Pengenalan Karakter Optik atau OCR) tersedia sebagai bagian dari SDK Aplikasi Windows. API ini memungkinkan pengenalan teks dalam gambar dan konversi berbagai jenis dokumen, seperti dokumen kertas yang dipindai, file PDF atau gambar yang diambil oleh kamera digital, menjadi data yang dapat diedit dan dapat dicari di perangkat lokal.

• Studio Effects: Perangkat Windows dengan Neural Processing Units (NPU) yang kompatibel terintegrasi Studio Effects ke dalam pengaturan kamera perangkat dan mikrofon bawaan. Terapkan efek khusus yang menggunakan AI, termasuk: Kabur Latar Belakang, Koreksi Kontak Mata, Framing Otomatis, Koreksi Cahaya Potret, Filter Kreatif, atau Fokus Suara untuk memfilter kebisingan latar belakang.

• Recall: Recall memungkinkan pengguna untuk dengan cepat menemukan hal-hal dari aktivitas mereka sebelumnya, seperti dokumen, gambar, situs web, dan banyak lagi. Pengembang dapat memperkaya pengalaman pengguna Recall dengan aplikasi mereka dengan menambahkan informasi kontekstual ke database vektor yang mendasar dengan API Aktivitas Pengguna. Integrasi ini akan membantu pengguna mengambil tempat yang mereka tinggalkan di aplikasi Anda, meningkatkan keterlibatan aplikasi dan alur pengguna yang mulus antara Windows dan aplikasi Anda.

Dengan lebih banyak lagi yang akan datang, termasuk Terjemahan Keterangan Langsung, Pencarian Semantik, Pengambilan Augmented Generation (RAG), Ringkasan Teks, dan Resolusi Super Gambar.

Menggunakan API berbasis AI berbasis cloud di aplikasi Windows Anda

Anda juga mungkin tertarik untuk menggunakan API yang menjalankan model di cloud untuk mendukung fitur AI yang dapat ditambahkan ke aplikasi Windows Anda. Beberapa contoh API yang didukung AI berbasis cloud yang ditawarkan oleh Microsoft atau OpenAI meliputi:

• Tambahkan penyelesaian obrolan OpenAI ke aplikasi desktop WinUI 3 / SDK Aplikasi Windows Anda: Tutorial tentang cara mengintegrasikan kemampuan penyelesaian OpenAI ChatGPT berbasis cloud ke dalam aplikasi desktop WinUI 3 / SDK Aplikasi Windows.

• Tambahkan DALL-E ke aplikasi desktop WinUI 3 / SDK Aplikasi Windows Anda: Tutorial tentang cara mengintegrasikan kemampuan pembuatan gambar OpenAI DALL-E berbasis cloud ke dalam aplikasi desktop WinUI 3 / SDK Aplikasi Windows.

• Buat aplikasi rekomendasi dengan .NET MAUI dan ChatGPT: Tutorial tentang cara membuat contoh aplikasi Rekomendasi yang mengintegrasikan kemampuan penyelesaian OpenAI ChatGPT berbasis cloud ke dalam aplikasi .NET MAUI.

• Tambahkan DALL-E ke aplikasi desktop Windows .NET MAUI Anda: Tutorial tentang cara mengintegrasikan kemampuan pembuatan gambar OpenAI DALL-E berbasis cloud ke dalam aplikasi .NET MAUI.

• Layanan Azure OpenAI: Jika Anda ingin aplikasi Windows Anda mengakses model OpenAI, seperti GPT-4, GPT-4 Turbo dengan Vision, GPT-3.5-Turbo, DALLE-3 atau seri model Embeddings, dengan kemampuan keamanan dan perusahaan tambahan Azure, Anda dapat menemukan panduan dalam dokumentasi Azure OpenAI ini.

• Azure AI Services: Azure menawarkan seluruh rangkaian layanan AI yang tersedia melalui REST API dan SDK pustaka klien dalam bahasa pengembangan populer. Untuk informasi selengkapnya, lihat dokumentasi setiap layanan. Layanan berbasis cloud ini membantu pengembang dan organisasi menciptakan aplikasi dan model yang cerdas, mutakhir, siap pasar, dan bertanggung jawab dengan API dan model yang siap dibangun dan dapat disesuaikan sebelumnya. Contoh aplikasi termasuk pemrosesan bahasa alami untuk percakapan, pencarian, pemantauan, terjemahan, ucapan, visi, dan pengambilan keputusan.

Pertimbangan untuk menggunakan API yang didukung AI lokal versus berbasis cloud di aplikasi Windows Anda

Saat memutuskan antara menggunakan API di aplikasi Windows Anda yang bergantung pada menjalankan model ML secara lokal versus di cloud, ada beberapa keuntungan dan kerugian yang perlu dipertimbangkan.

• Ketersediaan Sumber Daya

  • Perangkat Lokal: Menjalankan model tergantung pada sumber daya yang tersedia pada perangkat yang digunakan, termasuk kapasitas CPU, GPU, NPU, memori, dan penyimpanan. Ini dapat membatasi jika perangkat tidak memiliki daya komputasi yang tinggi atau penyimpanan yang cukup. Model Bahasa Kecil (SLM), seperti Phi, lebih ideal untuk digunakan secara lokal pada perangkat.
  • Cloud: Platform cloud, seperti Azure, menawarkan sumber daya yang dapat diskalakan. Anda dapat menggunakan daya komputasi atau penyimpanan sebanyak yang Anda butuhkan dan hanya membayar untuk apa yang Anda gunakan. Model Bahasa Besar (LLM), seperti model bahasa OpenAI, membutuhkan lebih banyak sumber daya, tetapi juga lebih kuat.

• Privasi dan Keamanan Data

  • Perangkat Lokal: Karena data tetap berada di perangkat, menjalankan model secara lokal dapat lebih aman dan privat. Tanggung jawab keamanan data bersandar pada pengguna.
  • Cloud: Penyedia cloud menawarkan langkah-langkah keamanan yang kuat, tetapi data perlu ditransfer ke cloud, yang mungkin meningkatkan masalah privasi data dalam beberapa kasus.

• Aksesibilitas dan Kolaborasi

  • Perangkat Lokal: Model dan data hanya dapat diakses di perangkat kecuali dibagikan secara manual. Ini berpotensi membuat kolaborasi pada data model lebih menantang.
  • Cloud: Model dan data dapat diakses dari mana saja dengan konektivitas internet. Ini mungkin lebih baik untuk skenario kolaborasi.

• Biaya

  • Perangkat Lokal: Tidak ada biaya tambahan selain investasi awal di perangkat.
  • Cloud: Meskipun platform cloud beroperasi pada model bayar sesuai penggunaan, biaya dapat terakumulasi berdasarkan sumber daya yang digunakan dan durasi penggunaan.

• Pemeliharaan dan Pembaruan

  • Perangkat Lokal: Pengguna bertanggung jawab untuk mempertahankan sistem dan menginstal pembaruan.
  • Cloud: Pemeliharaan, pembaruan sistem, dan pembaruan fitur baru ditangani oleh penyedia layanan cloud, mengurangi overhead pemeliharaan untuk pengguna.

Lihat Menjalankan Model Bahasa Kecil secara lokal versus Model Bahasa Besar di cloud untuk mempelajari selengkapnya tentang perbedaan antara menjalankan Model Bahasa Kecil (SLM) secara lokal versus menjalankan Model Bahasa Besar (LLM) di cloud.