Baca dalam bahasa Inggris

Bagikan melalui


Mulai menggunakan fitur dan APIs yang didukung AI di aplikasi Windows Anda

Windows Copilot Runtime menawarkan berbagai fitur dan APIs yang didukung AI yang memungkinkan Anda memanfaatkan fungsionalitas AI tanpa perlu menemukan, menjalankan, atau mengoptimalkan model Pembelajaran Mesin (ML) Anda sendiri. Model yang mendukung Windows Copilot Runtime pada PC Copilot+ berjalan secara lokal dan di latar belakang setiap saat.

Saat menggunakan fitur AI, kami sarankan Anda meninjau: Mengembangkan Aplikasi dan Fitur AI Generatif yang Bertanggung Jawab di Windows.

Windows Copilot Runtime fitur dan APIs untuk aplikasi Windows

mencakup fitur berikut dan yang didukung AI dalamSDK Windows App , yang ditenagai oleh model yang berjalan secara lokal di perangkat Windows.

  • Phi Silica: Belum tersedia. Phi Silica APIs akan tersedia dalam SDK Aplikasi Windows. Mirip dengan Model Bahasa Besar (LLM) GPT OpenAI yang mendukung ChatGPT, Phi adalah Model Bahasa Kecil (SLM) yang dikembangkan oleh Microsoft Research untuk melakukan tugas pemrosesan bahasa pada perangkat lokal. Phi Silica dirancang khusus untuk perangkat Windows dengan Unit Pemrosesan Neural (NPU), memungkinkan pembuatan teks dan fitur percakapan berjalan dengan performa tinggi, cara yang dipercepat perangkat keras langsung di perangkat.

  • Text Recognition dengan OCR : Belum tersedia.Text RecognitionAPIs (juga disebut sebagai Pengenalan Karakter Optik atau OCR) akan dikirimkan dalam SDK Aplikasi Windows. Ini APIs memungkinkan pengenalan teks dalam gambar dan konversi berbagai jenis dokumen (seperti dokumen kertas yang dipindai, file PDF, atau gambar yang diambil oleh kamera digital) menjadi data yang dapat diedit dan dapat dicari di perangkat lokal.

  • APIs Pencitraan : Belum tersedia.APIs Pencitraan diperkuat AI akan tersedia di SDK Aplikasi Windows. APIs ini melakukan berbagai tindakan seperti menskalakan gambar dengan cerdas dan mengidentifikasi objek dalam gambar.

  • Studio Effects: Tersedia di Windows 11, versi 22H2 atau yang lebih baru (Build 22623.885+), pada PC Copilot+. perangkat Windows dengan Unit Pemrosesan Neural (NPU) yang kompatibel mengintegrasikan Studio Effects ke dalam kamera perangkat bawaan dan pengaturan mikrofon. Terapkan efek khusus yang menggunakan AI, termasuk: Kabur Latar Belakang, Koreksi Kontak Mata, Framing Otomatis, Koreksi Cahaya Potret, Filter Kreatif, atau Fokus Suara untuk memfilter kebisingan latar belakang.

  • Recall: Tersedia untuk pratinjau melalui Program Windows Insiders di PC Copilot+.Recall memungkinkan pengguna untuk dengan cepat menemukan hal-hal dari aktivitas mereka sebelumnya, seperti dokumen, gambar, situs web, dan banyak lagi. Pengembang dapat memperkaya pengalaman Recall pengguna dengan aplikasi mereka dengan menambahkan informasi kontekstual ke database vektor yang mendasar dengan API Aktivitas Pengguna . Integrasi ini akan membantu pengguna mengambil tempat yang mereka tinggalkan di aplikasi Anda, meningkatkan keterlibatan aplikasi dan alur pengguna yang mulus antara Windows dan aplikasi Anda.

  • Terjemahan Keterangan Langsung membantu semua orang di Windows, termasuk mereka yang tuli atau sulit mendengar, lebih memahami audio dengan melihat keterangan konten lisan (bahkan ketika konten audio dalam bahasa yang berbeda dari bahasa pilihan sistem).

APIs berbasis cloud yang didukung AI untuk aplikasi Windows

Anda mungkin juga tertarik untuk menggunakan APIs yang menjalankan model di cloud untuk mendukung fitur AI yang dapat ditambahkan ke aplikasi Windows Anda. Beberapa contoh AI berbasis cloud yang didukung APIs oleh Microsoft atau OpenAI meliputi:

  • Tambahkan penyelesaian obrolan OpenAI ke aplikasi desktop WinUI 3 / SDK Aplikasi Windows Anda: Tutorial tentang cara mengintegrasikan kemampuan penyelesaian OpenAI ChatGPT berbasis cloud ke dalam aplikasi desktop WinUI 3 / SDK Aplikasi Windows.

  • Tambahkan DALL-E ke aplikasi desktop WinUI 3 / SDK Aplikasi Windows Anda: Tutorial tentang cara mengintegrasikan kemampuan pembuatan gambar OpenAI DALL-E berbasis cloud ke dalam aplikasi desktop WinUI 3 / SDK Aplikasi Windows.

  • Buat aplikasi rekomendasi dengan .NET MAUI dan ChatGPT: Tutorial tentang cara membuat contoh aplikasi Rekomendasi yang mengintegrasikan kemampuan penyelesaian OpenAI ChatGPT berbasis cloud ke dalam aplikasi .NET MAUI.

  • Tambahkan DALL-E ke aplikasi desktop Windows .NET MAUI Anda: Tutorial tentang cara mengintegrasikan kemampuan pembuatan gambar OpenAI DALL-E berbasis cloud ke dalam aplikasi .NET MAUI.

  • Layanan Azure OpenAI: Jika Anda ingin aplikasi Windows Anda mengakses model OpenAI, seperti GPT-4, GPT-4 Turbo dengan Vision, GPT-3.5-Turbo, DALLE-3 atau seri model Embeddings, dengan kemampuan keamanan dan perusahaan tambahan Azure, Anda dapat menemukan panduan dalam dokumentasi Azure OpenAI ini.

  • Azure AI Services: Azure menawarkan seluruh rangkaian layanan AI yang tersedia melalui REST APIs dan SDK pustaka klien dalam bahasa pengembangan populer. Untuk informasi selengkapnya, lihat dokumentasi setiap layanan. Layanan berbasis cloud ini membantu pengembang dan organisasi dengan cepat menciptakan aplikasi cerdas, mutakhir, siap pasar, dan bertanggung jawab dengan aplikasi out-of-the-box dan bawaan serta dapat APIs disesuaikan dan model. Contoh aplikasi termasuk pemrosesan bahasa alami untuk percakapan, pencarian, pemantauan, terjemahan, ucapan, visi, dan pengambilan keputusan.

Pertimbangan untuk menggunakan AI lokal versus berbasis cloud yang didukung APIs di aplikasi Windows Anda

Saat memutuskan antara menggunakan API di aplikasi Windows Anda yang bergantung pada menjalankan model ML secara lokal versus di cloud, ada beberapa keuntungan dan kerugian yang perlu dipertimbangkan.

  • Ketersediaan Sumber Daya

    • Perangkat Lokal: Menjalankan model tergantung pada sumber daya yang tersedia pada perangkat yang digunakan, termasuk kapasitas CPU, GPU, NPU, memori, dan penyimpanan. Ini dapat membatasi jika perangkat tidak memiliki daya komputasi yang tinggi atau penyimpanan yang cukup. Model Bahasa Kecil (SLM), seperti Phi, lebih ideal untuk digunakan secara lokal pada perangkat.
    • Cloud: Platform cloud, seperti Azure, menawarkan sumber daya yang dapat diskalakan. Anda dapat menggunakan daya komputasi atau penyimpanan sebanyak yang Anda butuhkan dan hanya membayar untuk apa yang Anda gunakan. Model Bahasa Besar (LLM), seperti model bahasa OpenAI, membutuhkan lebih banyak sumber daya, tetapi juga lebih kuat.
  • Privasi dan Keamanan Data

    • Perangkat Lokal: Karena data tetap berada di perangkat, menjalankan model secara lokal dapat lebih aman dan privat. Tanggung jawab keamanan data bersandar pada pengguna.
    • Cloud: Penyedia cloud menawarkan langkah-langkah keamanan yang kuat, tetapi data perlu ditransfer ke cloud, yang mungkin meningkatkan masalah privasi data dalam beberapa kasus.
  • Aksesibilitas dan Kolaborasi

    • Perangkat Lokal: Model dan data hanya dapat diakses di perangkat kecuali dibagikan secara manual. Ini berpotensi membuat kolaborasi pada data model lebih menantang.
    • Cloud: Model dan data dapat diakses dari mana saja dengan konektivitas internet. Ini mungkin lebih baik untuk skenario kolaborasi.
  • Biaya

    • Perangkat Lokal: Tidak ada biaya tambahan selain investasi awal di perangkat.
    • Cloud: Meskipun platform cloud beroperasi pada model bayar sesuai penggunaan, biaya dapat terakumulasi berdasarkan sumber daya yang digunakan dan durasi penggunaan.
  • Pemeliharaan dan Pembaruan

    • Perangkat Lokal: Pengguna bertanggung jawab untuk mempertahankan sistem dan menginstal pembaruan.
    • Cloud: Pemeliharaan, pembaruan sistem, dan pembaruan fitur baru ditangani oleh penyedia layanan cloud, mengurangi overhead pemeliharaan untuk pengguna.

Lihat Menjalankan Model Bahasa Kecil secara lokal versus Model Bahasa Besar di cloud untuk mempelajari selengkapnya tentang perbedaan antara menjalankan Model Bahasa Kecil (SLM) secara lokal versus menjalankan Model Bahasa Besar (LLM) di cloud.