Apa itu Windows AI Foundry?

Kemampuan untuk membangun pengalaman AI yang cerdas di Windows dan bersamanya berkembang dengan cepat. Windows AI Foundry menawarkan fitur yang didukung AI dan APIs di PC Windows 11. Fitur-fitur ini dalam pengembangan aktif dan berjalan secara lokal di latar belakang setiap saat.

Windows AI Foundry termasuk beberapa komponen yang dapat mengaktifkan pengalaman AI unik:

1. Windows AI APIs: Anda dapat menggunakan Windows AI APIs bawaan untuk mengintegrasikan layanan AI untuk pengguna di PC Copilot+. Beberapa fitur AI siap pakai ini yang dapat Anda ketuk dari aplikasi Windows Anda meliputi:

   • Phi Silica: model bahasa lokal yang siap digunakan (pembuatan teks)
   • Pencitraan AI: gunakan AI untuk menskalakan dan mempertajam gambar (Resolusi Super Gambar), menghasilkan teks yang menjelaskan gambar (Deskripsi Gambar), mengidentifikasi objek dalam gambar (Segmentasi Gambar), dan menghapus objek dari gambar (Penghapusan Objek).
   • Text Recognition: gunakan AI untuk mendeteksi dan mengekstrak teks dalam gambar dan mengonversinya menjadi aliran karakter yang dapat dibaca mesin

2. Foundry Local: model OSS populer yang dapat Anda manfaatkan dan tarik ke aplikasi Anda

3. Windows ML: memungkinkan inferensi AI dengan model ONNX Anda sendiri

4. Dev Tools: alat seperti Visual Studio AI Toolkit dan AI Dev Gallery yang akan membantu Anda berhasil membangun kemampuan AI

Bagaimana Anda dapat menggunakan AI di aplikasi Windows Anda?

Beberapa cara agar aplikasi Windows dapat memanfaatkan model Pembelajaran Mesin (ML) untuk meningkatkan fungsionalitas dan pengalaman pengguna mereka dengan AI, meliputi:

• Aplikasi dapat menggunakan model AI Generatif untuk memahami topik kompleks untuk meringkas, menulis ulang, melaporkan, atau memperluas.
• Aplikasi dapat menggunakan model yang mengubah konten bentuk bebas menjadi format terstruktur yang dapat dipahami aplikasi Anda.
• Aplikasi dapat menggunakan model Pencarian Semantik yang memungkinkan pengguna mencari konten dengan makna dan menemukan konten terkait dengan cepat.
• Aplikasi dapat menggunakan model pemrosesan bahasa alami untuk alasan persyaratan bahasa alami yang kompleks, dan merencanakan dan menjalankan tindakan untuk mencapai permintaan pengguna.
• Aplikasi dapat menggunakan model manipulasi gambar untuk memodifikasi gambar, menghapus, atau menambahkan subjek, skala besar, atau menghasilkan konten baru secara cerdas.
• Aplikasi dapat menggunakan model diagnostik prediktif untuk membantu mengidentifikasi dan memprediksi masalah serta membantu memandu pengguna atau melakukannya untuk mereka.

Menggunakan Windows AI APIs dibandingkan dengan membawa model Anda sendiri

Menggunakan Windows AI APIs

Ketika model AI lokal adalah solusi yang tepat, Anda dapat menggunakan Windows AI APIs untuk mengintegrasikan layanan AI untuk pengguna di Pc Copilot+. Ini APIs terpasang pada PC Anda dan mengaktifkan fitur unik yang didukung AI dengan penggunaan sumber daya yang relatif rendah.

Melatih model Anda sendiri

Jika Anda memiliki kemampuan untuk melatih model Anda sendiri menggunakan data pribadi Anda sendiri dengan platform seperti TensorFlow atau PyTorch. Anda dapat mengintegrasikan model kustom tersebut ke dalam aplikasi Windows Anda dengan menjalankannya secara lokal pada perangkat keras perangkat menggunakan ONNX Runtime dan AI Toolkit untuk Visual Studio Code.

AI Toolkit untuk Visual Studio Code adalah Ekstensi Visual Studio Code yang memungkinkan Anda mengunduh dan menjalankan model AI secara lokal, termasuk akses ke akselerasi perangkat keras untuk performa dan skala yang lebih baik melalui DirectML. AI Tookit juga dapat membantu Anda:

• Menguji model di taman bermain intuitif atau di aplikasi Anda dengan REST API.
• Menyempurnakan model AI Anda, baik secara lokal maupun di cloud (pada komputer virtual) untuk membuat keterampilan baru, meningkatkan keandalan respons, mengatur nada dan format respons.
• Menyempurnakan model bahasa kecil (SLM) populer, seperti Phi-3 dan Mistral.
• Sebarkan fitur AI Anda baik ke cloud atau dengan aplikasi yang berjalan di perangkat.
• Manfaatkan akselerasi perangkat keras untuk performa yang lebih baik dengan fitur AI menggunakan DirectML. DirectML adalah API tingkat rendah yang memungkinkan perangkat keras perangkat Windows Anda mempercepat performa model ML menggunakan GPU perangkat atau NPU. Memasangkan DirectML dengan ONNX Runtime biasanya merupakan cara paling mudah bagi pengembang untuk membawa AI yang dipercepat perangkat keras kepada pengguna mereka dalam skala besar. Pelajari lebih lanjut: Gambaran Umum DirectML.
• Mengukur dan memvalidasi model untuk digunakan pada NPU dengan menggunakan kemampuan konversi model

Anda mungkin juga ingin melihat konsep penyempurnaan model ini untuk menyesuaikan model yang telah dilatih sebelumnya agar lebih sesuai dengan data Anda.

Menggunakan Model AI Cloud

Jika menggunakan fitur AI lokal bukan jalur yang tepat untuk Anda, menggunakan model dan sumber daya Cloud AI dapat menjadi solusi.

Fitur AI Lainnya

1. Tindakan Aplikasi di Windows: buat tindakan untuk aplikasi Anda yang memungkinkan kemampuan AI baru dan unik untuk konsumen

2. Recall menggunakan AI untuk membantu Anda menemukan apa pun yang telah Anda lihat di PC Anda. Klik untuk Melakukan adalah fitur yang didukung AI untuk menghubungkan tindakan ke konten (teks atau gambar) yang ditemukan oleh Recall.

3. Windows Studio Effects menggunakan AI untuk menerapkan efek khusus pada kamera perangkat

Menggunakan praktik AI yang Bertanggung Jawab

Setiap kali Anda menggabungkan fitur AI di aplikasi Windows Anda , sebaiknya ikuti panduan Mengembangkan Aplikasi dan Fitur AI Generatif yang Bertanggung Jawab pada Windows .