Co to jest Windows AI Foundry?

Możliwość rozwijania inteligentnych doświadczeń AI na Windows i z Windows szybko się rozwija. Windows AI Foundry oferuje funkcje oparte na sztucznej inteligencji i APIs na komputerach z systemem Windows 11. Te funkcje są aktywnie opracowywane i uruchamiane lokalnie w tle przez cały czas.

Windows AI Foundry zawiera kilka składników, które mogą umożliwić unikatowe doświadczenia związane ze sztuczną inteligencją.

1. Windows AI APIs: możesz użyć wbudowanej sztucznej inteligencji systemu Windows APIs do integracji usług sztucznej inteligencji dla użytkowników na komputerach Copilot+ . Oto kilka z tych gotowych do użycia funkcji sztucznej inteligencji, które można wykorzystać z poziomu aplikacji systemu Windows:

   • Silica Phi: lokalny, gotowy do użycia model językowy (generowanie tekstu)
   • Obrazowanie sztucznej inteligencji: użyj sztucznej inteligencji, aby skalować i wyostrzać obraz (Super rozdzielczość obrazu), generować tekst opisujący obraz (Opis obrazu), identyfikować obiekty na obrazie (Segmentacja obrazu) i usuwać obiekty z obrazu (wymazywanie obiektów).
   • Text Recognition: używanie sztucznej inteligencji do wykrywania i wyodrębniania tekstu na obrazach i konwertowania go na strumienie znaków czytelnych dla maszyny

2. Foundry Local: popularne modele systemu operacyjnego, które można wykorzystać i ściągnąć do aplikacji

3. Windows ML: umożliwia wnioskowanie sztucznej inteligencji przy użyciu własnego modelu ONNX

4. Narzędzia deweloperskie: narzędzia, takie jak Visual Studio AI Toolkit i Galeria deweloperów sztucznej inteligencji , które pomogą Ci w pomyślnym tworzeniu możliwości sztucznej inteligencji

Jak można używać sztucznej inteligencji w aplikacji systemu Windows?

Oto kilka sposobów wykorzystania modeli uczenia maszynowego (ML) dla aplikacji systemu Windows w celu zwiększenia ich funkcjonalności i środowiska użytkownika przy użyciu sztucznej inteligencji:

• Aplikacje mogą używać modeli generacyjnych sztucznej inteligencji do zrozumienia złożonych tematów podsumowywania, ponownego zapisywania, raportowania lub rozszerzania.
• Aplikacje mogą używać modeli, które przekształcają zawartość bezpłatną w format ustrukturyzowany, który aplikacja może zrozumieć.
• Aplikacje mogą używać modeli wyszukiwania semantycznego, które umożliwiają użytkownikom wyszukiwanie zawartości według znaczenia i szybkie znajdowanie powiązanej zawartości.
• Aplikacje mogą używać modeli przetwarzania języka naturalnego do analizowania złożonych wymagań języka naturalnego oraz planowania i wykonywania działań w celu spełnienia prośby użytkownika.
• Aplikacje mogą używać modeli manipulowania obrazami do inteligentnego modyfikowania obrazów, wymazywania lub dodawania tematów, skalowania w górę lub generowania nowej zawartości.
• Aplikacje mogą używać predykcyjnych modeli diagnostycznych, aby pomóc w identyfikowaniu i przewidywaniu problemów oraz prowadzić użytkownika lub robić to za niego.

Korzystanie ze sztucznej inteligencji APIs systemu Windows w porównaniu z wprowadzaniem własnych modeli

Korzystanie ze sztucznej inteligencji systemu Windows APIs

Gdy lokalny model sztucznej inteligencji jest właściwym rozwiązaniem, możesz użyć sztucznej inteligencji systemu Windows APIs , aby zintegrować usługi sztucznej inteligencji dla użytkowników na komputerach Copilot+ . Są one APIs wbudowane w komputerze i umożliwiają unikatowe funkcje oparte na sztucznej inteligencji przy stosunkowo małym obciążeniu.

Trenowanie własnego modelu

Jeśli masz możliwość trenowania własnego modelu przy użyciu własnych danych prywatnych z platformami takimi jak TensorFlow lub PyTorch. Możesz zintegrować ten model niestandardowy z aplikacją systemu Windows, uruchamiając go lokalnie na sprzęcie urządzenia przy użyciu programu ONNX Runtime i AI Toolkit dla programu Visual Studio Code.

AI Toolkit Dla programu Visual Studio Code to rozszerzenie programu VS Code, które umożliwia pobieranie i uruchamianie modeli sztucznej inteligencji lokalnie, w tym dostęp do przyspieszania sprzętowego w celu uzyskania lepszej wydajności i skalowania za pomocą języka DirectML. AI Tookit może również pomóc w:

• Testowanie modeli w intuicyjnym środowisku zabaw lub w aplikacji przy użyciu interfejsu API REST.
• Dostrajanie modelu sztucznej inteligencji zarówno lokalnie, jak i w chmurze (na maszynie wirtualnej) w celu utworzenia nowych umiejętności, zwiększenia niezawodności odpowiedzi, ustawienia tonu i formatu odpowiedzi.
• Dostrajanie popularnych modeli małych języków (SLMs), takich jak Phi-3 i Mistral.
• Wdróż funkcję sztucznej inteligencji w chmurze lub za pomocą aplikacji działającej na urządzeniu.
• Wykorzystanie przyspieszania sprzętowego w celu uzyskania lepszej wydajności dzięki funkcjom sztucznej inteligencji przy użyciu języka DirectML. DirectML to interfejs API niskiego poziomu, który umożliwia sprzętowi urządzenia z systemem Windows przyspieszenie wydajności modeli uczenia maszynowego przy użyciu procesora GPU lub procesora NPU urządzenia. Parowanie języka DirectML z funkcją ONNX Runtime jest zwykle najprostszym sposobem, w jaki deweloperzy mogą zapewnić użytkownikom sztuczną inteligencję przyspieszaną sprzętowo. Dowiedz się więcej: Omówienie języka DirectML.
• Kwantyzowanie i weryfikacja modelu do użycia na NPU przy wykorzystaniu możliwości konwersji modelu

Możesz również przyjrzeć się tym koncepcjom dostosowywania modelu aby dostosować wstępnie wytrenowany model do danych.

Korzystanie z modeli sztucznej inteligencji w chmurze

Jeśli korzystanie z lokalnych funkcji sztucznej inteligencji nie jest właściwą ścieżką, użycie modeli i zasobów sztucznej inteligencji w chmurze może być rozwiązaniem.

Inne funkcje sztucznej inteligencji

1. Akcje aplikacji w systemie Windows: tworzenie akcji dla aplikacji umożliwiających nowe i unikatowe możliwości sztucznej inteligencji dla użytkowników

2. Recall wykorzystuje sztuczną inteligencję, aby pomóc znaleźć wszystko, co widziałeś na swoim komputerze. "Click to Do to funkcja wspierana przez sztuczną inteligencję, która łączy akcje z zawartością (tekstami lub obrazami) znalezioną przez Recall."

3. Windows Studio Effects wykorzystuje sztuczną inteligencję do stosowania efektów specjalnych do aparatu urządzenia

Korzystanie z praktyk dotyczących odpowiedzialnej sztucznej inteligencji

Za każdym razem, gdy dołączasz funkcje sztucznej inteligencji do swojej aplikacji na Windows, zdecydowanie zalecamy przestrzeganie wytycznych dotyczących tworzenia i wdrażania odpowiedzialnych aplikacji oraz funkcji generatywnej sztucznej inteligencji na Windows.