Wprowadzenie do lokalnego programu Foundry

Usługa Foundry Local umożliwia lokalne wykonywanie dużych modeli językowych (LLM) bezpośrednio na urządzeniu Windows w ramach Microsoft Foundry na Windows. Jest to dobra alternatywa, jeśli chcesz bardziej szczegółowo zaimplementować scenariusz sztucznej inteligencji, który nie jest dostępny w interfejsach API sztucznej inteligencji systemu Windows.

To rozwiązanie wnioskowania sztucznej inteligencji na urządzeniu zapewnia korzyści związane z prywatnością, dostosowywaniem i kosztami w porównaniu z alternatywami opartymi na chmurze. Najlepiej, że pasuje do istniejących przepływów pracy i aplikacji za pomocą łatwego w użyciu interfejsu wiersza polecenia i interfejsu API REST.

Note

Pełna dokumentacja dotycząca lokalnego rozwiązania Foundry — w tym instalacji, zarządzania modelami, interfejsu API REST i dokumentacji zestawu SDK — jest przechowywana w dokumentacji Azure AI Foundry. Link poniżej prowadzi Cię tam. Użyj przycisku Wstecz przeglądarki lub nawigacji ścieżkowej, aby wrócić do dokumentacji Windows AI w dowolnym momencie.

Jeśli nie masz pewności, czy Foundry Local jest właściwym wyborem dla danego scenariusza, zobacz Choose your Windows AI solution przed kontynuowaniem.

Aby uzyskać więcej informacji na temat lokalnego narzędzia Foundry, zobacz dokumentację usługi Foundry Local.