Usar IA local com Microsoft Foundry on Windows

Microsoft Foundry on Windows reúne Windows AI APIs, Foundry Local e Windows ML para adicionar recursos locais de IA a aplicativos Windows. A documentação anterior usa o nome Windows AI Foundry para este termo guarda-chuva; não é um runtime ou SDK separado.

Microsoft Foundry on Windows fornece aos desenvolvedores...

Independentemente de você ser novo em IA ou um especialista experiente em Machine Learning (ML), Microsoft Foundry on Windows tem algo para você.

Um diagrama mostrando os vários componentes que compõem Microsoft Foundry on Windows (Windows AI APIs, Foundry Local e Windows ML).

APIs e modelos de IA prontos para uso

Seu aplicativo pode usar facilmente os seguintes modelos locais de IA e APIs em menos de uma hora. A distribuição e o runtime dos arquivos de modelo são tratados por Microsoft e os modelos são compartilhados entre aplicativos. Usar esses modelos e APIs usa apenas um punhado de linhas de código, sem necessidade de experiência de ML.

Tipo de modelo ou API O que é Opções e dispositivos com suporte
LLMs (modelos de linguagem grandes) Modelos de texto generativos Phi Silica via AI APIs (dá suporte a ajuste fino) ou mais 20 modelos de LLM do OSS por meio de Foundry Local

Consulte LLMs locais para saber mais.
Descrição da imagem Obter uma descrição de texto em linguagem natural de uma imagem Descrição da imagem por meio de AI APIs (Copilot+ PCs)
Extrator do primeiro plano da imagem Segmentar o primeiro plano de uma imagem Extrator de primeiro plano de imagem via AI APIs (Copilot+ PCs)
Geração de Imagem Gerar imagens de texto Geração de imagem por meio de AI APIs (Copilot+ PCs)
Apagar objeto da imagem Apagar objetos de imagens Apagamento de objeto de imagem por meio de AI APIs (Copilot+ PCs)
Extrator de objetos da imagem Segmentar objetos específicos em uma imagem Extrator de objeto de imagem por meio de AI APIs (Copilot+ PCs)
Super resolução de imagem Aumentar a resolução de imagens Super resolução de imagem por meio de AI APIs (Copilot+ PCs)
Pesquisa Semântica Pesquisar semanticamente texto e imagens Pesquisa de Conteúdo do Aplicativo por meio de AI APIs (Copilot+ PCs)
Reconhecimento de Fala Conversão de fala em texto Sussurrar por meio de Foundry Local ou Reconhecimento de Fala por meio do SDK Windows

Confira o Reconhecimento de Fala para saber mais.
Reconhecimento de Texto (OCR) Reconhecer texto de imagens OCR por meio de AI APIs (Copilot+ PCs)
VSR (Super Resolução de Vídeo) Aumentar a resolução de vídeos Super resolução de vídeo via AI APIs (O suporte a NPU, GPU ou CPU depende do cenário; a seleção ocorre uma vez na criação, com o dispositivo escolhido antes da qualidade). Consulte a seleção e o fallback do dispositivo.

Usando outros modelos com Windows ML

Você pode usar uma ampla variedade de modelos do Hugging Face ou de outras fontes ou até mesmo treinar seus próprios modelos e executá-los localmente em computadores Windows 10 e posteriores usando Windows ML(a compatibilidade e o desempenho do modelo variarão de acordo com o hardware do dispositivo).

Para saber mais, consulte encontrar ou treinar modelos para uso com Windows ML.

Windows ML usa ONNX Runtime com provedores de execução para execução em CPU, GPU e NPU. Ele inclui provedores de CPU e DirectML herdados e pode adquirir provedores de execução do fornecedor de hardware em dispositivos compatíveis. O DirectML é uma opção de execução de GPU, não a camada de aceleração universal para cada Windows ML carga de trabalho ou uma API de NPU.

A execução em CPU e em GPU com DirectML dá suporte às versões do Windows listadas na política de suporte do SDK do Aplicativo Windows. Provedores com otimização de hardware adquiridos dinamicamente exigem Windows 11, versão 24H2 (build 26100) ou posterior, além de drivers e hardware compatíveis. Consulte Windows ML provedores de execução para o provedor e a matriz de versão.

Com qual opção começar

Siga esta árvore de decisão para selecionar a melhor abordagem para seu aplicativo e cenário:

  1. Verifique se os recursos integrados do Windows AI APIs abrangem seu cenário. A maioria dessas APIs são executadas em Copilot+ PCs e algumas, como GPU (Phi Silica), Reconhecimento de Fala e Super Resolução de Vídeo, também são executadas em hardware adicional; consulte a tabela de hardware com suporte para obter detalhes. Este é o caminho mais rápido para o mercado com o mínimo de esforço de desenvolvimento.

  2. Se o Windows AI APIs não tiver o que você precisa ou se precisar oferecer suporte ao Windows 10 e versões posteriores, considere Foundry Local para cenários LLM ou de conversão de voz para texto.

  3. Se você precisar de modelos personalizados, deseja aproveitar os modelos existentes do Hugging Face ou de outras fontes ou tem requisitos de modelo específicos que não são cobertos pelas opções acima, Windows ML oferece a flexibilidade para localizar ou treinar seus próprios modelos (e dá suporte Windows 10 e posterior).

Seu aplicativo também pode usar uma combinação de todas essas três tecnologias.

Tecnologias disponíveis para IA local

As seguintes tecnologias estão disponíveis em Microsoft Foundry on Windows:

  Windows AI APIs Foundry Local Windows ML
O que é isso? Modelos e APIs de IA prontos para uso em uma variedade de tipos de tarefas, mais otimizados para Copilot+ PCs, com alguns também dando suporte a hardware adicional de GPU ou CPU LLMs prontas para uso e modelos de voz para texto ONNX Runtime estrutura para executar modelos que você encontra ou treina
Dispositivos compatíveis Copilot+ PCs para a maioria das APIs; algumas APIs (como Phi Silica em GPU, Reconhecimento de Fala e Super Resolução de Vídeo) também dão suporte a outros computadores Windows 11— consulte a tabela de hardware com suporte PCs Windows 10 e posteriores e multiplataforma

(O desempenho varia de acordo com o hardware disponível, nem todos os modelos estão disponíveis)
Windows 10 e computadores posteriores, além de ser multiplataforma por meio de código abertoONNX Runtime

(O desempenho varia de acordo com o hardware disponível)
Tipos de modelo e APIs disponíveis LLM
Descrição da imagem
Extrator do primeiro plano da imagem
Geração de Imagem
Apagar objeto da imagem
Extrator de objetos da imagem
Super resolução de imagem
Pesquisa Semântica
Reconhecimento de Texto (OCR)
Super resolução de vídeo
LLMs (múltiplos)
voz em texto

Navegue por mais de 20 modelos disponíveis
Localizar ou treinar seus próprios modelos
Distribuição de modelos Hospedado pela Microsoft, adquirido em tempo de execução e compartilhado entre os aplicativos Hospedado pela Microsoft, adquirido em tempo de execução e compartilhado entre os aplicativos Distribuição manipulada pelo aplicativo (bibliotecas de aplicativos podem compartilhar modelos entre aplicativos)
Saiba Mais Ler os AI APIs documentos Ler os Foundry Local documentos Ler os Windows ML documentos

Microsoft Foundry on Windowstambém inclui ferramentas de desenvolvedor, como Foundry Toolkit para Visual Studio Code e a Galeria de Desenvolvimento de IA que ajudarão você a criar recursos de IA com êxito.

Foundry Toolkit para Visual Studio Code é uma Extensão do VS Code que permite baixar e executar modelos de IA localmente, incluindo o acesso à aceleração de hardware para melhorar o desempenho e a escala por meio do DirectML. Também é possível que o Foundry Toolkit o ajude com:

  • Testando modelos em um playground intuitivo ou em seu aplicativo com uma API REST.
  • Ajuste fino seu modelo de IA, localmente ou na nuvem (em uma máquina virtual) para criar novas habilidades, melhorar a confiabilidade das respostas, definir o tom e o formato da resposta.
  • Ajuste fino de modelos populares de linguagem pequena (SLMs), como Phi-3 e Mistral.
  • Implante o recurso de IA na nuvem ou com um aplicativo executado em um dispositivo.
  • Para modelos ONNX personalizados em um aplicativo Windows, use Windows ML e escolha um provedor de execução apropriado para o modelo e o dispositivo. O DirectML fornece um caminho legado de GPU; os provedores do fabricante do hardware fornecem outros caminhos de aceleração de GPU e NPU. Confira Os modelos de IA do Accelerate.
  • Quantificar e validar um modelo para uso na NPU usando os recursos de conversão de modelo

Ideias para aproveitar a IA local

Algumas maneiras que Windows aplicativos podem aproveitar a IA local para aprimorar sua funcionalidade e experiência do usuário incluem:

  • Os aplicativos podem usar modelos LLM de IA Generativa para entender tópicos complexos a fim de resumir, reescrever, relatar ou expandir.
  • Os aplicativos podem usar modelos llm para transformar conteúdo de forma livre em um formato estruturado que seu aplicativo pode entender.
  • Os aplicativos podem usar modelos de Pesquisa Semântica que permitem que os usuários pesquisem conteúdo por meio do significado e encontrem rapidamente o conteúdo relacionado.
  • Os aplicativos podem usar modelos de processamento de linguagem natural para raciocinar sobre requisitos complexos de linguagem natural e planejar e executar ações para realizar a solicitação do usuário.
  • Os aplicativos podem usar modelos de manipulação de imagem para modificar imagens de forma inteligente, apagar ou adicionar elementos, aumentar a resolução ou gerar novo conteúdo.
  • Os aplicativos podem usar modelos de diagnóstico preditivo para ajudar a identificar e prever problemas e ajudar a orientar o usuário ou fazer isso por eles.

Usando modelos de IA de nuvem

Se usar recursos locais de IA não for o caminho certo para você, usar modelos e recursos de IA de nuvem pode ser uma solução.

Usar práticas de IA responsável

Sempre que você estiver incorporando recursos de IA em seu aplicativo Windows, recomendamos seguir as diretrizes do documento Desenvolvendo Aplicações e Funcionalidades de IA Generativa Responsáveis no Windows.