Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Microsoft Foundry on Windows é a principal solução para desenvolvedores que procuram integrar os recursos de IA local em seus aplicativos do Windows.
Microsoft Foundry on Windows fornece aos desenvolvedores...
- Modelos e APIs de IA prontos para uso por meio do Windows AI APIs e Foundry Local
- Estrutura de inferência de IA para executar qualquer modelo localmente por meio de Windows ML
Independentemente de você ser novo em IA ou especialista em ML (Machine Learning) experiente, Microsoft Foundry on Windows tem algo para você.
APIs e modelos de IA prontos para uso
Seu aplicativo pode usar facilmente os seguintes modelos locais de IA e APIs em menos de uma hora. A distribuição e o runtime dos arquivos de modelo são tratados pela Microsoft e os modelos são compartilhados entre aplicativos. Usar esses modelos e APIs usa apenas um punhado de linhas de código, sem necessidade de experiência de ML.
| Tipo de modelo ou API | O que é | Opções e dispositivos com suporte |
|---|---|---|
| LlMs (modelos de linguagem grandes) | Modelos de texto generativos | Phi Silica via AI APIs (dá suporte a ajuste fino) ou mais 20 modelos de LLM do OSS por meio de Foundry Local Consulte LLMs locais para saber mais. |
| Descrição da Imagem | Obter uma descrição de texto em linguagem natural de uma imagem | Descrição da imagem por meio de AI APIs (em PCs com Copilot+) |
| Extrator de primeiro plano de imagem | Segmentar o primeiro plano de uma imagem | Extrator de primeiro plano de imagem via AI APIs (Copilot+ PCs) |
| Geração de Imagem | Gerar imagens de texto | Geração de imagem por meio de AI APIs (Copilot+ PCs) |
| Apagamento de objeto de imagem | Apagar objetos de imagens | Apagamento de objeto de imagem por meio de AI APIs (Copilot+ PCs) |
| Extrator de objeto de imagem | Segmentar objetos específicos em uma imagem | Extrator de objeto de imagem por meio de AI APIs (Copilot+ PCs) |
| Super resolução de imagem | Aumentar a resolução de imagens | Super resolução de imagem por meio de AI APIs (Copilot+ PCs) |
| Pesquisa Semântica | Pesquisar semanticamente texto e imagens | Pesquisa de Conteúdo do Aplicativo por meio de AI APIs (Copilot+ PCs) |
| Reconhecimento de Fala | Conversão de fala em texto | Sussurrar via Foundry Local ou reconhecimento de fala por meio do SDK do Windows Confira o Reconhecimento de Fala para saber mais. |
| OCR (Reconhecimento de Texto) | Reconhecer texto de imagens | OCR via AI APIs (Copilot+ PCs) |
| VsR (Super Resolução de Vídeo) | Aumentar a resolução de vídeos | Super resolução de vídeo via AI APIs (Copilot+ PCs) |
Usando outros modelos com Windows ML
Você pode usar uma ampla variedade de modelos do Hugging Face ou de outras fontes, ou até mesmo treinar seus próprios modelos e executá-los localmente em computadores Windows 10+ Windows ML.
Confira encontrar ou treinar modelos para uso com Windows ML e saiba mais.
Com qual opção começar
Siga esta árvore de decisão para selecionar a melhor abordagem para seu aplicativo e cenário:
Verifique se os Windows AI APIs integrados cobrem seu cenário e se estão destinados a PCs Copilot+. Este é o caminho mais rápido para o mercado com o mínimo de esforço de desenvolvimento.
Se o Windows AI APIs não tiver o que você precisa ou se você precisar dar suporte ao Windows 10+, considere Foundry Local para cenários de LLM ou de conversão de voz em texto.
Se você precisar de modelos personalizados, deseja aproveitar os modelos existentes do Hugging Face ou de outras fontes ou tem requisitos de modelo específicos que não são cobertos pelas opções acima, Windows ML oferece a flexibilidade para encontrar ou treinar seus próprios modelos.
Seu aplicativo também pode usar uma combinação de todas essas três tecnologias.
Tecnologias disponíveis para IA local
As seguintes tecnologias estão disponíveis em Microsoft Foundry on Windows:
| Windows AI APIs | Foundry Local | Windows ML | |
|---|---|---|---|
| O que é | ApIs e modelos de IA prontos para uso em uma variedade de tipos de tarefas, otimizados para PCs Copilot+ | LLMs prontas para uso e modelos de voz para texto | ONNX Runtime estrutura para executar modelos que você encontra ou treina |
| Dispositivos com suporte | PCs com Copilot+ | Todos os computadores Windows 10+ e multiplataforma (O desempenho varia de acordo com o hardware disponível, nem todos os modelos disponíveis) |
Todos os computadores Windows 10+ e multiplataforma por meio de software livre ONNX Runtime (O desempenho varia de acordo com o hardware disponível) |
| Tipos de modelo e APIs disponíveis |
LLM Descrição da Imagem Extrator de primeiro plano de imagem Geração de Imagem Apagamento de objeto de imagem Extrator de objeto de imagem Super resolução de imagem Pesquisa Semântica OCR (Reconhecimento de Texto) Super resolução de vídeo |
LLMs (múltiplos) voz em texto Navegue por mais de 20 modelos |
Localizar ou treinar seus próprios modelos |
| Distribuição de modelo | Hospedado pela Microsoft, adquirido em tempo de execução e compartilhado entre aplicativos | Hospedado pela Microsoft, adquirido em tempo de execução e compartilhado entre aplicativos | Distribuição manipulada pelo aplicativo (bibliotecas de aplicativos podem compartilhar modelos entre aplicativos) |
| Saiba mais | Ler os AI APIs documentos | Ler os Foundry Local documentos | Ler os Windows ML documentos |
Microsoft Foundry on Windows também inclui ferramentas de desenvolvedor, como AI Toolkit para o Visual Studio Code e a Galeria de Desenvolvimento de IA que ajudarão você a criar recursos de IA com êxito.
AI Toolkit do Visual Studio Code é uma extensão do VS Code que permite baixar e executar modelos de IA localmente, incluindo o acesso à aceleração de hardware para melhorar o desempenho e a escala por meio de DirectML. Também é possível que o AI Toolkit o ajude com:
- Testando modelos em um playground intuitivo ou em seu aplicativo com uma API REST.
- Ajuste fino seu modelo de IA, localmente ou na nuvem (em uma máquina virtual) para criar novas habilidades, melhorar a confiabilidade das respostas, definir o tom e o formato da resposta.
- Ajuste fino de modelos populares de linguagem pequena (SLMs), como Phi-3 e Mistral.
- Implante o recurso de IA na nuvem ou com um aplicativo executado em um dispositivo.
- Aproveite a aceleração de hardware para melhorar o desempenho com os recursos de IA usando o DirectML. O DirectML é uma API de baixo nível que permite que o hardware do dispositivo Windows acelere o desempenho de modelos de ML usando a GPU ou a NPU do dispositivo. O emparelhamento do DirectML com o ONNX Runtime normalmente é a maneira mais simples para os desenvolvedores levarem a IA acelerada por hardware para seus usuários em escala. Saiba mais: Visão Geral do DirectML.
- Quantificar e validar um modelo para uso na NPU usando os recursos de conversão de modelo
Ideias para aproveitar a IA local
Algumas maneiras pelas quais os aplicativos do Windows podem aproveitar a IA local para aprimorar a funcionalidade e a experiência do usuário incluem:
- Os aplicativos podem usar modelos LLM de IA Generativa para entender tópicos complexos a fim de resumir, reescrever, relatar ou expandir.
- Os aplicativos podem usar modelos llm para transformar conteúdo de forma livre em um formato estruturado que seu aplicativo pode entender.
- Os aplicativos podem usar modelos de Pesquisa Semântica que permitem que os usuários pesquisem conteúdo por meio do significado e encontrem rapidamente o conteúdo relacionado.
- Os aplicativos podem usar modelos de processamento de linguagem natural para raciocinar sobre requisitos complexos de linguagem natural e planejar e executar ações para realizar a solicitação do usuário.
- Os aplicativos podem usar modelos de manipulação de imagem para modificar imagens de forma inteligente, apagar ou adicionar elementos, aumentar a resolução ou gerar novo conteúdo.
- Os aplicativos podem usar modelos de diagnóstico preditivo para ajudar a identificar e prever problemas e ajudar a orientar o usuário ou fazer isso por eles.
Usando modelos de IA de nuvem
Se usar recursos locais de IA não for o caminho certo para você, usar modelos e recursos de IA de nuvem pode ser uma solução.
Usar práticas de IA responsável
Sempre que você for incorporar recursos de IA em seu aplicativo do Windows, recomendamos enfaticamente que siga as diretrizes em Desenvolvendo aplicativos e recursos de IA generativa responsável no Windows.