Introdução ao Foundry Local

O Foundry Local permite a execução local de LLMs (modelos de linguagem grande) diretamente em seu dispositivo Windows, como parte do Microsoft Foundry no Windows. Essa é uma boa alternativa se você quiser ir mais fundo e implementar um cenário de IA que não esteja disponível com as APIs de IA do Windows.

Essa solução de inferência de IA no dispositivo fornece privacidade, personalização e benefícios de custo em comparação com alternativas baseadas em nuvem. O melhor de tudo é que ele se encaixa em seus fluxos de trabalho e aplicativos existentes com uma CLI fácil de usar e a API REST.

Note

A documentação completa do Foundry Local , incluindo instalação, gerenciamento de modelos, a API REST e referência do SDK, é mantida na documentação Fábrica de IA do Azure. O link a seguir leva você até lá. Você pode usar o botão voltar do navegador ou o caminho de navegação para retornar aos documentos de IA do Windows a qualquer momento.

Se você não tiver certeza se o Foundry Local é a opção certa para o seu cenário, consulte Escolha sua solução de IA do Windows antes de continuar.

Para obter mais informações sobre o Foundry Local, consulte a documentação do Foundry Local.