Windows Copilot Runtime Visão geral

A pilha do Microsoft Copilot no Windows democratiza a capacidade de experimentar, construir e alcançar pessoas com experiências inovadoras de IA, colocando o desenvolvedor no controle. O Copilot no Windows aparece como uma barra lateral encaixada na área de trabalho do Windows e foi projetado para ajudar os usuários a fazer tarefas no sistema operacional (como alterar as configurações do Windows). Consulte Gerenciar o Copilot no Windows para saber mais sobre como configurar o Copilot no Windows para ambientes comerciais.

O Windows Copilot Runtime introduz novas formas de interação com o sistema operacional que utiliza IA, como o Phi Silica, o Small Language Model (SLM) criado pela Microsoft Research, que é capaz de oferecer muitos dos mesmos recursos encontrados em LLMs (Large Language Models), porém mais compacto e eficiente, para poder ser executado localmente no Windows.

Como desenvolvedor, você pode integrar seus aplicativos a experiências do Windows da plataforma AI, como Recall e Studio Effects, utilizar as novas APIs alimentadas por modelos no dispositivo por meio da Windows Copilot Library, descobrir modelos de machine learning (ML) para ajustar seus próprios dados personalizados usando AI Toolkit no Visual Studio Code, integrar seus próprios modelos de ML usando estruturas como ONNX Runtime, PyTorch ou WebNN e acessar a aceleração de hardware para obter melhor desempenho e escala com o DirectML.

Windows Copilot Runtime e Windows Copilot Library

Há inovações que usam IA para melhorar e redefinir a experiência do Windows, com algumas inovações de IA incorporadas diretamente ao uso do Windows e outras disponíveis para os desenvolvedores de aplicativos integrarem aos recursos de seus aplicativos. Essas novas maneiras de integrar a IA em um aplicativo do Windows formam a Windows Copilot Library, uma lista de APIs e recursos prontos para uso com suporte de IA, incluindo:

• Studio Effects: aprimora os recursos de câmera e áudio de dispositivos Windows com efeitos de plano de fundo alimentados por IA, correção de contato visual, enquadramento automático, foco de voz, desfoque, iluminação e filtros criativos executados na NPU do dispositivo para manter velocidades de desempenho rápidas.
• Recall: torna as atividades anteriores no seu dispositivo Windows pesquisáveis, para que você possa continuar de onde parou, seja usando um aplicativo, editando um documento ou respondendo a um email.
• Phi Silica: permite que seu aplicativo se conecte ao modelo Phi no dispositivo para tarefas de processamento de linguagem natural (bate-papo, matemática, código, dissertação) usando o SDK de Aplicativos Windows.
• Text Recognition: o Reconhecimento Óptico de Caracteres, ou OCR, permite a extração de texto de imagens e documentos. Imagine tarefas como converter um PDF, documento em papel ou imagem de um quadro branco da sala de aula em texto digital editável.
• Live Caption Translations: ajuda todos no Windows, incluindo aqueles que são surdos ou com deficiência auditiva, a entender melhor o áudio visualizando legendas de conteúdo falado, mesmo quando o conteúdo de áudio está em um idioma diferente do idioma preferido do sistema.

Os desenvolvedores poderão acessar essas APIs como parte do SDK de Aplicativos Windows.

Além das APIs apoiadas por IA prontas para uso no Windows Copilot Library, oferecemos orientação sobre como aprimorar seu aplicativo usando modelos de machine learning (ML). Isso abrange tópicos como:

• Como os aplicativos do Windows podem aproveitar os modelos de ML?
• Onde posso encontrar modelos de ML de código aberto na Web?
• Como posso otimizar um modelo de ML para utilizar na minha aplicação Windows?
• Como posso ajustar um modelo de ML com meus próprios dados personalizados?
• Como posso aproveitar a aceleração de hardware para obter um melhor desempenho com recursos de IA?

Liderar com responsabilidade e exemplos

Também criamos recursos para apoiar nossos desenvolvedores que buscam integrar a IA em seus aplicativos do Windows, fornecendo uma Galeria de Exemplos, um guia para o uso responsável de IA e algumas perguntas frequentes de alto nível que podem ajudar a descompactar algumas das terminologias e conceitos.

• Galeria de Exemplos de IA no Windows: exemplos que demonstram maneiras de integrar a IA em aplicativos do Windows.

• Desenvolvimento de aplicativos e recursos de IA generativa responsável no Windows: recursos e orientações para ajudá-lo a trabalhar com IA no Windows e incorporar IA de forma responsável em seus aplicativos do Windows.

• Perguntas frequentes sobre o uso de IA com o Windows: perguntas frequentes sobre terminologia e conceitos relacionados ao uso de IA em um contexto Windows, abrangendo perguntas como "O que é DirectML?", "O que é ONNX?", "O que é ORT?", "O que é uma NPU?", "O que é um SLM?", "O que é inferência?", "O que é ajuste fino?", etc.

Introdução à adição de modelos ao seu aplicativo do Windows

• Introdução ao Phi3 e a outros modelos de linguagem em seu aplicativo do Windows com o OnnxRuntime Generative AI
• Introdução aos modelos do ONNX no aplicativo do WinUI com o ONNX Runtime