Uma coleção de amostras que demonstram várias maneiras de aprimorar seus aplicativos do Windows usando APIs locais e modelos de aprendizado de máquina (ML), aceleração de hardware local usando DirectML e APIs baseadas em nuvem.
Aprimore seus aplicativos do Windows com IA por meio de APIs locais e modelos de ML
Essas amostras ajudarão você a aprimorar seus aplicativos do Windows com IA usando APIs locais e modelos de machine learning.
Descrição: O Editor de áudio alimentado por IA demonstra a criação de um aplicativo de edição de áudio WinUI 3 que utiliza IA para corresponder trechos de áudio a uma consulta relevante. Um exemplo de caso de uso pode ser um criador de podcast que deseja criar pequenos clipes de áudio de seu conteúdo para promover nas redes sociais. O exemplo usa inferência de modelo de ML local para lidar com transcrição e pesquisa semântica.
Recursos: Inferência de modelo local com runtime ONNX, modelo Whisper, modelo de incorporações
Descrição: Este aplicativo de anotações alimentado por IA demonstra o uso de APIs, incluindo Reconhecimento de Texto por OCR, Transcrição de Áudio por meio de modelo de ML local, Pesquisa Semântica por meio de um modelo de incorporação local, uso de modelo de linguagem local com Phi3 para resumo, preenchimento automático e dissertação de texto e Retrieval Augmented Generation (RAG) para fundamentação de modelos de linguagem para dados reais.
Recursos: Pesquisa semântica com modelo local, transcrição de áudio com modelo local, Retrieval Augmented Generation (RAG) local com Phi3, resumo e dissertação de texto local com Phi3, extração de texto a partir de imagens com API de OCR
Descrição: Esse aplicativo de exemplo WPF demonstra como criar uma experiência com um modelo de linguagem local (como Phi3) para responder a perguntas sobre conteúdo em um documento PDF. O exemplo encontra respostas fazendo referência a uma base de conhecimento fora dos próprios dados de treinamento do modelo antes de gerar uma resposta. Esse padrão, chamado Retrieval Augmented Generation (RAG), é um exemplo de como fundamentar um modelo de linguagem em dados confiáveis do mundo real.
Recursos: Retrieval Augmented Generation (RAG), IA generativa com runtime ONNX, DirectML
Descrição: Este exemplo de aplicativo WinUI 3 demonstra como usar a biblioteca ONNX Runtime Generative AI para criar uma experiência de chat com um modelo de linguagem local, especificamente o Phi3 Small Language Model (SLM).
Descrição: Saiba como controlar os efeitos do Camera Studio a partir do seu aplicativo do Windows neste exemplo de código. Verifique se uma câmera com suporte está disponível no sistema (requer um dispositivo com NPU e câmera interna) e, em seguida, obtém e define controles de câmera estendidos associados ao Windows Studio Effects, como Desfoque de fundo, Correção de olhos vermelhos e Enquadramento automático.
Descrição: Este exemplo ilustra como usar o WebNN com o runtime ONNX na Web para executar o Stable Diffusion localmente na GPU com DirectML. SD-Turbo é um modelo generativo rápido de texto-para-imagem que pode sintetizar imagens fotorrealistas a partir de uma solicitação de texto em uma única avaliação de rede. Na demonstração, você pode gerar uma imagem em 2s em dispositivos AI PC aproveitando a API WebNN, uma API de baixo nível dedicada para aceleração de hardware por inferência de rede neural.
Recursos: Geração de imagem no local, WebNN, DirectML
Descrição: Este exemplo ilustra como usar o WebNN com o runtime ONNX na Web para executar o Segment Anything localmente na GPU com DirectML. Segment Anything é um novo modelo de IA da Meta AI que pode "recortar" qualquer objeto. Na demonstração, você pode segmentar qualquer objeto a partir de suas imagens carregadas.
Recursos: Segmentação de imagem local, WebNN, DirectML
Descrição: Este exemplo ilustra como usar o WebNN com o runtime ONNX na Web para executar os recursos de reconhecimento de fala do modelo Whisper localmente na GPU ou NPU com DirectML. Whisper Base é um modelo pré-treinado para reconhecimento automático de fala (ASR) e tradução de fala. Na demonstração, você pode experimentar o recurso de reconhecimento de fala usando a inferência no dispositivo alimentada pela API WebNN e DirectML, especialmente a aceleração NPU.
Recursos: Reconhecimento de fala local, WebNN, DirectML
Descrição: essa amostra ilustra como executar um modelo de linguagem do ONNX Runtime (ORT) pré-otimizado localmente na GPU com DirectML. A amostra inclui instruções sobre como configurar seu ambiente, baixar os modelos de linguagem pré-treinados mais recentes usando a API ORT Generate e executar o modelo em um aplicativo do Gradio.
Descrição: essa amostra ilustra como executar um modelo de linguagem de PyTorch localmente na GPU com o DirectML. A amostra inclui instruções sobre como configurar seu ambiente, baixar os modelos de linguagem pré-treinados mais recentes e executar o modelo em um aplicativo do Gradio. Essa amostra é compatível com vários modelos de linguagem de código aberto, como modelos Llama, Phi3-mini, Phi2 e Mistral-7B.