Resumo
Neste módulo, explorou o fluxo de trabalho completo para selecionar, implementar e avaliar Modelos Foundry. Aprendeu a tomar decisões informadas sobre a seleção de modelos usando benchmarks, a implementar modelos nos endpoints e a avaliar o seu desempenho através de várias abordagens de avaliação.
Principais conclusões
O portal Microsoft Foundry fornece acesso ao catálogo de modelos, com mais de 1.900 modelos de fornecedores como Microsoft, OpenAI, Meta, Mistral e Hugging Face. Uma filtragem eficaz por coleção, capacidades, opções de implementação e outros atributos ajuda-o a restringir o catálogo a modelos que correspondam aos seus requisitos.
Os benchmarks de modelos oferecem comparações objetivas entre dimensões de qualidade, segurança, custo e desempenho. Métricas de qualidade como precisão, coerência e fluência avaliam quão bem os modelos geram respostas adequadas. As métricas de segurança identificam riscos em torno de conteúdos nocivos. Os parâmetros de custo ajudam a equilibrar a qualidade com as limitações orçamentais. Métricas de desempenho como latência e throughput indicam capacidade de resposta para aplicações em tempo real.
As opções de implementação incluem API sem servidor para flexibilidade de cobrança por chamada, implementações provisionadas para cargas de trabalho de alto volume consistentes, computação gerida para hospedagem baseada em VM e processamento em lotes para trabalhos não interativos otimizados para custos. Cada opção oferece características diferentes para escalabilidade, faturação e controlo.
Os testes no playground fornecem feedback imediato sobre o comportamento do modelo sem necessidade de escrever código. Pode experimentar prompts, ajustar parâmetros e observar respostas para compreender as capacidades do modelo antes de integrar nas aplicações.
As abordagens de avaliação vão desde testes manuais até métricas automatizadas. A avaliação manual capta aspetos subjetivos de qualidade como a satisfação do utilizador e a adequação contextual. Métricas assistidas por IA avaliam automaticamente a qualidade da geração e os riscos de segurança. Métricas de NLP, tais como a pontuação F1 e o ROUGE, fornecem comparações matemáticas com dados reais.
Os fluxos abrangentes de avaliação no portal Microsoft Foundry permitem-lhe realizar avaliações sistemáticas usando conjuntos de dados de teste e múltiplas métricas. Os resultados identificam pontos fortes, fracos e áreas que necessitam de melhorias, orientando o desenvolvimento iterativo das suas aplicações de IA generativa.
Próximos passos
Com os modelos implementados e avaliados, considere os próximos passos:
Integrar modelos em aplicações utilizando os SDKs, APIs REST e exemplos de código fornecidos no portal Microsoft Foundry. As suas aplicações podem agora consumir modelos implementados através de chamadas API autenticadas.
Implemente o Retrieval Augmented Generation (RAG) para fundamentar as respostas do modelo nos dados da sua organização. O RAG combina modelos com capacidades de pesquisa para fornecer respostas precisas e contextualmente relevantes, baseadas nos seus documentos e bases de conhecimento.
Aplique serviços Azure AI Content Safety para adicionar uma camada adicional de proteção contra conteúdos nocivos. Filtros de conteúdo podem bloquear entradas e saídas inadequadas, complementando as características de segurança ao nível do modelo.
Ajuste os modelos (quando suportados) no seu domínio ou caso de uso específico para melhorar o desempenho em cenários especializados. O ajuste fino adapta modelos de uso geral às suas necessidades únicas.
Monitorizar o desempenho em produção utilizando Azure Monitor e Application Insights para acompanhar o uso, latência, custos e erros. A monitorização contínua garante que as suas aplicações se mantêm saudáveis e com desempenho.
Itera com base no feedback dos utilizadores , recolhendo dados de utilização do mundo real e realizando reavaliações periódicas. A melhoria contínua mantém as suas aplicações de IA generativa alinhadas com as necessidades dos utilizadores.
As competências que desenvolveu neste módulo — selecionar modelos adequados, implementá-los eficazmente e avaliar o seu desempenho — formam a base para construir aplicações robustas e de alta qualidade em IA generativa usando o Microsoft Foundry.