Escolha o modelo de idioma certo para o Edge RAG Preview habilitado pelo Azure Arc

Analise as opções de modelo disponíveis e entenda os requisitos do modelo para escolher o modelo de idioma certo para sua implantação do Edge RAG. Este artigo faz parte da lista de verificação de pré-requisitos de implantação.

Importante

A Pré-visualização do Edge RAG, ativada pelo Azure Arc, está atualmente em Pré-visualização. Consulte os Termos de Utilização Complementares das Visualizações Prévias do Microsoft Azure para obter os termos legais que se aplicam às funcionalidades do Azure que estão em beta, em pré-visualização ou que ainda não foram lançadas para disponibilidade geral.

Selecione um modelo de idioma

Decida qual modelo de idioma sua organização deseja implantar. Você pode usar seu próprio modelo de idioma ou usar um dos modelos de idioma fornecidos pela Microsoft.

Depois que a extensão Edge RAG for implantada, não será possível alterar o modelo de linguagem. Portanto, trabalhe com sua equipe de desenvolvimento de aplicativos para decidir qual é o modelo certo para o caso de uso da sua organização.

Pode consultar alguns destes recursos da Microsoft para escolher o modelo certo para o seu caso de utilização:

• Blog: Como escolher os modelos certos para seus aplicativos | Azure AI
• Vídeo: Como escolher os modelos certos para as suas aplicações | Azure AI - YouTube
• O Azure AI Foundry também fornece ferramentas, como benchmarks de modelo, para escolher o modelo certo.

Modelos de idioma fornecidos pela Microsoft

Se você não tiver seu próprio modelo de idioma para usar com o Edge RAG, selecione um dos seguintes modelos de idioma fornecidos pela Microsoft ao implantar a extensão Edge RAG:

• Microsoft Phi 3.5 Mini
• Mistral 7B

Traga o seu próprio modelo linguístico

O Edge RAG funciona com modelos de linguagem pequena (SLM) ou modelos de linguagem grande (LLM) que expõem pontos de extremidade que suportam a API de inferência OpenAI. Configure esses modelos localmente usando o operador de cadeia de ferramentas de IA do Kubernetes (KAITO) ou mecanismos semelhantes. O Edge RAG também pode trabalhar com modelos OpenAI no Azure que precisam de autenticação baseada em chave de API.

Se você planeja usar seu próprio modelo de idioma com o Edge RAG, deve concluir as etapas nos seguintes artigos:

• Antes de implantar o Edge RAG, crie um ponto de extremidade a ser usado para a implantação do Edge RAG.
• Depois de implantar a extensão Edge RAG, configure a autenticação de ponto de extremidade "BYOM" para o Edge RAG.

Próximo passo

Se optar por:

• Use um modelo de idioma fornecido pela Microsoft, consulte Verificar o acesso ao servidor NFS para o Edge RAG.
• Utilize o seu próprio modelo de idioma, consulte Crie um ponto de extremidade para utilização com o Edge RAG.