Partilhar via

Como implantar a família Phi-3 de modelos de linguagem pequena com o Azure AI Studio

  • Artigo

Importante

Alguns dos recursos descritos neste artigo podem estar disponíveis apenas na visualização. Essa visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

Neste artigo, você aprenderá sobre a família Phi-3 de modelos de linguagem pequena (SLMs). Você também aprende a usar o Azure AI Studio para implantar modelos dessa família como APIs sem servidor com cobrança baseada em token pré-pago.

A família Phi-3 de SLMs é uma coleção de modelos de texto generativo ajustados para instrução. Os modelos Phi-3 são os modelos de linguagem pequena (SLMs) mais capazes e econômicos disponíveis, superando modelos do mesmo tamanho e do tamanho seguinte em vários benchmarks de linguagem, raciocínio, codificação e matemática.

Família de modelos Phi-3

Phi-3 Mini é um 3.8B parâmetros, leve, estado-da-arte modelo aberto. O Phi-3-Mini foi treinado com conjuntos de dados Phi-3 que incluem dados sintéticos e os dados filtrados de sites disponíveis publicamente, com foco em propriedades de alta qualidade e raciocínio denso.

O modelo pertence à família de modelos Phi-3, e a versão Mini vem em duas variantes, 4K e 128K, que denotam o comprimento de contexto (em tokens) que cada variante de modelo pode suportar.

O modelo passou por um rigoroso processo de aprimoramento, incorporando ajuste fino supervisionado e otimização de preferência direta para garantir a aderência precisa das instruções e medidas de segurança robustas. Quando avaliados em relação a benchmarks que testam senso comum, compreensão de linguagem, matemática, código, contexto longo e raciocínio lógico, o Phi-3-Mini-4K-Instruct e o Phi-3-Mini-128K-Instruct apresentaram um desempenho robusto e de última geração entre modelos com menos de 13 bilhões de parâmetros.

Implantar modelos Phi-3 como APIs sem servidor

Certos modelos no catálogo de modelos podem ser implantados como uma API sem servidor com faturamento pré-pago. Esse tipo de implantação fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança e a conformidade corporativas de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.

Pré-requisitos

  • Uma subscrição do Azure com um método de pagamento válido. As subscrições gratuitas ou de avaliação do Azure não funcionarão. Se você não tiver uma assinatura do Azure, crie uma conta paga do Azure para começar.

  • Um hub do Azure AI Studio. A oferta de implantação de modelo de API sem servidor para Phi-3 só está disponível com hubs criados nestas regiões:

    • E.U.A. Leste 2
    • Suécia Central

    Para obter uma lista das regiões disponíveis para cada um dos modelos que suportam implementações de ponto final de API sem servidor, consulte Disponibilidade regional para modelos em pontos finais de API sem servidor.

  • Um projeto do Azure AI Studio.

  • Os controles de acesso baseados em função do Azure (Azure RBAC) são usados para conceder acesso a operações no Azure AI Studio. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Desenvolvedor do Azure AI no grupo de recursos. Para obter mais informações sobre permissões, consulte Controle de acesso baseado em função no Azure AI Studio.

Criar uma nova implantação

Para criar uma implantação:

  1. Entre no Azure AI Studio.

  2. Selecione Catálogo de modelos na barra lateral esquerda.

  3. Procure e selecione o modelo que deseja implantar, por exemplo Phi-3-mini-4k-Instruct, para abrir sua página Detalhes.

  4. Selecione Implementar.

  5. Escolha a opção Serverless API para abrir uma janela de implantação de API sem servidor para o modelo.

  6. Como alternativa, você pode iniciar uma implantação iniciando a partir do seu projeto no AI Studio.

    1. Na barra lateral esquerda do seu projeto, selecione Implantações de componentes>.
    2. Selecione + Criar implantação.
    3. Procure e selecione Phi-3-mini-4k-Instruct para abrir a página Detalhes do modelo.
    4. Selecione Confirmar e escolha a opção Serverless API para abrir uma janela de implantação de API sem servidor para o modelo.

  7. Selecione o projeto no qual você deseja implantar seu modelo. Para implantar o modelo Phi-3, seu projeto deve pertencer a uma das regiões listadas na seção de pré-requisitos .

  8. Selecione a guia Preços e termos para saber mais sobre os preços do modelo selecionado.

  9. Dê um nome à implantação. Esse nome se torna parte da URL da API de implantação. Essa URL deve ser exclusiva em cada região do Azure.

  10. Selecione Implementar. Aguarde até que a implantação esteja pronta e você seja redirecionado para a página Implantações. Esta etapa requer que sua conta tenha as permissões da função Desenvolvedor do Azure AI no Grupo de Recursos, conforme listado nos pré-requisitos.

  11. Selecione Abrir no playground para começar a interagir com o modelo.

  12. Retorne à página Implantações, selecione a implantação e anote a URL de Destino do ponto de extremidade e a Chave Secreta, que você pode usar para chamar a implantação e gerar conclusão. Para obter mais informações sobre como usar as APIs, consulte Referência: Conclusão do bate-papo.

  13. Você sempre pode encontrar os detalhes, a URL e as chaves de acesso do ponto de extremidade navegando até a página de visão geral do projeto. Em seguida, na barra lateral esquerda do seu projeto, selecione Implantações de componentes>.

Consumir modelos Phi-3 como serviço

Os modelos implantados como APIs sem servidor podem ser consumidos usando a API de chat, dependendo do tipo de modelo implantado.

  1. Na página Visão geral do projeto, vá para a barra lateral esquerda e selecione Implantações de componentes>.

  2. Localize e selecione a implantação que você criou.

  3. Copie o URL de destino e o valor da chave .

  4. Faça uma solicitação de API usando a API usando <target_url>/v1/chat/completionso /v1/chat/completions . Para obter mais informações sobre como usar as APIs, consulte a Referência: Conclusão do bate-papo.

Custo e quotas

Considerações sobre custo e cota para modelos Phi-3 implantados como APIs sem servidor

Você pode encontrar as informações de preços na guia Preços e termos do assistente de implantação ao implantar o modelo.

A quota é gerida por implementação. Cada implementação tem um limite de taxa de 200 000 tokens por minuto e 1000 pedidos de API por minuto. No entanto, atualmente, limitamos uma implementação por modelo por projeto. Contacte o Suporte do Microsoft Azure se os limites de taxa atuais não forem suficientes para os seus cenários.

Conteúdos relacionados