Adicionar um recurso de ponto de extremidade do serviço de modelo a um aplicativo Databricks

Adicione pontos de extremidade de serviço de modelo como recursos do Databricks Apps para que seu aplicativo possa consultar modelos de aprendizado de máquina para inferência. Os endpoints de atendimento de modelo gerenciam previsões de modelos e fornecem uma interface consistente para acessar modelos implantados.

Adicionar um recurso de ponto de extremidade do serviço de modelo

Antes de adicionar um ponto de extremidade do serviço de modelo como um recurso, revise os pré-requisitos do recurso do aplicativo.

1. Na seção de recursos do aplicativo, ao criar ou editar um aplicativo, clique em + Adicionar recurso>Modelo.
2. No seletor de recursos, selecione um endpoint de serviço de modelo na seção Serving Endpoints. O seletor também lista serviços de modelo do Unity Gateway em uma seção Unity Gateway.
3. Selecione o nível de permissão apropriado para seu aplicativo:
   • Pode exibir: Exiba metadados de ponto de extremidade, incluindo nomes de modelo, versões e configuração de carga de trabalho. Não é possível enviar solicitações de inferência.
   • Pode consultar: Enviar solicitações de inferência e exibir metadados. Use isso para a maioria dos aplicativos que precisam de previsões de modelo.
   • Pode gerenciar: Controle administrativo completo, incluindo exibição, edição, consulta, exclusão e gerenciamento de permissões.
4. (Opcional) Especifique uma chave de recurso personalizada, que é como você faz referência ao ponto de extremidade de serviço do modelo na configuração do aplicativo. A chave padrão é model.

Observação

O ponto de extremidade do serviço de modelo deve estar em um estado READY para processar solicitações de inferência do seu aplicativo.

Observação

Os pontos de extremidade de serviço de modelo de base gerenciados pelo Azure Databricks (nomes que começam com databricks-) são marcados como Legado no seletor. Para disponibilizar um modelo de base, conecte um serviço de modelo do Unity Gateway.

Variáveis de ambiente

Ao implantar um aplicativo com um recurso de ponto de extremidade do serviço de modelo, o Azure Databricks expõe o nome do ponto de extremidade do serviço por meio de variáveis de ambiente que você pode referenciar usando o campo valueFrom.

Por exemplo:

SERVING_ENDPOINT=<your-serving-endpoint-name>

Para obter mais informações, consulte Usar variáveis de ambiente para acessar recursos.

Remover um recurso de ponto de extremidade do serviço de modelo

Ao remover um recurso de ponto de extremidade do serviço de modelo de um aplicativo, a entidade de serviço do aplicativo perde o acesso ao ponto de extremidade. O modelo que serve o ponto de extremidade em si permanece inalterado e continua disponível para outros usuários e aplicativos que têm permissões apropriadas.

Práticas recomendadas

Considere o seguinte ao trabalhar com recursos de ponto de extremidade do serviço de modelo:

• Conceda permissões mínimas. Use Can view para o menor acesso ou Can query para a maioria dos aplicativos que precisam enviar solicitações de inferência, a menos que seu aplicativo precise executar tarefas administrativas especificamente no ponto de extremidade.
• Evite consultas de longa execução quando possível, pois as solicitações de inferência podem expirar.
• Verifique o status do ponto de extremidade antes de enviar solicitações. Os endpoints devem estar no estado READY para processar consultas.
• Considere limitar a taxa de solicitações de inferência para evitar sobrecarregar o ponto final, especialmente durante períodos de alto tráfego.