Serviço de modelo com o Azure Databricks

Artigo
04/11/2024

Este artigo descreve o Serviço de Modelo do Azure Databricks, incluindo suas vantagens e limitações.

O que é o Model Serving?

O Serviço de Modelo do Databricks fornece uma interface unificada para implantar, governar e consultar modelos de IA. Cada modelo que você atende está disponível como uma API REST que você pode integrar ao seu aplicativo Web ou cliente.

O Serviço de Modelo fornece um serviço altamente disponível e de baixa latência para implantar modelos. O serviço aumenta ou reduz verticalmente automaticamente para atender às alterações de demanda, economizando custos de infraestrutura ao otimizar o desempenho de latência. Essa funcionalidade usa computação sem servidor. Consulte a página preços do Serviço de Modelo para obter mais detalhes.

O serviço de modelo dá suporte ao serviço:

Modelos personalizados. Estes são modelos python empacotados no formato MLflow. Eles podem ser registrados no Catálogo do Unity ou no registro de modelo de workspace. Os exemplos incluem modelos de transformador scikit-learn, XGBoost, PyTorch e Hugging Face.
Modelos abertos de última geração disponibilizados pelas APIs de Modelos de Base. Esses modelos são arquiteturas de modelo de base com curadoria que dão suporte à inferência otimizada. Modelos base, como Llama-2-70B-chat, BGE-Large e Mistral-7B, estão disponíveis para uso imediato com preço de pagamento por token e cargas de trabalho que exigem garantias de desempenho e variantes de modelo ajustadas podem ser implantadas com taxa de transferência provisionada.
Modelos externos. Estes são modelos que são hospedados fora do Databricks. Os pontos de extremidade que atendem modelos externos podem ser controlados centralmente e os clientes podem estabelecer limites de taxa e controle de acesso para eles. Exemplos incluem modelos de base como GPT-4 da OpenAI, Claude da Antropic e outros.

Observação

Você pode interagir com modelos de linguagem grandes com suporte usando o Playground de IA. O Playground de IA é um ambiente semelhante ao chat em que você pode testar, solicitar e comparar LLMs. Essa funcionalidade está disponível no workspace do Azure Databricks.

O serviço de modelo oferece uma API REST unificada e uma API de Implantação do MLflow para tarefas CRUD e consulta. Além disso, ele fornece uma única interface do usuário para gerenciar todos os seus modelos e seus respectivos pontos de extremidade de serviço. Você também pode acessar modelos diretamente do SQL usando funções de IA para facilitar a integração aos fluxos de trabalho de análise.

Para obter um tutorial introdutório sobre como fornecer modelos personalizados no Azure Databricks, consulte Tutorial: Implantar e consultar um modelo personalizado.

Para obter um tutorial de introdução sobre como consultar um modelo de base no Databricks, confira Introdução à consulta de LLMs no Databricks.

Por que usar o Serviço de Modelo?

Implantar e consultar quaisquer modelos: o fornecimento de modelo fornece uma interface unificada para que você possa gerenciar todos os modelos em apenas um local e consultá-los com apenas uma API, independentemente de eles estarem hospedados no Databricks ou externamente. Essa abordagem simplifica o processo de experimentar, personalizar e implantar modelos em produção em várias nuvens e provedores.
Personalize modelos com segurança com seus dados privados: criado em uma Plataforma de Inteligência de Dados, o fornecimento de modelo simplifica a integração de recursos e inserções em modelos por meio da integração nativa com o Databricks Feature Store e o Databricks Vector Store. Para maior precisão e compreensão contextual, os modelos podem ser ajustados com os dados proprietários e implantados sem esforço no fornecimento de modelo.
Controlar e monitorar modelos: gerencie centralmente todos os pontos de extremidade de modelo em apenas um lugar, incluindo aqueles hospedados externamente. Você pode gerenciar permissões, acompanhar e definir limites de uso e monitorar a qualidade de todos os tipos de modelos. Isso permite democratizar o acesso ao SaaS e abrir LLMs em sua organização, garantindo que os guardrails apropriados estejam em vigor.
Reduza o custo com inferência otimizada e dimensionamento rápido: o Databricks implementou uma variedade de otimizações para garantir que você obtenha a melhor taxa de transferência e latência para modelos grandes. Os pontos de extremidade são escalados ou reduzidos verticalmente automaticamente para atender às alterações de demanda, economizando custos de infraestrutura ao otimizar o desempenho de latência.
Traga confiabilidade e segurança para o fornecimento de modelo: o fornecimento de modelo foi projetado para uso de produção de alta disponibilidade e baixa latência e pode dar suporte a mais de 25 mil consultas por segundo com uma latência de sobrecarga inferior a 50 ms. As cargas de trabalho de serviço são protegidas por várias camadas de segurança, garantindo um ambiente seguro e confiável até mesmo para as tarefas mais confidenciais.

Requisitos

Modelo registrado no Catálogo do Unity ou no Registro de Modelo do Workspace.
Permissões nos modelos registrados, conforme descrito em Servindo ACLs de pontos de extremidade.
MLflow 1.29 ou superior

Habilitar o Serviço de Modelo no seu workspace

Nenhuma etapa adicional é necessária para habilitar o Serviço de Modelo em seu workspace.

Limitações e disponibilidade de região

O Serviço de Modelo do Databricks impõe limites padrão para garantir um desempenho confiável. Veja Limites e regiões do serviço de modelo. Se tiver comentários sobre esses limites ou um ponto final numa região sem suporte, contacte a sua equipa de conta Databricks.

Proteção de dados no Serviço de Modelo

O Databricks leva a segurança de dados a sério. O Databricks entende a importância dos dados que você analisa usando o Serviço de Modelo do Databricks e implementa os seguintes controles de segurança para proteger seus dados.

Cada solicitação do cliente para Model Serving é logicamente isolada, autenticada e autorizada.
O Serviço de Modelo do Databricks criptografa todos os dados inativos (AES-256) e em trânsito (TLS 1.2+).

Para todas as contas pagas, o Serviço de Modelo do Databricks não usa entradas de usuário enviadas ao serviço ou saídas do serviço para treinar modelos ou melhorar os serviços do Databricks.

Para APIs de Modelo do Databricks Foundation, como parte do fornecimento do serviço, o Databricks pode processar e armazenar temporariamente entradas e saídas para fins de prevenção, detecção e mitigação de abusos ou usos prejudiciais. Suas entradas e saídas são isoladas das de outros clientes, armazenadas na mesma região que seu workspace por até trinta (30) dias e só podem ser acessadas para detectar e responder a questões de segurança ou abuso.