Consultar LLMs e agentes no Azure Databricks

Azure Databricks fornece várias maneiras de consultar LLMs (modelos de linguagem grandes), modelos de base e agentes implantados. Escolha uma interface do usuário interativa, SQL, APIs REST ou bibliotecas de cliente, dependendo do fluxo de trabalho.

Laboratório de IA

O AI Playground é um ambiente de chat sem código em seu workspace Azure Databricks para solicitar e comparar LLMs. Use-o para experimentar prompts, ajustar parâmetros como temperatura e número máximo de tokens, e criar protótipos de agentes com chamada de ferramentas e bots de perguntas e respostas lado a lado antes de passar para o código.

Enriqueça dados com Funções de IA

AI Functions são funções SQL internas que aplicam LLMs e outros modelos a dados armazenados em Azure Databricks. Execute-os no Databricks SQL, em notebooks, no Lakeflow Spark Declarative Pipelines ou em fluxos de trabalho para classificar tickets de suporte, extrair entidades de documentos, resumir conteúdo ou traduzir texto em lote e em escala.

Escolha entre dois estilos de funções:

• Funções específicas para tarefas, como ai_classify, ai_extract e ai_parse_document, são otimizadas para uma única tarefa e usam sistemas gerenciados pelo Azure Databricks e embasados por pesquisa.
• ai_query é a função para uso geral — forneça seu próprio prompt e escolha qualquer modelo fundamental suportado. Consulte Use ai_query.

Para obter um exemplo de ponta a ponta, consulte Analisar análises de clientes usando o AI Functions.

Agentes de consulta

Depois de compilar e implantar um agente, faça consultas ao agente no seu aplicativo. Os agentes podem ser hospedados no Databricks Apps ou em endpoints do Mosaic AI Model Serving. Azure Databricks dá suporte a três métodos de consulta:

• Cliente Do Databricks OpenAI – recomendado para novos aplicativos, com streaming nativo e suporte a recursos completos.
• A API REST compatível com OpenAI — independente de linguagem, funciona com qualquer plataforma que já fale a API OpenAI.
• ai_query — consulte agentes legados hospedados em endpoints do Model Serving no SQL.

Modelos de base

Mosaic AI Model Serving hospeda modelos fundamentais abertos, gerenciados pelo Azure Databricks e externos por meio de uma API unificada. Escolha a opção de implantação que se ajuste à carga de trabalho:

• Pague por token — consulte endpoints pré-configurados no seu espaço de trabalho, sem necessidade de compromisso com infraestrutura. Bom para experimentação.
• Capacidade de processamento provisionada — implante modelos refinados com serviço otimizado e garantias de desempenho em produção.
• External models — roteia solicitações para provedores como OpenAI ou Anthropic por meio da governança Azure Databricks.