O que é um espaço AI/BI Genie

Esta página apresenta o AI/BI Genie, um recurso do Azure Databricks que permite que as equipes de negócios interajam com seus dados usando linguagem natural. Ele usa IA generativa adaptada à terminologia e aos dados da sua organização, com a capacidade de monitorar e refinar seu desempenho por meio do feedback dos usuários.

Descrição geral

Especialistas em domínio, como analistas de dados, configuram espaços do Genie com conjuntos de dados, consultas de exemplo e diretrizes de texto para ajudar o Genie a traduzir perguntas de negócios em consultas analíticas. Após a configuração, os usuários corporativos podem fazer perguntas e gerar visualizações para entender os dados operacionais. Você pode atualizar continuamente o conhecimento semântico do Genie à medida que seus dados mudam e os usuários fazem novas perguntas. Para obter informações adicionais sobre os recursos baseados em IA do Databricks, consulte Recursos alimentados por IA do Databricks.

O A/BI Genie seleciona nomes e descrições relevantes de tabelas e colunas anotadas para converter perguntas de linguagem natural em uma consulta SQL equivalente. Em seguida, ele responde com a consulta gerada e a tabela de resultados, se possível. Se o Genie não conseguir gerar uma resposta, ele pode fazer perguntas de acompanhamento para esclarecer antes de fornecer uma resposta.

Exemplos de casos de utilização

Você pode criar diferentes espaços Genie para atender a vários públicos não técnicos. Os cenários a seguir descrevem dois possíveis casos de uso.

Exemplo 1: Visualizar o status da oportunidade

Um gerente de vendas quer obter o estado atual de oportunidades abertas e fechadas por estágio no seu funil de vendas. Eles podem interagir com o espaço Genie usando linguagem natural e gerar automaticamente uma visualização.

O gif a seguir mostra essa interação:

Exemplo 2: Logística de rastreamento

Uma empresa de logística quer usar os espaços Genie para ajudar os usuários empresariais de diferentes departamentos a rastrear detalhes operacionais e financeiros. Eles criaram um espaço Genie para seus gerentes de instalações de embarque rastrearem as remessas e outro para seus executivos financeiros entenderem sua saúde financeira.

Que dados devo utilizar?

Um espaço Genie é baseado em dados registrados no Unity Catalog, incluindo tabelas gerenciadas, tabelas externas, tabelas estrangeiras, visualizações, visualizações métricas e visualizações materializadas. O A/BI Genie usa os metadados anexados aos objetos do Unity Catalog, bem como um armazenamento de conhecimento no nível do espaço com curadoria do autor, para gerar respostas. Conjuntos de dados bem anotados, combinados com instruções específicas que você fornece, são fundamentais para criar uma experiência positiva para os usuários finais.

Carregamentos de ficheiros

Importante

Este recurso está no Public Preview.

Os uploads de arquivos permitem que os usuários misturem seus arquivos CSV e Excel locais com dados do Catálogo Unity para responder a perguntas. Para habilitar o upload de arquivos, entre em contato com a equipe da sua conta Databricks. Para obter mais informações, consulte Carregar um arquivo.

Como funciona o Genie

O Genie usa um sistema de IA composto para interpretar perguntas de negócios e gerar respostas. Em vez de usar um único modelo de linguagem grande, os sistemas compostos de IA processam tarefas em aplicativos de IA combinando vários componentes interagindo. Os sistemas compostos de IA são um padrão de design cada vez mais comum para aplicações de IA devido ao seu desempenho e flexibilidade. Para obter mais informações, consulte A mudança de modelos para sistemas compostos de IA.

Qual é a loja de conhecimento da Genie?

Os autores do Genie podem adicionar metadados específicos da empresa e do espaço diretamente aos ativos de dados em um espaço do Genie. Isso inclui descrições de metadados de tabelas e colunas, sinônimos em nível de coluna, valores amostrados e dicionários de valores, que o Genie consulta ao gerar respostas. Uma camada de metadados detalhada ajuda o Genie a recuperar as informações corretas e produzir resultados mais precisos.

Como o Genie gera uma resposta?

Quando um usuário envia uma pergunta, o Genie analisa a solicitação, identifica fontes de dados relevantes e determina como responder ao prompt. Os detalhes fornecidos pelos autores, combinados com os metadados do Catálogo Unity, permitem que o Genie infera a lógica comercial e técnica. O Genie filtra de forma inteligente exemplos de consultas SQL, metadados de tabelas e colunas e histórico de bate-papo para selecionar as informações mais relevantes para responder à solicitação.

O Genie usa os seguintes componentes para gerar respostas:

• Metadados da tabela do Catálogo Unity: Inclui nomes de tabelas, descrições e relações de chave primária (PK) e chave estrangeira (FK) definidas. O Genie usa esses dados enquanto analisa a solicitação e converte o prompt de linguagem natural em SQL.
• Nomes e descrições de colunas: o Genie filtra de forma inteligente os nomes e descrições de colunas relevantes a serem incluídos.
• Contexto do repositório de conhecimento: os autores podem editar localmente metadados de tabela para ativos usados em um espaço do Genie. Isso ajuda o Genie a gerar respostas mais precisas e não altera os metadados existentes do Unity Catalog. Consulte Configurar e gerenciar um espaço de IA/BI Genie.
• Exemplos de consultas SQL: o Genie seleciona de forma inteligente exemplos SQL relevantes de Consultas SQL.
• Funções SQL: Todas as funções SQL que foram adicionadas no espaço.
• Instruções: As notas de texto simples fornecidas como Instruções gerais são incluídas como contexto.
• Histórico de solicitações e respostas: Solicitações e respostas do bate-papo atual são consideradas como parte do contexto. Se necessário, devido aos limites de tokens, as partes mais antigas do histórico de chat são excluídas.

Nota

Alguns detalhes da tabela, como o proprietário e o tamanho da tabela, não são incluídos por padrão. Para aceder a estas informações, utilize as visualizações do esquema de informação disponíveis para todos os catálogos do Unity Catalog. Os modos de exibição padrão podem incluir detalhes desnecessários, portanto, criar um modo de exibição personalizado sobre isso pode ajudar a se concentrar nas informações específicas de que você precisa. Para obter mais informações sobre o que está disponível no esquema de informações, consulte Esquema de informações.

Em muitos casos, o Genie gera uma consulta SQL que é executada no armazém SQL do espaço. As consultas geradas são sempre somente leitura. As novas tentativas são tratadas automaticamente e o SQL warehouse lida com simultaneidade e escala. O conjunto de resultados é apresentado como parte da resposta.

Configurar um espaço para o Genie

Você pode criar um espaço Genie se tiver:

• A permissão de acesso ao Databricks SQL.
• Pelo menos PODE USAR permissão em um SQL warehouse profissional ou sem servidor.
• Pelo menos SELECT privilégios em um ou mais objetos de dados do Unity Catalog.

Consulte Configurar e gerenciar um espaço de IA/BI Genie.

Interaja com um espaço Genie

As equipas empresariais são os utilizadores finais de um espaço Genie. Para usar um espaço Genie, os usuários corporativos devem ter:

• O acesso do consumidor ou o direito ao Databricks SQL.
• Pelo menos a permissão "CAN USE" no armazém padrão designado para o espaço Genie.
• Pelo menos SELECT privilégios em todos os objetos de dados do Unity Catalog utilizados no ambiente.

Os utilizadores empresariais podem ajudar a organizar um espaço testando-o e fornecendo feedback durante o desenvolvimento. Para saber mais sobre como os utilizadores empresariais podem começar a trabalhar com um espaço Genie, consulte Utilizar um espaço Genie para explorar dados empresariais.

Ativos confiáveis

Ativos confiáveis transmitem uma camada extra de garantia na precisão de um resultado para um usuário do espaço. Quando o texto exato de uma consulta de exemplo parametrizada ou função SQL é usado para gerar uma resposta, o Genie marca a resposta como Confiável. Consulte Usar ativos confiáveis em espaços do AI/BI Genie para saber mais sobre ativos confiáveis. Consulte Usar parâmetros em consultas SQL para saber mais sobre como trabalhar com consultas parametrizadas.

Avalie as respostas com benchmarks

Os benchmarks permitem ampliar os testes e a avaliação de respostas individuais em um espaço Genie. Ao contrário das instruções, os benchmarks destinam-se a avaliar, e não a informar, o seu espaço Genie. O Genie não usa perguntas de benchmark ou SQL de exemplo para melhorar o contexto do Genie.

Usando benchmarks, você pode executar uma coleção de perguntas de teste e usar as respostas para medir a precisão do Genie. Opcionalmente, você pode incluir uma instrução SQL que retorna os resultados esperados. Quando a pergunta de benchmark é executada, a resposta do Genie é comparada com os resultados fornecidos pela instrução SQL e pontuada quanto à precisão. A pergunta é marcada para revisão se nenhuma resposta SQL tiver sido fornecida.

Consulte Usar benchmarks em um espaço Genie.

Privacidade e segurança

P: Qual modelo o Genie usa?

O Genie é um recurso alimentado por IA Databricks. Ele usa um sistema composto de IA que combina o uso de modelos de IA, recuperação, classificação e sistemas de personalização para entender os dados e os padrões de uso da sua organização. Para saber mais, consulte Recursos baseados em IA do Databricks.

P: Que dados estão a ser enviados para o modelo?

O Genie usa seu prompt, metadados e valores relevantes da tabela, erros, bem como código de entrada ou consultas ao gerar uma resposta.

Para processar respostas, o Genie usa o seguinte:

• O prompt de linguagem natural enviado pelo usuário
• Nomes e descrições de tabelas
• Títulos de colunas, descrições e valores de exemplo
• Instruções gerais
• Exemplo de consultas SQL
• Funções SQL

P: O Azure OpenAI armazena meus dados?

N.º Ao usar modelos do Azure OpenAI por meio do Databricks, a Microsoft não armazena prompts ou respostas por qualquer período de tempo em qualquer nível, nem mesmo em logs de rede. Tal inclui dados que seriam normalmente utilizados para a monitorização de abusos. O Databricks optou por não participar do monitoramento de abuso e da revisão humana do Azure OpenAI, portanto, a Microsoft não retém nem inspeciona nenhum dado enviado pelo Genie. Para obter mais informações, consulte a documentação da Microsoft.

P: Onde as respostas do Genie são armazenadas?

As respostas do Genie são armazenadas no plano de controle do Azure Databricks.

P: A filtragem em nível de linha é suportada em um espaço Genie?

Sim, os privilégios concedidos no Unity Catalog controlam quais usuários podem acessar objetos de dados específicos. Se filtros de linha ou máscaras de coluna forem aplicados a um objeto de dados, eles controlarão quais valores serão retornados no conjunto de resultados. Consulte os filtros de linha e as máscaras de coluna.

P: Como é que o meu tráfego é encaminhado através de Geos?

• O Genie está implantado nos EUA, na UE, na AUS e na Índia.

• O roteamento de tráfego depende da sua região e se o processamento geográfico cruzado está habilitado (Impor processamento de dados no espaço de trabalho A geografia dos serviços designados está desativada):

  • UE: O tráfego transita sempre pela UE, independentemente do processamento geográfico cruzado.
  • EUA: O tráfego sempre passa pelos EUA, independentemente do processamento geográfico cruzado.
  • Índia e AUS:
    • Se o processamento geográfico cruzado estiver desativado: é garantido que o tráfego permanecerá na sua região.
    • Se o processamento geográfico cruzado estiver habilitado: o tráfego é sempre encaminhado através dos EUA.
  • Todas as outras regiões:
    • Se o processamento geográfico cruzado estiver desativado: o Genie não funcionará.
    • Se o processamento geográfico cruzado estiver habilitado: rotas de tráfego através dos EUA.