O que é um Genie Space

Um Genie Space é uma interface de chat de linguagem natural específica do domínio em Azure Databricks em que os usuários fazem perguntas sobre seus dados e recuperam consultas SQL, tabelas de resultados e visualizações. Os analistas de dados organizam cada espaço com conjuntos de dados registrados no Unity Catalog, consultas SQL de exemplo, expressões SQL para a semântica de negócios e instruções de texto adaptadas à terminologia da organização.

O Genie Spaces faz parte da família Genie de experiências de IA. Os usuários empresariais que desejam uma única interface de chat entre ativos de dados, dashboards e aplicativos devem usar o Genie. Desenvolvedores e profissionais técnicos que desejam um assistente de IA para escrever código, gerar pipelines e criar painéis devem usar o Genie Code. Para detalhes sobre privacidade, confiabilidade e segurança, consulte Confiabilidade e segurança dos recursos assistivos de IA do Databricks.

Visão geral

Especialistas em domínio, como analistas de dados, configuram o Genie Spaces com conjuntos de dados, consultas de exemplo e diretrizes de texto para ajudar o Genie a traduzir perguntas de negócios em consultas analíticas. Após a instalação, os usuários empresariais podem fazer perguntas e gerar visualizações para entender os dados operacionais. Você pode atualizar continuamente o conhecimento semântico do Genie à medida que seus dados são alterados e os usuários fazem novas perguntas. Para obter informações adicionais sobre os recursos da IA do Databricks, consulte os recursos assistenciais de IA do Databricks.

O Genie seleciona nomes e descrições relevantes de tabelas e colunas anotadas para converter perguntas de linguagem natural em uma consulta SQL equivalente. Em seguida, ele responde com a consulta gerada e a tabela de resultados, se possível. Se o Genie não puder gerar uma resposta, ele poderá fazer perguntas de acompanhamento para esclarecer antes de fornecer uma resposta.

Exemplos de casos de uso

Você pode criar espaços Genie diferentes para atender a vários públicos não técnicos. Os cenários a seguir descrevem dois possíveis casos de uso.

Exemplo 1: Visualizar o produto mais vendido

Um gerente de vendas quer entender o produto mais vendido ao longo do tempo em sua padaria. Eles podem interagir com o Genie Space usando a linguagem natural e gerar automaticamente uma visualização.

O GIF a seguir mostra essa interação:

Gif com pergunta de exemplo, resposta e visualização gerada automaticamente

Exemplo 2: logística de rastreamento

Uma empresa de logística deseja usar o Genie Spaces para ajudar usuários empresariais de diferentes departamentos a acompanhar detalhes operacionais e financeiros. Eles criaram um Genie Space para seus gerentes de instalações de remessa para acompanhar os embarques e outro para seus executivos financeiros entenderem sua saúde financeira.

Quais dados devo usar?

Um Genie Space é baseado em dados registrados no Unity Catalog, incluindo tabelas gerenciadas, tabelas externas, tabelas estrangeiras, visões, visões de métricas e visões materializadas. O Genie usa os metadados anexados aos objetos do Catálogo do Unity, bem como um repositório de conhecimento em nível de espaço com curadoria de autor, para gerar respostas. Conjuntos de dados bem anotados, emparelhados com instruções específicas que você fornece, são fundamentais para criar uma experiência positiva para os usuários finais.

Observação

O Genie funciona apenas com dados estruturados. Ele não pode responder perguntas sobre dados não estruturados, como PDFs, documentos Word ou outro conteúdo baseado em arquivo. Para dar ao Genie acesso a documentos não estruturados, use Chat no Genie, que pode se conectar a fontes de documentos externas, como Google Drive ou SharePoint.

Envios de arquivo

Importante

Esse recurso está em Visualização Pública.

Os uploads de arquivo permitem que os usuários misturem seus arquivos CSV e Excel locais com dados do Catálogo do Unity para responder a perguntas. Para habilitar uploads de arquivos, entre em contato com sua equipe de conta do Databricks. Para obter mais informações, consulte Carregar um arquivo em um Genie Space.

Como funciona o Genie Spaces

O Genie Spaces usa um sistema de IA composto para interpretar perguntas de negócios e gerar respostas. Em vez de usar um único modelo de linguagem grande, os sistemas de IA compostos processam tarefas em aplicativos de IA combinando vários componentes de interação. Os sistemas compostos de IA são um padrão de design cada vez mais comum para aplicativos de IA devido ao seu desempenho e flexibilidade. Para obter mais informações, consulte a mudança de modelos para sistemas de IA compostos.

Suporte ao idioma

Você pode usar o Genie Spaces em idiomas diferentes do inglês, como português e francês. No entanto, a estrutura subjacente do agente envolve prompts em inglês.

O Databricks recomenda que os criadores de espaço adicionem o máximo de metadados possível em sua linguagem de escolha. Às vezes, as respostas do Genie podem aparecer em inglês devido aos prompts do sistema subjacentes.

O que é um repositório de conhecimento do Genie Space?

O repositório de conhecimento do Genie Space permite que os autores:

  • Edite metadados localmente: Os autores do Genie podem adicionar metadados específicos do espaço aos ativos de dados. Por exemplo, ele pode incluir informações específicas da empresa relevantes para como o espaço é usado. Isso inclui descrições de metadados de tabela e coluna, sinônimos de nível de coluna e recursos de correspondência de prompt, que o Genie consulta ao gerar respostas. Uma camada de metadados detalhada ajuda o Genie a recuperar as informações corretas e produzir resultados mais precisos.

  • Forneça instruções estruturadas e refinadas: Os autores podem definir JOIN relações entre tabelas, para ensinar o Genie a criar SQL em várias tabelas.

Veja a qualidade do Tune Genie Space.

Como o Genie Spaces gera uma resposta?

Quando um usuário envia uma pergunta, o Genie analisa a solicitação, identifica fontes de dados relevantes e determina como gerar uma resposta apropriada. Os detalhes fornecidos pelos autores, combinados com comentários relevantes do Catálogo do Unity, metadados e valores de exemplo de colunas selecionadas, permitem que o Genie infera lógica técnica e comercial. Para obter mais informações, consulte os recursos assistenciais de IA do Databricks, confiança e segurança e correspondência de prompts. O Genie filtra de forma inteligente exemplo de consultas SQL, metadados de tabela e coluna e histórico de chat para selecionar o contexto mais relevante para responder à solicitação.

O Genie gera respostas usando componentes como o seguinte:

  • Metadados de tabela do Catálogo do Unity: inclui nomes de tabela, descrições e relações de chave primária definida (PK) e FK (chave estrangeira). O Genie usa esses dados à medida que analisa a solicitação e converte o prompt de linguagem natural em SQL.
  • Nomes de coluna e descrições: o Genie filtra de forma inteligente os nomes de coluna e descrições relevantes a serem incluídos.
  • Contexto do repositório de conhecimento: os autores podem editar os metadados do ativo localmente e escolher colunas que fornecem valores relevantes para o Genie. Isso ajuda o Genie a gerar respostas mais precisas e não altera os metadados existentes do Catálogo do Unity. Consulte Criar um repositório de conhecimento.
  • Exemplo de consultas SQL: o Genie seleciona de forma inteligente exemplos de SQL relevantes de consultas SQL.
  • Funções SQL: todas as funções SQL que foram adicionadas no espaço.
  • Instruções: as notas de texto sem formatação fornecidas como instruções gerais são incluídas como contexto.
  • Histórico de solicitações e respostas: as solicitações e respostas do chat atual são incluídas como contexto. Se necessário, por causa das limitações de token definidas , as partes mais antigas do registro de chat serão excluídas.

Observação

Alguns detalhes da tabela, como o proprietário e o tamanho da tabela, não são incluídos por padrão. Para acessar essas informações, use exibições do esquema de informações disponíveis para todos os catálogos do Unity Catalog. As exibições padrão podem incluir detalhes desnecessários, portanto, criar uma exibição personalizada em cima disso pode ajudar a se concentrar nas informações específicas de que você precisa. Para obter mais informações sobre o que está disponível no esquema de informações, consulte Esquema de informações.

Em muitos casos, o Genie gera uma consulta SQL que é executada no SQL Warehouse do espaço. As consultas geradas são sempre somente leitura. As novas tentativas são tratadas automaticamente e o SQL warehouse trata a simultaneidade e a escala. O conjunto de resultados é apresentado como parte da resposta.

O Genie mantém fortes controles de segurança e privacidade. Para obter detalhes, consulte os recursos assistenciais de IA do Databricks com confiança e segurança.

Melhorar a precisão da resposta usando Inspecionar

Importante

Esse recurso está em Visualização Pública.

Inspect usa o raciocínio avançado para revisar e melhorar a precisão das consultas SQL geradas pelo Genie. Ao habilitar a Inspeção para obter uma resposta, Genie:

  1. Analisa a consulta SQL gerada inicialmente.
  2. Autores de instruções SQL menores para verificar aspectos específicos da consulta, como:
    • A confirmação dos valores de filtro corretos está incluída.
    • Validando a lógica do intervalo de datas, como janelas de 7 dias finais.
    • Verificando as condições de junção e as agregações.
  3. Identifica lacunas ou possíveis problemas na consulta original.
  4. Se os problemas forem identificados, gerará uma consulta SQL aprimorada que os resolve.
  5. Executa uma comparação final entre as consultas originais e aprimoradas.
  6. Retorna a consulta que responde com maior precisão à sua pergunta.

Use Inspeção quando quiser mais confiança na precisão da consulta, especialmente para consultas complexas que envolvem filtros, intervalos de datas ou várias tabelas.

Configurar um Genie Space

Você poderá criar um Genie Space se tiver o seguinte:

  • A habilitação SQL do Databricks.
  • Pelo menos pode usar a permissão em um SQL Warehouse profissional ou sem servidor.
  • No mínimo SELECT privilégios em um ou mais objetos de dados do Unity Catalog.

Consulte Criar e gerenciar um Genie Space.

Espaços complementares do Genie para painéis de IA/BI (Visualização Pública)

Você pode usar prompts de linguagem natural para gerar visualizações para painéis de IA/BI com o Genie Code. Consulte Usar o Genie Code para criação de dashboard.

Quando você cria um painel, o Databricks cria automaticamente um Genie Space complementar que permite aos usuários empresariais realizar análises de dados de autoatendimento usando linguagem natural. Consulte Genie Spaces com painéis.

Interagir com um Genie Space

As equipes de negócios são os usuários finais de um Genie Space. Para usar um Genie Space, os usuários corporativos devem ter:

  • O acesso do consumidor ou o direito ao Databricks SQL.
  • Pelo menos SELECT privilégios em todos os objetos de dados do Unity Catalog utilizados no espaço. Os usuários só veem dados que têm permissão para acessar.

As consultas são executadas usando as credenciais de computação inseridas pelo autor que configurou o warehouse. Os usuários finais não precisam de permissões diretas do warehouse.

Os usuários empresariais podem ajudar a curar um espaço testando-o e fornecendo feedback durante o desenvolvimento. Para saber mais sobre como os usuários empresariais podem começar a trabalhar com um Genie Space, consulte Usar um Genie Space para explorar dados de negócios.

Ativos confiáveis

Os ativos confiáveis transmitem uma camada extra de garantia na precisão de um resultado para um usuário de espaço. Quando o texto exato de uma consulta de exemplo parametrizada ou função SQL é usado para gerar uma resposta, o Genie marca a resposta como Confiável. Consulte ativos confiáveis para saber mais sobre ativos confiáveis e trabalhar com consultas parametrizadas.

Avalie as respostas com parâmetros de comparação

Os parâmetros de comparação permitem escalar verticalmente o teste e a avaliação de respostas individuais em um Genie Space. Ao contrário das instruções, os parâmetros de comparação devem avaliar, não informar, o Genie Space. O Genie não usa perguntas de referência ou SQL de exemplo para aprimorar o contexto do Genie.

Usando parâmetros de comparação, você pode executar uma coleção de perguntas de teste e usar as respostas para medir a precisão do Genie. Opcionalmente, você pode incluir uma instrução SQL que retorna os resultados esperados. Quando a pergunta de parâmetro de comparação é executada, a resposta do Genie é comparada aos resultados fornecidos pela instrução SQL e pontuada para precisão. A pergunta será marcada para revisão se nenhuma resposta SQL tiver sido fornecida.

Consulte Benchmarks.

Como funciona o acesso a dados

O acesso a dados em um Genie Space é regido pelo Catálogo do Unity. Quando um usuário faz uma pergunta, a consulta SQL gerada é executada nos dados usando as credenciais de computação inseridas pelo autor do espaço (o SQL Warehouse configurado). As permissões de dados do Catálogo do Unity de cada usuário são aplicadas aos resultados da consulta. Os usuários só veem dados que estão autorizados a acessar. Qualquer pergunta sobre dados que eles não podem acessar retorna uma resposta vazia.

Isso significa:

  • Você não precisa conceder aos usuários permissões diretas no armazém de dados.
  • Filtros de linha e máscaras de coluna definidos no Catálogo do Unity são automaticamente impostos para cada usuário.
  • Para implementar a filtragem de dados por usuário, aplique a segurança em nível de linha às tabelas subjacentes no Catálogo do Unity. Veja Filtros de linha e máscaras de coluna.

Para obter informações sobre como configurar permissões de usuário para um Genie Space, consulte Compartilhar um Espaço do Genie.

Privacidade e segurança

O acesso a dados em um Genie Space é regido pelo Unity Catalog, incluindo todos os filtros de linha e máscaras de coluna aplicadas às suas tabelas. Consulte o controle de acesso a dados e filtros de linha e máscaras de coluna.

Para outras perguntas frequentes sobre privacidade e segurança, consulte as perguntas frequentes sobre privacidade e segurança para recursos assistenciais de IA.

Recursos adicionais

  • Last updated on