Qu’est-ce qu’un espace AI/BI Genie

Cette page présente AI/BI Genie, une fonctionnalité Azure Databricks qui permet aux équipes d’entreprise d’interagir avec leurs données à l’aide du langage naturel. Il utilise l’IA générative adaptée à la terminologie et aux données de votre organisation, avec la possibilité de surveiller et d’affiner ses performances par le biais des commentaires des utilisateurs.

Vue d’ensemble

Les experts du domaine, notamment les analystes de données, configurent les espaces Genie avec des jeux de données, des exemples de requêtes et des directives textuelles afin d’aider Genie à traduire les questions professionnelles en requêtes analytiques. Une fois cette configuration effectuée, les utilisateurs métier peuvent poser des questions et générer des visualisations pour comprendre les données opérationnelles. Vous pouvez mettre à jour en permanence les connaissances sémantiques de Genie à mesure que vos données changent et que les utilisateurs posent de nouvelles questions. Pour plus d’informations sur les fonctionnalités basées sur l’IA Databricks, consultez les fonctionnalités optimisées pour l’IA Databricks.

AI/BI Genie sélectionne les noms et descriptions pertinents dans les tables et colonnes annotées pour convertir les questions en langage naturel en requête SQL équivalente. Ensuite, il répond avec la requête générée et la table de résultats, si possible. Si Genie ne peut pas générer de réponse, il peut poser des questions de suivi pour clarifier avant de fournir une réponse.

Exemples de cas d’utilisation

Vous pouvez créer différents espaces Génie pour servir différents publics non techniques. Les scénarios suivants décrivent deux cas d’usage possibles.

Exemple 1 : Visualiser l’état des opportunités

Un responsable des ventes souhaite obtenir l’état actuel des opportunités ouvertes et fermées par phase dans son pipeline de ventes. Il peut interagir avec l’espace Genie en utilisant du langage naturel et générer automatiquement une visualisation.

L’image gif suivante montre cette interaction :

Exemple 2 : Suivi de la logistique

Une société de logistique veut utiliser des espaces Genie pour aider les utilisateurs métier de différents départements à suivre les informations opérationnelles et financières. Ils ont mis en place un espace Genie pour que leurs gestionnaires d’installations d’expédition puissent suivre les expéditions et un autre pour que leurs cadres financiers puissent comprendre leur situation financière.

Quelles données dois-je utiliser ?

Un espace Génie est basé sur les données inscrites dans le catalogue Unity, notamment les tables gérées, les tables externes, les tables étrangères, les vues, les vues métriques et les vues matérialisées. AI/BI Genie utilise les métadonnées attachées aux objets catalogue Unity, ainsi qu’une base de connaissances au niveau de l’espace organisée par l’auteur, pour générer des réponses. Des jeux de données annotés correctement, associés à des instructions spécifiques que vous fournissez, sont essentiels pour la création d’une expérience positive pour les utilisateurs finaux.

Chargements de fichiers

Importante

Cette fonctionnalité est disponible en préversion publique.

Les chargements de fichiers permettent aux utilisateurs de fusionner leurs fichiers CSV et Excel locaux avec les données du catalogue Unity pour répondre aux questions. Pour activer les chargements de fichiers, contactez votre équipe de compte Databricks. Pour plus d’informations, consultez Charger un fichier.

Fonctionnement de Genie

Genie utilise un système d’IA composé pour interpréter les questions métier et générer des réponses. Au lieu d’utiliser un seul modèle de langage volumineux, les systèmes IA composés traitent les tâches dans les applications IA en combinant plusieurs composants interagissants. Les systèmes IA composés sont un modèle de conception de plus en plus courant pour les applications IA en raison de leurs performances et de leur flexibilité. Pour plus d’informations, consultez The Shift from Models to Compound AI Systems.

Qu’est-ce que la base de connaissances de Genie ?

Les auteurs de Genie peuvent ajouter des métadonnées spécifiques à l’entreprise et à l’espace directement aux actifs de données dans un espace Genie. Cela inclut les descriptions des métadonnées de table et de colonne, les synonymes au niveau des colonnes, les valeurs échantillonnée et les dictionnaires de valeurs, que Genie consulte lors de la génération de réponses. Une couche de métadonnées détaillée permet à Genie de récupérer les informations correctes et de produire des résultats plus précis.

Comment Genie génère-t-il une réponse ?

Lorsqu’un utilisateur envoie une question, Genie analyse la demande, identifie les sources de données pertinentes et détermine comment répondre à l’invite. Les détails fournis par les auteurs, combinés avec les métadonnées du catalogue Unity, permettent à Genie de déduire à la fois la logique métier et technique. Genie filtre intelligemment des exemples de requêtes SQL, de métadonnées de table et de colonne, ainsi que l’historique des conversations pour sélectionner les informations les plus pertinentes pour répondre à la demande.

Genie utilise les composants suivants pour générer des réponses :

• Métadonnées de la table catalogue Unity : inclut les noms de tables, les descriptions et les relations de clé primaire définie (PK) et de clé étrangère (FK). Genie utilise ces données pour analyser la requête et convertir l’invite de langage naturel en SQL.
• Noms de colonnes et descriptions : Genie filtre intelligemment les noms de colonnes et les descriptions pertinentes à inclure.
• Contexte de la base de connaissances : les auteurs peuvent modifier localement les métadonnées de table pour les ressources utilisées dans un espace Génie. Cela permet à Genie de générer des réponses plus précises et ne modifie pas les métadonnées existantes du catalogue Unity. Voir Configurer et gérer un espace AI/BI Genie.
• Exemples de requêtes SQL : Genie sélectionne intelligemment des exemples SQL pertinents à partir de requêtes SQL.
• fonctions SQL: toutes les fonctions SQL qui ont été ajoutées dans l’espace.
• Instructions: les notes en texte brut fournies en tant que instructions générales sont incluses en tant que contexte.
• Historique des requêtes et des réponses: Les requêtes et les réponses de la conversation actuelle sont incluses en tant que contexte. Si nécessaire, en raison des limites des jetons , les parties les plus anciennes de l’enregistrement de conversation sont exclues.

Remarque

Certains détails de table, tels que le propriétaire et la taille de la table, ne sont pas inclus par défaut. Pour accéder à ces informations, utilisez des vues à partir du schéma d’informations disponible pour tous les catalogues catalogue Unity. Les vues par défaut peuvent inclure des détails inutiles. Par conséquent, la création d’une vue personnalisée peut vous aider à vous concentrer sur les informations spécifiques dont vous avez besoin. Pour plus d’informations sur les éléments disponibles dans le schéma d’informations, consultez Schéma d’informations.

Dans de nombreux cas, Genie génère une requête SQL qui s’exécute sur l’entrepôt SQL de l’espace. Les requêtes générées sont toujours en lecture seule. Les nouvelles tentatives sont gérées automatiquement, tandis que l’entrepôt de données SQL gère la simultanéité et la mise à l’échelle. Le jeu de résultats est présenté dans le cadre de la réponse.

Configurer un espace Génie

Vous pouvez créer un espace Génie si vous avez :

• Droits Databricks SQL.
• Au moins une autorisation CAN USE sur un entrepôt SQL pro ou serverless.
• Au moins des privilèges SELECT sur un ou plusieurs objets de données Unity Catalog.

Voir Configurer et gérer un espace AI/BI Genie.

Interagir avec un espace Génie

Les équipes professionnelles sont les utilisateurs finaux d’un espace Génie. Pour utiliser un espace Genie, les utilisateurs professionnels doivent avoir :

• Le droit d'accès consommateur ou l'autorisation Databricks SQL.
• Au moins une autorisation CAN USE sur l’entrepôt par défaut désigné pour l’espace Genie.
• Au moins des privilèges SELECT sur tous les objets de données Unity Catalog utilisés dans l’espace.

Les utilisateurs professionnels peuvent aider à organiser un espace en le testant et en fournissant des commentaires pendant le développement. Pour en savoir plus sur la façon dont les utilisateurs professionnels peuvent commencer à utiliser un espace Génie, consultez Utiliser un espace Génie pour explorer les données métier.

Ressources approuvées

Les actifs de confiance apportent une couche supplémentaire d’assurance quant à la précision d’un résultat pour un utilisateur spatial. Lorsque le texte exact d’une requête d’exemple paramétrable ou d’une fonction SQL est utilisé pour générer une réponse, Genie marque la réponse comme approuvée. Pour en savoir plus sur les ressources approuvées, consultez Utiliser des ressources approuvées dans les espaces AI/BI Genie . Consultez Utiliser des paramètres dans les requêtes SQL pour en savoir plus sur l’utilisation des requêtes paramétrables.

Évaluer les réponses avec des points de référence

Les points de référence vous permettent d’effectuer un scale-up des tests et de l’évaluation des réponses individuelles dans un espace Genie. Contrairement aux instructions, les points de références sont destinés à évaluer, pas à informer, votre espace Genie. Genie n’utilise pas de questions de benchmark ou d’exemple SQL pour améliorer le contexte de Genie.

À l’aide de benchmarks, vous pouvez exécuter une collection de questions de test et utiliser les réponses pour mesurer la précision de Genie. Si vous le souhaitez, vous pouvez inclure une instruction SQL qui retourne les résultats attendus. Lorsque la question de référence s’exécute, la réponse de Genie est comparée aux résultats fournis par l’instruction SQL et notée pour la précision. La question est marquée pour révision si aucune réponse SQL n’a été fournie.

Consultez Utiliser des points de référence dans un espace Genie.

Confidentialité et sécurité

Q : Quel modèle Genie utilise-t-il ?

Genie est une fonctionnalité alimentée par l’IA Databricks. Il utilise un système IA composé qui combine l’utilisation de modèles IA, de récupération, de classement et de systèmes de personnalisation pour comprendre les données et les modèles d’utilisation de votre organisation. Pour découvrir plus d’informations, consultez Fonctionnalités basées sur l’intelligence artificielle Databricks.

Q : Quelles données sont envoyées au modèle ?

Genie utilise votre demande, les métadonnées pertinentes et les valeurs de table, les erreurs, ainsi que le code d'entrée et/ou les requêtes lors de la génération d'une réponse.

Pour traiter les réponses, Genie utilise les éléments suivants :

• Invite de langage naturel envoyée par l’utilisateur
• Noms et descriptions des tables
• Titres de colonne, descriptions et exemples de valeurs
• Instructions générales
• Exemples de requêtes SQL
• Fonctions SQL

Q : Azure OpenAI stocke-t-il mes données ?

Non. Lors de l’utilisation de modèles Azure OpenAI via Databricks, Microsoft ne stocke pas d’invites ni de réponses pendant toute période, à tout niveau, même pas dans les journaux réseau. Cela inclut les données qui seraient normalement utilisées pour la surveillance des abus. Databricks a refusé la surveillance des abus et la révision humaine d’Azure OpenAI, de sorte que Microsoft ne conserve ni inspecte les données envoyées par Genie. Pour plus d’informations, consultez la documentation de Microsoft.

Q : quelles sont les réponses stockées de Genie ?

Les réponses de Genie sont stockées dans le plan de contrôle Azure Databricks.

Q : le filtrage au niveau d’une ligne est-il pris en charge dans un espace Genie ?

Oui, les privilèges accordés dans Unity Catalog contrôlent les utilisateurs qui peuvent accéder à des objets de données spécifiques. Si des filtres de ligne ou des masques de colonne sont appliqués à un objet de données, ils contrôlent les valeurs qui sont renvoyées dans le jeu de résultats. Consultez Filtrer les données de table sensibles à l’aide de filtres de lignes et de masques de colonne.

Q : Comment mon trafic est-il acheminé par Geos ?

• Genie est déployé dans les États-Unis, l’UE, l’AUS et l’Inde.

• Le routage du trafic dépend de votre région et du fait que le traitement intergéographique est activé (Appliquer le traitement des données dans l’espace de travail Geography pour les services désignés est désactivé) :

  • UE : le trafic transite toujours par l’UE, quel que soit le traitement intergéographique.
  • États-Unis : Le trafic transite toujours par les États-Unis, quel que soit le traitement intergéographique.
  • Inde et AUS :
    • Si le traitement intergéographique est désactivé : le trafic est garanti pour rester dans votre région.
    • Si le traitement intergéographique est activé : le trafic est toujours acheminé vers les États-Unis.
  • Toutes les autres régions :
    • Si le traitement intergéographique est désactivé : Genie ne fonctionnera pas.
    • Si le traitement intergéographique est activé : itinéraires de trafic via les États-Unis.