Utilisez Genie Code pour un traitement intelligent des documents

Genie Code construit des pipelines de traitement de documents de bout en bout en orchestrant l’analyse syntatique, la classification, l’extraction et la validation. Pointez-le vers des PDF, contrats ou factures non structurés, et il évalue la qualité par rapport aux données indiquées et itère pour l’améliorer, afin que vous puissiez juger quand un pipeline est prêt à la production.

Exigences

Pour utiliser Genie Code pour le traitement de documents :

Construisez un pipeline de traitement documentaire avec Genie Code

  1. Ouvre le code Genie sur la page Jobs & Pipelines ou dans l’éditeur SQL.

  2. Énoncez votre objectif et pointez vos sources. Faites référence à vos volumes, tableaux et fichiers.

    Une invite à Genie Code indiquant la classification et l’objectif d’extraction, les champs à extraire par type de contrat, et le volume source, avec une demande de travail nocturne.

  3. Laissez-la créer. Une fois que Genie Code a suffisamment de ressources, il construit le job Lakeflow en utilisant les meilleures pratiques.

  4. Vérifiez et exécutez. Examinez le SQL généré et les tâches, modifiez ce que vous voulez, et exécutez le travail quand vous serez prêt.

    Un graphe de tâches Lakeflow en cours d’exécution pour le traitement des contrats, à côté du panneau de chat Genie Code résumant les tâches, fonctions et tables de sortie générées.

  5. Commencez petit, puis évoluez. Exécutez sur un échantillon, examinez les résultats, évaluez la qualité et itérez avant de traiter l’ensemble complet de données.

Qu’est-ce que Genie Code peut aider ?

Construire un travail de traitement documentaire de bout en bout

Décrivez le résultat, et Genie Code construit un travail complet de Lakeflow, en utilisant uniquement les étapes dont votre objectif a besoin :

  • Découvrez les fichiers sources dans un volume et suivez leur identité et leurs modifications.
  • Analysez les documents en contenu structuré avec ai_parse_document (texte, tableaux, figures et mise en page).
  • Classez chaque document selon vos propres étiquettes ( ai_classify par exemple, des contrats d’affiliation, de marketing ou de conseil).
  • Extraire des champs structurés sur un schéma avec ai_extract, incluant les citations et les scores de confiance.
  • Publiez des résultats propres et structurés dans une table du catalogue Unity.

Chaque fonction IA est une tâche à part entière, donc le travail reste modulaire et vous pouvez le relancer, le remplacer ou le modifier plus tard.

Améliorer la qualité de l’extraction grâce à l’évaluation et à la montée de côte

Genie Code considère la qualité comme quelque chose que l’on mesure, pas comme une devinette. Étant donné un tableau étiqueté des sorties attendues, il réalise une évaluation au niveau des champs, puis referme la boucle :

  • Mesurer. Évaluez l’extraction actuelle champ par champ pour voir exactement quels champs sont faibles.
  • Améliorer. Genie Code propose une correction, le plus souvent une description de champ plus précise, présentée sous la forme d’un diff que vous pouvez examiner et approuver avant son application.
  • Réévaluez. Chaque changement accepté refait l’ensemble d’évaluation et affiche les résultats avant/après, donc les améliorations et les régressions sont visibles.

La boucle se répète jusqu’à ce que la qualité atteigne votre niveau d’exigence ; vous évaluez donc l’état de préparation d’après les scores et le niveau de confiance, et non sur la base d’une sortie qui semble plausible.

Valider les résultats et acheminer les exceptions

Genie Code intègre des portes de qualité dans le pipeline. Il combine des vérifications déterministes (schémas, champs obligatoires, totaux), la confiance des modèles et les règles métier pour décider ce qui passe, et garde visibles les lignes échouées.

Déboguez visuellement vos documents

Genie Code ouvre l’interface d’analyse des documents pour afficher les pages rendues à côté du contenu analysé et des champs extraits. Utilisez-le pour localiser un mauvais résultat : si du texte manque ou est brouillé dans la sortie analysée, le problème vient de l’analyse ou du fichier source. Si le texte est analysé mais qu’un champ est erroné, le problème est l’extraction. Dans tous les cas, vérifiez sur de vrais documents avant de monter en échelle.

Inspecter et dépanner les pipelines existants

Genie Code fonctionne sur des pipelines que vous avez déjà, pas seulement sur les nouveaux. Il peut expliquer un projet, revoir sa conception et son coût sans rien changer, trouver la cause principale d’une phase défaillante ou lente, et effectuer la plus petite réparation tout en laissant les pièces fonctionnelles intactes.

Exemples d’invites

Construire un pipeline de bout en bout

  • « Les contrats arrivent dans @my_catalog.raw.contracts. Créer un travail quotidien qui les classe en affiliation, marketing, conseil, hébergement et dépôt fiduciaire ; extraire les champs importants pour chaque type de contrat ; et rédiger des tables d’or. »
  • J’ai un lot de factures numérisées à @my_catalog.raw.invoices. Construisez un travail qui les analyse, extrait le fournisseur, le numéro de facture, les lignes et le total, puis écrit les résultats dans un tableau. »

Améliorez la qualité grâce à l’évaluation et à la montée de côtes

  • Comment savoir si c’est suffisamment performant pour s’exécuter sur des millions de lignes ? Évalue l’extraction par rapport à mon tableau @my_catalog.default.eval_table indiqué et dis-moi quels champs sont les plus faibles. »
  • La précision du champ invoice_total pourrait être meilleure. Améliorez itérattivement le schéma et les instructions, relancez l’évaluation, et montrez-moi l’avant et l’après. »
  • « Fixez des seuils de confiance par champ à partir des résultats de l’évaluation et acheminez les lignes à faible confiance vers la révision. »

Valider les résultats et acheminer les exceptions

  • « Ajoutez une validation qui coche les champs requis et que les lignes totales s’additionnent au total de la facture, et conservez les lignes qui échouent. »
  • Placez en quarantaine, dans un tableau séparé, les documents qui ne respectent pas une règle métier (par exemple, lorsque les impôts payés sont supérieurs au salaire) pour vérification humaine.

Déboguez visuellement vos documents

  • « Montre-moi les résultats analysés de ces PDF à côté des pages originales pour que je puisse vérifier les résultats analysés. »
  • « La date d’entrée en vigueur est incorrecte sur certains contrats de consultation. Ouvre la vue analysée pour que je puisse savoir si c’est un problème d’analyse ou d’extraction. »

Inspecter et dépanner les pipelines existants

  • « Expliquez ce que fait chaque tâche dans ce travail de traitement documentaire et où les résultats sont écrits. »
  • « Cette tâche d’analyse a commencé à échouer. Identifiez la cause dans la sortie de la dernière exécution et recommandez le correctif minimal.
  • « Examinez cette conception de pipeline de traitement documentaire selon les meilleures pratiques et dites-moi si elle est prête à fonctionner sur l’ensemble complet du jeu de données. »

Ressources additionnelles

  • Dernière mise à jour :