Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Le traitement intelligent des documents (IDP) convertit du contenu non structuré, tel que des fichiers PDF, des fichiers DOCX, des images et des présentations, en données structurées et enrichies qui alimentent les agents, applications et analyses en aval.
Azure Databricks vous propose cinq façons d’exécuter IDP, toutes construites sur les mêmes fonctions d’IA développées par la recherche :
- Agent Bricks UI : Une expérience visuelle sans code pour l’analyse, l’extraction et la classification des documents. Utilisez-le pour tester des documents types, affiner un schéma ou des étiquettes, et valider visuellement les résultats avant de faire évoluer.
- Fonctions SQL IA : Exécutez des fonctions intelligentes de traitement de documents directement sur le Lakehouse. Utilisez-les pour traiter des documents à grande échelle, enchaîner des étapes et créer des pipelines gouvernés prêts pour la production dans Lakeflow pipelines.
- API REST : Appelez les mêmes fonctions IA depuis les applications, services et flux de travail d’automatisation.
-
API asynchrone (Bêta) : exécutez
ai_parse_document,ai_extract, ouai_classifyde manière asynchrone sur de nombreuses entrées d’un fichier dans un volume du catalogue Unity, et obtenez les résultats dans un fichier dans un volume. Pourai_parse_document, l’entrée peut aussi être un répertoire de volume. Voir la référence de l’API asynchrone. -
Tâches de fonctions d’IA dans Lakeflow Jobs (bêta) : ajoutez une tâche
ai_parse_document,ai_extractouai_classifyà un travail pour traiter les documents nouveaux et modifiés selon un planning, sans écrire de SQL. Voir Tâches de la fonction IA pour les travaux.
Capacités intelligentes de traitement documentaire
| Fonctionnalité | Interface utilisateur Agent Bricks | Fonction SQL | REST API | API asynchrone (Beta) |
|---|---|---|---|---|
| Convertissez des fichiers PDF, DOCX, images et PPT en descriptions structurées de texte, de tableaux et de figure. | Analyse syntaxique des documents | ai_parse_document |
Analyse de document par IA | API asynchrone |
| Extrayez des champs structurés à partir de documents ou de texte brut à l’aide d’un schéma que vous définissez. | Extraction d’informations | ai_extract |
AI Extract | API asynchrone |
| Affectez des catégories prédéfinies à des documents ou du texte, prenant en charge jusqu’à 500 étiquettes. | Classification | ai_classify |
AI Classify | API asynchrone |
| Transformez les documents analysés en morceaux sémantiques prêts pour la génération augmentée par récupération (RAG) et l’indexation IA Search. |
ai_prep_search (bêta) |
Cas d’utilisation courants
Le fournisseur d’identité sur Azure Databricks alimente un large éventail d’applications en aval :
- Génération augmentée par la récupération (RAG) : analyse et structure les documents pour améliorer le chunking, la qualité de la récupération et l’ancrage pour les applications LLM.
- Extraction de connaissances et analyse : Extraire des champs clés et des métadonnées pour permettre la recherche, le reporting et l’intelligence économique sur les données documentaires.
- Flux de travail pilotés par l’agent : Acheminer, classifier et enrichir les documents pour soutenir la prise de décision automatisée et l’exécution des tâches.
- Compréhension et classification des documents : Organiser les grands corpus de documents par type, sujet ou contenu pour un traitement en aval.
Fonctionnement
Azure Databricks permet un traitement intelligent des documents en tant que flux de travail unifié de bout en bout sur lakehouse. L’ingestion, l’analyse, l’enrichissement et l’analyse en aval reposent sur une plateforme unique, de sorte que chaque étape fonctionne en toute transparence sans nécessiter d’intégration ou de déplacement de données complexe.
Importer et orchestrer
Utilisez des pipelines Lakeflow pour ingérer des documents bruts (tels que des fichiers PDF, images et DOCX) et orchestrer vos pipelines. Étant donné que l’ingestion et l’orchestration sont intégrées en mode natif à Lakehouse, les documents circulent directement dans le traitement en aval sans infrastructure supplémentaire.
Analyser les documents (couche Bronze)
Appliquer
ai_parse_documentpour convertir des fichiers bruts en représentations structurées. Cela crée une couche bronze standardisée qui capture du texte, des tables/descriptions d’images et une structure de document, formant ainsi une base cohérente pour tous les cas d’usage en aval.Extraire et classer
Utilisez
ai_extractetai_classifypour enrichir des documents analysés avec des champs structurés et des métadonnées. Ces fonctions fonctionnent directement sur les sorties analysées, ce qui vous permet d’extraire des informations clés, de classer des documents et de les router via des workflows sans étapes de transformation supplémentaires.Préparer la récupération (RAG)
Appliquez
ai_prep_search(bêta) pour transformer des documents analysés en blocs sémantiques enrichis avec un contexte au niveau du document, tel que des titres, des en-têtes de section et des références de page. La sortie est mise en forme pour l’indexation AI Search, afin de fournir une base cohérente pour les charges de travail RAG et de récupération.Analyser et mettre en œuvre
Tirez parti de fonctions IA supplémentaires ou d’autres outils (tableaux de bord IA/BI, applications, recherche IA) pour l’analytique en aval, la récupération (RAG) et les flux de travail pilotés par les agents. Étant donné que toutes les données restent sur Lakehouse, les données de document structurées peuvent être utilisées immédiatement pour la recherche, les tableaux de bord et les applications.