Modèles de traitement de documents personnalisés sur Azure

Cet article décrit les solutions Azure pour la création, l’entraînement, le déploiement et l’utilisation de modèles de traitement de documents personnalisés. Ces services Azure offrent également des fonctionnalités d’interface utilisateur pour effectuer l’étiquetage ou le balisage destiné au traitement du texte.

Architecture

Téléchargez un fichier Visio de cette architecture.

Dataflow

1. Les orchestrateurs comme Azure Logic Apps, Azure Data Factory ou Azure Functions ingèrent des messages et des pièces jointes provenant de serveurs de messagerie ainsi que des fichiers provenant de serveurs FTP ou d’applications web.

   • Azure Functions et Logic Apps permettent des charges de travail serverless. Le service que vous choisissez dépend de vos préférences pour les fonctionnalités des services, comme le développement, les connecteurs, la gestion et le contexte d’exécution. Pour plus d’informations, consultez Comparer Azure Functions et Azure Logic Apps.

   • Envisagez d’utiliser Azure Data Factory pour le déplacement de données en bloc.

2. Les orchestrateurs envoient des données ingérées à Stockage Blob Azure ou Data Lake Storage, en organisant les données entre les magasins de données en fonction de caractéristiques comme les extensions de fichier ou les clients.

3. Document Intelligence Studio, Language Studio ou Azure Machine Learning studio étiquettent et balisent les données textuelles et génèrent les modèles personnalisés. Vous pouvez utiliser ces trois services indépendamment ou dans différentes combinaisons pour traiter différents cas d’usage.

   • Si le document nécessite d'extraire des appairages clé-valeur ou de créer un tableau personnalisé à partir d'un format d'image ou d'un PDF, utilisez Document Intelligence Studio pour baliser les données et entraîner le modèle personnalisé. De la même manière, s'il est nécessaire de déterminer le type de document avant d'invoquer le modèle d'extraction approprié, utilisez le Document Intelligent Studio pour étiqueter les documents.

   • Pour la classification de documents basée sur le contenu ou pour l’extraction d’entités spécifiques à un domaine, vous pouvez entraîner une classification de texte personnalisée ou un modèle de reconnaissance d’entité nommée (NER, Named Entity Recognition) dans Language Studio.

   • Machine Learning studio dispose de fonctionnalités d'étiquetage des données pour la classification de texte ou l'extraction d'entités que vous pouvez utiliser avec des frameworks open source comme PyTorch ou TensorFlow. Azure Machine Learning studio fournit un catalogue de modèles de fondation. Ces modèles de base ont des capacités de réglage fin pour diverses tâches telles que la classification de texte, la réponse aux questions et le résumé. Pour affiner les modèles de fondation, utilisez l'interface utilisateur ou le code de Machine Learning studio.

4. Pour déployer les modèles personnalisés et les utiliser pour l’inférence :

   • Azure AI Document Intelligence intègre le déploiement de modèles. Utilisez les SDK de Document Intelligence ou l'API REST pour appliquer des modèles personnalisés pour l'inférence. Incluez l’ID de modèle ou le nom de modèle personnalisé dans l’URL de requête Document Intelligence, selon la version de l’API. Document Intelligence ne nécessite pas d’étapes de déploiement supplémentaires.

   • Language Studio offre une option pour déployer des modèles de langage personnalisés. Obtenez l’URL de prédiction du point de terminaison REST en sélectionnant le modèle à déployer. Vous pouvez effectuer une inférence de modèle en utilisant le point de terminaison REST ou les bibliothèques clientes du SDK Azure.

   • Machine Learning déploie des modèles personnalisés vers des points de terminaison gérés par Machine Learning en ligne ou par lots. Vous pouvez utiliser le SDK de Machine Learning pour déployer vers Azure Kubernetes Service (AKS) en tant que service Web.

   • Des modèles de base affinés sont déployés à partir du catalogue de modèles vers des points de terminaison pour l'inférence.

Composants

• Logic Apps fait partie d’Azure Integration Services. Logic Apps crée des workflows automatisés qui intègrent des applications, des données, des services et des systèmes. Avec des connecteurs managés pour des services comme Stockage Azure et Microsoft 365, vous pouvez déclencher des workflows quand un fichier arrive dans le compte de stockage ou quand un e-mail est reçu.

• Data Factory est un service d’extraction, de transformation, de chargement (ETL) cloud managé pour l’intégration et la transformation des données. Data Factory peut ajouter des activités de transformation à un pipeline qui incluent l’appel d’un point de terminaison REST ou l’exécution d’un notebook sur les données ingérées.

• Azure Functions est un service de calcul serverless qui peut héberger des charges de travail pilotées par les événements avec des processus de courte durée.

• Stockage Blob est la solution de stockage d’objets pour les fichiers bruts dans ce scénario. Stockage Blob prend en charge les bibliothèques pour plusieurs langages, comme .NET, Node.js et Python. Les applications peuvent accéder aux fichiers sur Stockage Blob via HTTP/HTTPS. Stockage Blob a des niveaux d’accès chaud, froid et archive pour prendre en charge l’optimisation des coûts de stockage de grandes quantités de données.

• Data Lake Storage est un ensemble de fonctionnalités basées sur Stockage Blob Azure pour l’analytique Big Data. Data Lake Storage conserve le rapport coût-efficacité de Stockage Blob, et offre des fonctionnalités comme la sécurité au niveau des fichiers et la sémantique du système de fichiers avec un espace de noms hiérarchique.

• Document Intelligence fait partie des services Azure AI. Document Intelligence dispose de fonctionnalités intégrées d'analyse de documents que vous pouvez utiliser pour extraire du texte imprimé et manuscrit, des tableaux et des appaires clé-valeur. Document Intelligence possède des modèles prédéfinis pour extraire des données à partir de factures, de documents, de reçus, de cartes d’identité et de cartes de visite. Document Intelligence dispose également d'un modèle de formulaire personnalisé et d'un modèle de document neuronal personnalisé que vous pouvez utiliser pour former et déployer des modèles personnalisés.

• Document Intelligence Studio fournit une interface utilisateur que vous pouvez utiliser pour explorer les fonctionnalités et les modèles de Document Intelligence, et pour construire, baliser, former et déployer des modèles personnalisés.

• Azure AI Language consolide les services Azure de traitement du langage naturel. La suite offre des options prédéfinies et personnalisables. Pour plus d’informations, consultez les fonctionnalités disponibles d’Azure AI Language.

  Language Studio fournit une interface utilisateur permettant d’explorer et d’analyser les fonctionnalités de langage d’Azure AI Language. Language Studio fournit également des options pour la création, l’étiquetage, l’entraînement et le déploiement de modèles personnalisés.

• Azure Machine Learning est une plateforme ouverte permettant de gérer le développement et le déploiement de modèles Machine Learning à grande échelle.

  • Azure Machine Learning studio fournit des options d’étiquetage des données pour les images et le texte.
  • Exportez des données étiquetées sous forme de jeux de données COCO ou Azure Machine Learning. Vous pouvez utiliser les jeux de données pour l’entraînement et le déploiement de modèles dans des notebooks Azure Machine Learning.
  • Déployez des modèles sur AKS en tant que service web pour l’inférence en temps réel à grande échelle, ou en tant que points de terminaison managés pour l’inférence en temps réel et par lots.

Autres solutions

Vous pouvez ajouter d’autres workflows à ce scénario en fonction de cas d’usage spécifiques.

• Si le document est au format image ou PDF, vous pouvez extraire les données en utilisant la vision par ordinateur Azure, l'API de lecture de Document Intelligence ou des bibliothèques open source.

• Vous pouvez produire un résumé de documents et de conversations en utilisant le modèle prédéfini dans Azure AI Language.

• Utilisez le code de prétraitement pour effectuer les étapes de traitement du texte. Ces étapes comprennent le nettoyage, la suppression des mots vides, la lemmatisation, le stemming et le résumé de texte sur les données extraites en fonction des exigences de traitement des documents. Vous pouvez exposer le code en tant qu’API REST pour l’automatisation. Effectuez ces étapes manuellement ou automatisez-les en les intégrant au processus d’ingestion de Logic Apps ou d’Azure Functions.

• Vous pouvez utiliser Azure AI Studio pour affiner et déployer les modèles de base.

Détails du scénario

Le traitement de documents est un vaste domaine. Il peut être difficile de répondre à tous vos besoins en matière de traitement de documents avec les modèles préconstruits disponibles dans Document Intelligence et Azure AI Language. Il peut être nécessaire de créer des modèles personnalisés pour automatiser le traitement des documents pour d’autres applications et domaines.

Les principales problématiques de la personnalisation des modèles sont les suivants :

• L’étiquetage ou le balisage des données texte avec des entités de paire clé-valeur pertinentes afin de classifier du texte pour l’extraction.
• Le déploiement de modèles de façon sécurisée à grande échelle pour faciliter l’intégration aux applications consommatrices.

Cas d’usage potentiels

Les cas d’usage suivants peuvent tirer parti des modèles personnalisés pour le traitement de documents :

• Créer des modèles personnalisés de reconnaissance d’entité nommée et de classification de texte basés sur des frameworks open source.
• Extraire des paires clé-valeur personnalisées des documents pour différents secteurs d’activité verticaux, comme l’assurance et la santé.
• Étiqueter et extraire des entités dépendant de domaines spécifiques au-delà des modèles de reconnaissance d’entité nommée prédéfinis pour des domaines comme la sécurité ou la finance.
• Créer des tableaux personnalisées à partir de documents.
• Extraire des signatures.
• Étiqueter et classifier des e-mails ou d’autres documents en fonction du contenu.

Considérations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework qui est un ensemble de principes directeurs qui permettent d’améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Microsoft Azure Well-Architected Framework.

Pour cet exemple de charge de travail, l’implémentation de chaque pilier dépend de la configuration et de l’utilisation optimales de chaque composant des services Azure.

Fiabilité

La fiabilité permet de s’assurer que votre application tient vos engagements auprès de vos clients. Pour plus d’informations, consultez la page Vue d’ensemble du pilier de fiabilité.

Disponibilité

• Consultez les contrats de niveau de service (SLA) pour chaque composante de l'architecture à la page Contrats de niveau de service (SLA) pour les services en ligne.

• Pour connaître les options de configuration permettant de concevoir des applications à haute disponibilité avec des comptes de stockage Azure, consultez Utiliser la géoredondance pour concevoir des applications à haute disponibilité.

Résilience

• Gérez les modes d’échec des services individuels comme Azure Functions et Stockage Azure pour garantir la résilience des services de calcul et des magasins de données dans ce scénario. Pour plus d’informations, consultez Liste de contrôle de la résilience pour des services Azure spécifiques.

• Pour Document Intelligence, sauvegardez et récupérez vos modèles Document Intelligence.

• Pour la classification de texte personnalisée avec Azure AI Language, sauvegardez et récupérez vos modèles de classification de texte personnalisés.

• Pour la reconnaissance d’entité nommée personnalisée dans Azure AI Language, sauvegardez et récupérez vos modèles personnalisés de reconnaissance d’entité nommée.

• Azure Machine Learning dépend des services qui le constituent, comme Stockage Blob, les services de calcul et Azure Kubernetes Service (AKS). Pour assurer la résilience d’Azure Machine Learning, configurez chacun de ces services pour qu’ils soient résilients. Pour plus d’informations, consultez Basculement de la continuité d’activité et reprise d’activité.

Sécurité

La sécurité fournit des garanties contre les attaques délibérées, et contre l’utilisation abusive de vos données et systèmes importants. Pour plus d’informations, consultez Vue d’ensemble du pilier Sécurité.

• Mettez en œuvre les recommandations en matière de protection des données, de gestion des identités et des accès et de sécurité du réseau pour Blob Storage, AI Services for Document Intelligence et Language Studio, et Azure Machine Learning.

• Azure Functions peut accéder aux ressources dans un réseau virtuel Azure via l’intégration de réseau virtuel.

Optimisation des coûts

L’optimisation des coûts consiste à examiner les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez Vue d’ensemble du pilier d’optimisation des coûts.

Le coût total de l’implémentation de cette solution dépend des prix des services que vous choisissez.

Les principaux coûts de cette solution sont les suivants :

• Le coût de calcul impliqué dans la formation à Machine Learning et le déploiement de modèles.

  Choisissez le type de nœud, la taille de cluster et le nombre de nœuds appropriés pour optimiser les coûts. Pour la formation, Machine Learning fournit les options permettant de définir le nombre minimum de nœuds de cluster de calcul à zéro et de définir le temps d'inactivité avant la mise à l'échelle. Pour plus d'informations, consultez la section Gérer et optimiser les coûts de Machine Learning.

• Durée et activités d’orchestration des données. Pour Azure Data Factory, les frais pour les activités de copie sur le runtime d'intégration Azure sont basés sur le nombre d'unités d'intégration de données (DIU) utilisées et la durée d'exécution. Les exécutions des activités d’orchestration ajoutées sont également facturées en fonction de leur nombre.

  Les plans tarifaires Logic Apps dépendent des ressources que vous créez et que vous utilisez. Les articles suivants peuvent vous aider à choisir le bon plan pour des cas d’usage spécifiques :

  • Coûts qui s’accumulent généralement avec Azure Logic Apps
  • Architecture monolocataire ou multilocataire et environnement de service d’intégration pour Azure Logic Apps
  • Mesure de l’utilisation, facturation et modèles tarifaires d’Azure Logic Apps

Pour plus d’informations sur la tarification de composants spécifiques, consultez les ressources suivantes :

• Tarification de Document Intelligence d’Azure AI
• Tarification d’Azure Functions
• Tarification de Logic Apps
• Tarifs d’Azure Data Factory
• Tarifs Stockage Blob Azure
• Tarification Azure AI Language
• Tarifs d’Azure Machine Learning

Utilisez la calculatrice de prix Azure pour ajouter vos choix de composants sélectionnés et estimer le coût global de la solution.

Efficacité des performances

L’efficacité des performances est la capacité de votre charge de travail à s’adapter à la demande des utilisateurs de façon efficace. Pour plus d’informations, consultez Vue d’ensemble du pilier d’efficacité des performances.

Extensibilité

• Pour mettre à l’échelle Azure Functions automatiquement ou manuellement, choisissez le bon plan d’hébergement.

• Intelligence documentaire prend en charge 15 requêtes simultanées par seconde par défaut. Pour demander un quota supérieur, créez un ticket de support Azure.

• Pour les modèles personnalisés Azure Machine Learning hébergés en tant que services web sur AKS, le front-end azureml-fe est mis à l'échelle automatiquement selon les besoins. Ce composant route aussi les demandes d’inférence entrantes vers les services déployés.

• Pour les déploiements en tant que points de terminaison managés, prise en charge de la mise à l’échelle automatique via l’intégration à la fonctionnalité de mise à l’échelle automatique d’Azure Monitor.

• Les limites du service d’API sur la reconnaissance d’entité nommée personnalisée et la classification de texte personnalisée pour l’inférence sont de 20 requêtes GET ou POST par minute.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

• Jyotsna Ravi | Ingénieur client senior

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

• Commencez : Document Intelligence Studio
• Utilisez les modèles de Document Intelligence via les SDK ou l'API REST
• Démarrage rapide : prise en main de Language Studio
• Présentation de la Reconnaissance optique de caractères (OCR)
• Configuration d’Azure Functions avec un réseau virtuel

Ressources associées

• Extraire du texte d’objets à l’aide de Power Automate et d’AI Builder
• Suggérer des étiquettes de contenu avec NLP à l’aide du deep learning
• Automatisez le traitement des documents en utilisant Document Intelligence