Note de transparence pour Azure Language dans les outils Foundry

Important

Les traductions non anglaises sont fournies uniquement pour des raisons pratiques. Consultez la EN-US version de ce document pour obtenir la version définitive.

Qu’est-ce qu’une note de transparence ?

Un système d’IA inclut non seulement la technologie, mais aussi les personnes qui l’utiliseront, les personnes qui seront affectées par elle et l’environnement dans lequel il est déployé. La création d’un système adapté à son objectif prévu nécessite une compréhension du fonctionnement de la technologie, de ses capacités et de ses limitations et de la façon d’atteindre les meilleures performances. les notes de transparence de Microsoft sont destinées à vous aider à comprendre le fonctionnement de notre technologie IA, les choix que les propriétaires du système peuvent faire qui influencent les performances et le comportement du système, ainsi que l'importance de penser à l'ensemble du système, y compris la technologie, les personnes et l'environnement. Vous pouvez utiliser des notes de transparence lors du développement ou du déploiement de votre propre système, ou les partager avec les personnes qui utiliseront ou seront affectées par votre système.

Les notes de transparence de Microsoft font partie d'un effort plus large de Microsoft pour mettre en pratique nos principes d'IA. Pour en savoir plus, consultez Microsoft principes d’IA.

Notions de base de Azure Language in Foundry Tools

Introduction

La langue est un service cloud qui fournit des fonctionnalités de traitement en langage naturel (NLP) pour l’exploration de texte et l’analyse du texte, notamment les fonctionnalités suivantes :

Lisez la vue d’ensemble pour obtenir une présentation de chaque fonctionnalité et passez en revue les exemples de cas d’usage. Consultez les guides pratiques et la référence d’API pour comprendre plus de détails sur ce que chaque fonctionnalité fait et ce qui est retourné par le système.

Cet article contient des instructions de base sur l’utilisation responsable des fonctionnalités de langage. Lisez d’abord les informations générales, puis accédez à l’article spécifique si vous utilisez l’une des fonctionnalités ci-dessous.

Capacités

Cas d’usage

Les services linguistiques peuvent être utilisés dans plusieurs scénarios dans divers secteurs d’activité. Voici quelques exemples répertoriés par fonctionnalité :

  • Utilisez la reconnaissance d’entité nommée personnalisée pour l’extraction de connaissances afin d'améliorer la recherche sémantique. La recherche est fondamentale pour n’importe quelle application qui expose le contenu texte aux utilisateurs. Les scénarios courants incluent la recherche de catalogue ou de documents, la recherche de produits de vente au détail ou l’exploration de connaissances pour la science des données. De nombreuses entreprises de divers secteurs souhaitent créer une expérience de recherche riche sur du contenu privé et hétérogène, qui comprend à la fois des documents structurés et non structurés. Dans le cadre de leur pipeline, les développeurs peuvent utiliser un NER personnalisé pour extraire des entités du texte qui sont pertinentes pour leur secteur d’activité. Ces entités peuvent être utilisées pour enrichir l’indexation du fichier pour une expérience de recherche plus personnalisée.

  • Utilisez la reconnaissance d’entité nommée pour améliorer ou automatiser les processus métier. Par exemple, lors de l’examen des demandes d’assurance, des entités reconnues telles que le nom et l’emplacement peuvent être mises en évidence pour faciliter l’examen. Ou un ticket de support peut être généré automatiquement à partir d’un e-mail avec le nom et la société d’un client.

  • Utilisez des informations personnellement identifiables afin de masquer certaines catégories d’informations personnelles dans les documents pour protéger la confidentialité. Par exemple, si les enregistrements de contact des clients sont accessibles aux représentants du support technique de première ligne, l’entreprise peut souhaiter annuler les informations personnelles du client inutiles de l’historique des clients afin de préserver la confidentialité du client.

  • Utilisez la détection de langue pour détecter les langues pour le flux de travail métier. Par exemple, si une entreprise reçoit des e-mails dans différentes langues des clients, elle peut utiliser la détection de langue pour acheminer les e-mails par langue vers des haut-parleurs natifs pour faciliter la communication avec ces clients.

  • Utilisez l’analyse des sentiments pour surveiller les tendances positives et négatives des commentaires dans l’agrégat. Après l’introduction d’un nouveau produit, un détaillant pourrait utiliser le service sentiment pour surveiller plusieurs médias sociaux pour obtenir des mentions du produit avec leur sentiment. Ils pourraient examiner le sentiment de tendance dans leurs réunions de produits hebdomadaires.

  • Utilisez Summarization pour extraire des informations clés à partir d’articles d’actualités publiques. Pour produire des analyses telles que des tendances et des actualités mises en lumière.

  • Utilisez l’extraction d’expressions clés pour afficher les tendances d’agrégation dans les données de texte. Par exemple, un cloud de mots peut être généré avec des expressions clés pour vous aider à visualiser les concepts clés dans les commentaires texte ou les commentaires. Par exemple, un hôtel peut générer un nuage de mots en fonction des expressions clés identifiées dans leurs commentaires et peut voir que les personnes commentent le plus fréquemment sur l’emplacement, la propreté et le personnel utile.

  • Utilisez Analyse de texte for Health pour l’extraction d’insights et de statistiques. Identifiez les entités médicales telles que les symptômes, les médicaments et les diagnostics dans les notes cliniques et divers documents cliniques. Utilisez ces informations pour produire des insights et des statistiques sur les populations de patients, rechercher des documents cliniques, des documents de recherche et des publications.

  • Utilisez la classification de texte personnalisée pour le triage automatique des messages électroniques ou des tickets. Les centres de support de tous les types reçoivent un volume élevé d’e-mails ou de tickets contenant du texte et des pièces jointes non structurés, de forme libre. L’examen, l’accusé de réception et le routage en temps opportun vers des experts en la matière au sein des équipes internes sont essentiels. Le tri des e-mails à cette échelle nécessite que les personnes examinent et routent vers les services appropriés, ce qui prend du temps et des ressources. La classification de texte personnalisée peut être utilisée pour analyser le texte entrant et trier et classer le contenu à acheminer automatiquement vers les services concernés pour une action supplémentaire.

  • Utilisez la Compréhension du langage conversationnelle pour créer des bots conversationnels intégralement. Utilisez CLU pour créer et entraîner un modèle de compréhension du langage naturel personnalisé basé sur un domaine spécifique et les énoncés attendus des utilisateurs. Intégrez-le à n’importe quel bot conversationnel de bout en bout afin qu’il puisse traiter et analyser du texte entrant en temps réel pour identifier l’intention du texte et extraire des informations importantes à partir de celui-ci. Le bot effectue l’action souhaitée en fonction de l’intention et des informations extraites. Par exemple, il s’agit d’un bot de vente au détail personnalisé pour les achats en ligne ou les commandes alimentaires.

  • Utilisez la réponse aux questions pour le support client. Dans la plupart des scénarios de support client, les questions courantes sont fréquemment posées. La réponse aux questions vous permet de créer instantanément un bot de conversation à partir du contenu de support existant, et ce bot peut agir comme système de première ligne pour gérer les requêtes des clients. Si les questions ne peuvent pas être répondues par le bot, des composants supplémentaires peuvent aider à identifier et à signaler la question pour l’intervention humaine.

Limitations

La qualité du texte entrant dans le système affectera vos résultats.

Les fonctionnalités linguistiques traitent uniquement le texte. La fidélité et la mise en forme du texte entrant affectent les performances du système. Veillez à prendre en compte les éléments suivants :

  • La qualité de la transcription vocale peut affecter la qualité des résultats. Si vos données sources sont vocales, veillez à utiliser la combinaison de haute qualité de transcription automatique et humaine pour garantir les meilleures performances. Envisagez d’utiliser des modèles vocaux personnalisés pour obtenir des résultats de meilleure qualité.

  • Le manque de ponctuation standard ou de majuscules/minuscules peut affecter la qualité de vos résultats. Si vous utilisez un système de synthèse vocale, comme Azure Speech dans Foundry Tools to Text, assurez-vous de sélectionner l’option permettant d’inclure la ponctuation.

  • La qualité de la reconnaissance optique de caractères (OCR) peut affecter la qualité du système. Si vos données sources sont des images et que vous utilisez la technologie OCR pour générer le texte, le texte généré de manière incorrecte peut affecter les performances du système. Envisagez d’utiliser des modèles OCR personnalisés pour améliorer la qualité des résultats.

  • Si vos données incluent des fautes d’orthographe fréquentes, envisagez d’utiliser la vérification orthographique Bing pour corriger les fautes d’orthographe.

  • Les données tabulaires peuvent ne pas être identifiées correctement en fonction de la façon dont vous envoyez le texte du tableau au système. Évaluez la façon dont vous envoyez du texte à partir de tables dans des documents sources au service. Pour les tableaux des documents, envisagez d’utiliser Azure Document Intelligence dans Foundry Tools ou un service similaire. Cela vous permet d’obtenir les clés et les valeurs appropriées à envoyer à Language avec des clés contextuelles qui sont suffisamment proches des valeurs pour que le système reconnaisse correctement les entités.

  • Microsoft entraîné ses modèles de caractéristiques linguistiques (à l’exception de la détection de langue) à l’aide de données de texte en langage naturel composées principalement de phrases et de paragraphes entièrement formés. Par conséquent, l’utilisation de ce service pour les données qui ressemblent le plus étroitement à ce type de texte génère les meilleures performances. Nous vous recommandons d’éviter l’utilisation de ce service pour évaluer les phrases et expressions incomplètes dans la mesure du possible, car les performances peuvent être réduites.

  • Le service prend uniquement en charge le texte de langue unique. Si votre texte inclut plusieurs langues, par exemple « le sandwich était bueno », la sortie peut ne pas être exacte.

  • Le code de langue doit correspondre à la langue du texte d’entrée pour obtenir des résultats précis. Si vous n’êtes pas sûr de la langue d’entrée, vous pouvez utiliser la fonctionnalité de détection de langue.

Meilleures pratiques pour améliorer les performances du système

Certaines fonctionnalités du langage retournent des scores de confiance et peuvent être évaluées à l’aide de l’approche décrite dans les sections suivantes. D’autres fonctionnalités qui ne retournent pas de score de confiance (par exemple, l’extraction de mots clés et la synthèse) doivent être évaluées à l’aide de différentes méthodes.

Comprendre les scores de confiance pour l’analyse des sentiments, la reconnaissance d’entités nommées, la détection de langage et les fonctions de santé

Le sentiment, la reconnaissance d’entité nommée, la détection de langue et les fonctions de santé retournent tous un score de confiance comme partie de la réponse du système. Il s’agit d’un indicateur de la confiance du service avec la réponse du système. Une valeur plus élevée indique que le service est plus confiant que le résultat est exact. Par exemple, le système reconnaît l’entité de la catégorie Numéro de permis de conduire américain sur le texte 555 555 555 lorsque le texte « Mon numéro de permis de conduire NY est 555 555 555 » avec un score de .75 et peut reconnaître la catégorie Numéro de permis de conduire américain sur le texte 555 555 555 avec un score de .65 lorsque le texte « Mon numéro de permis de conduire NY DL est 555 555 555 ». Étant donné le contexte plus spécifique dans le premier exemple, le système est plus confiant dans sa réponse. Dans de nombreux cas, la réponse système peut être utilisée sans examiner le score de confiance. Dans d’autres cas, vous pouvez choisir d’utiliser une réponse uniquement si son score de confiance est supérieur à un seuil de score de confiance spécifié.

Comprendre et mesurer les performances

Les performances des fonctionnalités linguistiques sont mesurées en examinant la façon dont le système reconnaît les concepts de NLP pris en charge (à une valeur seuil donnée par rapport à un juge humain).) Pour l’extraction d’entité nommée (NER), par exemple, on peut compter le nombre réel d’entités de numéros de téléphone dans un texte basé sur le jugement humain, puis comparer avec la sortie du système à partir du traitement du même texte. La comparaison du jugement humain avec les entités reconnues par le système vous permettrait de classer les événements en deux types d’événements corrects (ou « vrais ») et deux types d’événements incorrects (ou « faux »).

Résultat Correct/incorrect Définition Exemple
Vrai positif Correcte Le système renvoie le même résultat que celui attendu d’un juge humain. Le système reconnaît correctement l’entité PII de la catégorie Numéro de téléphone sur le texte 1-234-567-8910 lorsque le texte est donné : « Vous pouvez me contacter au numéro de mon bureau 1-234-567-9810 ».
Vrai négatif Correcte Le système ne retourne pas de résultat et s’aligne sur ce qui serait attendu du juge humain. Le système ne reconnaît aucune entité d’identification personnelle lorsque le texte est donné : « Vous pouvez m’atteindre au numéro de mon bureau ».
Faux positif Incorrect Le système renvoie un résultat où un juge humain ne le ferait pas. Le système reconnaît incorrectement l’entité PII de la catégorie Numéro de téléphone pour le numéro de bureau de texte lorsque le texte est donné : « Vous pouvez m’atteindre à mon numéro de bureau ».
Faux négatif Incorrect Le système ne retourne pas de résultat lorsqu’un juge humain le ferait. Le système manque incorrectement une entité PII numéro de téléphone sur le texte 1-234-567-8910 lorsque le texte est donné : « Vous pouvez me contacter au bureau numéro 1-234-567-9810 ».

Les fonctionnalités linguistiques ne sont pas toujours correctes. Vous rencontrerez probablement des erreurs faux négatifs et faux positifs. Il est important de prendre en compte la façon dont chaque type d’erreur affectera votre système. Réfléchissez soigneusement aux scénarios où les événements vrais ne seront pas reconnus et où des événements incorrects seront reconnus et quels effets en aval peuvent être dans votre implémentation. Veillez à créer des méthodes pour identifier, signaler et répondre à chaque type d’erreur. Planifiez régulièrement l’examen des performances de votre système déployé pour vous assurer que les erreurs sont gérées de manière appropriée.

Comment définir des seuils de score de confiance

Vous pouvez choisir de prendre des décisions dans votre système en fonction du score de confiance retourné par le système. Vous pouvez ajuster le seuil de score de confiance que votre système utilise pour répondre à vos besoins. S’il est plus important d’identifier toutes les instances potentielles des concepts NLP souhaités, vous pouvez utiliser un seuil inférieur. Cela signifie que vous pouvez obtenir plus de faux positifs, mais moins de faux négatifs. S’il est plus important que votre système reconnaisse uniquement les véritables instances de la fonctionnalité que vous appelez, vous pouvez utiliser un seuil plus élevé. Si vous utilisez un seuil plus élevé, vous pouvez obtenir moins de faux positifs, mais plus de faux négatifs. Différents scénarios appellent différentes approches. En outre, les valeurs de seuil peuvent ne pas avoir de comportement cohérent entre les fonctionnalités individuelles du langage et des catégories d’entités. Par exemple, ne faites pas d’hypothèses que l’utilisation d’un certain seuil pour le numéro de téléphone de la catégorie NER serait suffisante pour une autre catégorie NER, ou qu’un seuil que vous utilisez dans NER fonctionne de la même façon pour l’analyse des sentiments. Par conséquent, il est essentiel de tester votre système avec tous les seuils que vous envisagez d’utiliser avec des données réelles pour déterminer les effets de différentes valeurs de seuil de votre système dans le contexte qu’il sera utilisé.

Équité

À Microsoft, nous nous efforçons de permettre à chaque personne sur la planète d’obtenir plus. Une partie essentielle de cet objectif est de créer des technologies et des produits équitables et inclusifs. L’équité est un sujet sociotechnique multidimensionnel et a un impact sur de nombreux aspects différents de notre développement de produits. Vous pouvez en savoir plus sur l’approche de Microsoft pour l’équité here.

Une dimension que nous devons prendre en compte est la façon dont le système fonctionne bien pour différents groupes de personnes. Cela peut inclure l’analyse de la précision du modèle ainsi que la mesure des performances du système complet. La recherche a montré que sans effort conscient axé sur l’amélioration des performances pour tous les groupes, il est souvent possible que les performances d’un système d’IA varient selon les groupes en fonction de facteurs tels que la race, l’ethnicité, la langue, le sexe et l’âge.

Chaque service et fonctionnalité est différent, et nos tests peuvent ne pas correspondre parfaitement à votre contexte ou couvrir tous les scénarios requis pour votre cas d’usage. Nous encourageons les développeurs à évaluer minutieusement les taux d’erreur pour le service avec des données réelles qui reflètent votre cas d’utilisation, y compris les tests avec les utilisateurs de différents groupes démographiques.

Pour la langue, certains dialectes et variétés linguistiques dans nos langues prises en charge et le texte de certains groupes démographiques peuvent ne pas encore avoir suffisamment de représentation dans nos jeux de données d’apprentissage actuels. Nous vous encourageons à consulter nos directives d’utilisation responsable et, si vous rencontrez des différences de performances, nous vous encourageons à nous informer.

Les performances varient selon les fonctionnalités et les langues

Différentes langues sont prises en charge pour chaque fonctionnalité de langue. Vous pouvez constater que les performances d’une fonctionnalité particulière ne sont pas cohérentes avec une autre fonctionnalité. En outre, vous pouvez constater que pour une fonctionnalité particulière, les performances ne sont pas cohérentes entre différents langages.

Étapes suivantes

Si vous utilisez l’une des fonctionnalités ci-dessous, veillez à consulter les informations spécifiques de cette fonctionnalité.

Voir aussi

Veillez également à passer en revue les points suivants :

  • Last updated on