Partager via

Note de transparence pour la langue Azure dans les outils Foundry

Important

Les traductions non anglaises sont fournies uniquement pour des raisons pratiques. Consultez la EN-US version de ce document pour obtenir la version définitive.

Qu’est-ce qu’une note de transparence ?

Un système d’IA comprend non seulement la technologie, mais aussi ses utilisateurs, les personnes concernées et l’environnement dans lequel elle est déployée. Créer un système adapté à l’objectif visé exige de bien comprendre comment la technologie fonctionne, de connaître ses capacités et ses limites et de savoir comment atteindre le meilleur niveau de performance. Les notes de transparence de Microsoft sont destinées à vous aider à comprendre le fonctionnement de notre technologie d’IA, les choix que les propriétaires de systèmes peuvent faire et qui influencent le niveau de performance et le comportement du système, et l’importance d’appréhender le système dans son ensemble, en englobant la technologie, les personnes et l’environnement. Vous pouvez utiliser les notes de transparence pendant le développement ou le déploiement de votre propre système ou les partager avec les personnes qui utilisent votre système ou qui sont concernées par celui-ci.

Les notes de transparence de Microsoft font partie d’un effort plus large de Microsoft pour mettre en pratique nos principes d’IA. Pour en savoir plus, consultez les Principes de Microsoft en matière d’IA.

Principes de base de La langue Azure dans Foundry Tools

Présentation

La langue est un service cloud qui fournit des fonctionnalités de traitement en langage naturel (NLP) pour l’exploration de texte et l’analyse du texte, notamment les fonctionnalités suivantes :

Lisez la vue d’ensemble pour obtenir une présentation de chaque fonctionnalité et passez en revue les exemples de cas d’usage. Consultez les guides pratiques et la référence d’API pour comprendre plus de détails sur ce que chaque fonctionnalité fait et ce qui est retourné par le système.

Cet article contient des instructions de base sur l’utilisation responsable des fonctionnalités de langage. Lisez d’abord les informations générales, puis accédez à l’article spécifique si vous utilisez l’une des fonctionnalités ci-dessous.

Capacités

Cas d’utilisation

Les services linguistiques peuvent être utilisés dans plusieurs scénarios dans divers secteurs d’activité. Voici quelques exemples répertoriés par fonctionnalité :

  • Utilisez la reconnaissance d'entités nommées personnalisée pour extraire des connaissances et améliorer la recherche sémantique. La recherche est fondamentale pour toute application qui présente du contenu textuel aux utilisateurs. Les scénarios courants incluent la recherche dans des catalogues ou des documents, la recherche de produits de vente au détail ou l’exploration de connaissances pour la science des données. De nombreuses entreprises issues de divers secteurs souhaitent créer une expérience de recherche enrichie à partir d’un contenu privé hétérogène comprenant à la fois des documents structurés et des documents non structurés. Dans le cadre de leur pipeline, les développeurs peuvent utiliser une NER personnalisée afin d’extraire du texte les entités pertinentes pour leur secteur d’activité. Ces entités peuvent être utilisées pour enrichir l’indexation du fichier afin d’offrir une expérience de recherche plus personnalisée.

  • Utilisez la reconnaissance d’entité nommée pour améliorer ou automatiser les processus métier. Par exemple, lors de l’examen des demandes d’assurance, des entités reconnues telles que le nom et l’emplacement peuvent être mises en évidence pour faciliter l’examen. Ou un ticket de support peut être généré automatiquement à partir d’un e-mail avec le nom et la société d’un client.

  • Utilisez des informations personnelles identifiables pour expurger certaines catégories d’informations personnelles de documents pour protéger la vie privée. Par exemple, si les enregistrements de contact des clients sont accessibles aux représentants du support technique de première ligne, l’entreprise peut souhaiter annuler les informations personnelles du client inutiles de l’historique des clients afin de préserver la confidentialité du client.

  • Utilisez la détection de langue pour détecter les langues pour le flux de travail métier. Par exemple, si une entreprise reçoit des e-mails dans différentes langues des clients, elle peut utiliser la détection de langue pour acheminer les e-mails par langue vers des haut-parleurs natifs pour faciliter la communication avec ces clients.

  • Utilisez l’analyse des sentiments pour surveiller les tendances positives et négatives des commentaires dans l’agrégat. Après l’introduction d’un nouveau produit, un détaillant pourrait utiliser le service sentiment pour surveiller plusieurs médias sociaux pour obtenir des mentions du produit avec leur sentiment. Ils pourraient examiner le sentiment actuel dans leurs réunions hebdomadaires sur les produits.

  • Utilisez Summarization pour extraire des informations clés à partir d’articles d’actualités publiques. Pour produire des aperçus tels que des tendances et des actualités à la une.

  • Utilisez l’extraction d’expressions clés pour afficher les tendances d’agrégation dans les données de texte. Par exemple, un cloud de mots peut être généré avec des expressions clés pour vous aider à visualiser les concepts clés dans les commentaires texte ou les commentaires. Par exemple, un hôtel peut générer un nuage de mots en fonction des expressions clés identifiées dans leurs commentaires et peut voir que les personnes commentent le plus fréquemment sur l’emplacement, la propreté et le personnel utile.

  • Utilisez Analyse de texte pour la santé pour les connaissances et l'extraction des statistiques. Identifiez les entités médicales telles que les symptômes, les médicaments et les diagnostics dans les notes cliniques et divers documents cliniques. Utilisez ces informations pour produire des insights et des statistiques sur les populations de patients, rechercher des documents cliniques, des documents de recherche et des publications.

  • Utilisez la classification de texte personnalisée pour le triage automatique des messages électroniques ou des tickets. Les centres de support de tous types reçoivent un volume élevé d'e-mails ou de tickets contenant du texte non structuré, de forme libre et des pièces jointes. Le délai de lecture de ces e-mails, d’accusé de réception et de routage vers les experts des équipes internes est crucial. Le triage des e-mails à cette échelle implique que des personnes les lisent et les renvoient aux bons services, ce qui prend du temps et des ressources. La classification de texte personnalisée peut permettre d’analyser le triage du texte entrant et de catégoriser le contenu pour qu’il soit automatiquement routé vers le service approprié qui prendra des mesures supplémentaires.

  • Utilisez Conversational Language Understanding pour créer des bots conversationnels de bout en bout. Utilisez la CLU pour créer et entraîner un modèle personnalisé de compréhension de langage naturel reposant sur un domaine spécifique et les énoncés attendus des utilisateurs. Intégrez-le à n’importe quel chatbot complet pour qu’il puisse traiter et analyser le texte entrant en temps réel et ainsi identifier l’intention du texte et en extraire les informations importantes. Faites exécuter l’action souhaitée au bot en fonction de l’intention et des informations extraites. Il peut s’agir par exemple d’un bot personnalisé de vente au détail pour des achats en ligne ou des commandes alimentaires.

  • Utilisez la réponse aux questions pour le support client. Dans la plupart des scénarios de support client, les questions courantes sont fréquemment posées. La réponse aux questions vous permet de créer instantanément un bot de conversation à partir du contenu de support existant, et ce bot peut agir comme système de première ligne pour gérer les requêtes des clients. Si les questions ne peuvent pas être répondues par le bot, des composants supplémentaires peuvent aider à identifier et à signaler la question pour l’intervention humaine.

Limites

La qualité du texte entrant dans le système affectera vos résultats.

Les fonctionnalités linguistiques traitent uniquement le texte. La fidélité et la mise en forme du texte entrant affectent les performances du système. Veillez à prendre en compte les éléments suivants :

  • La qualité de la transcription vocale peut affecter la qualité des résultats. Si vos données sources sont vocales, veillez à utiliser la combinaison de haute qualité de transcription automatique et humaine pour garantir les meilleures performances. Envisagez d’utiliser des modèles vocaux personnalisés pour obtenir des résultats de meilleure qualité.

  • Le manque de ponctuation ou de casse normalisée peut affecter la qualité de vos résultats. Si vous utilisez un système de reconnaissance vocale, comme Azure Speech dans Les outils Foundry pour le texte, veillez à sélectionner l’option permettant d’inclure la ponctuation.

  • La qualité de la reconnaissance optique de caractères (OCR) peut affecter la qualité du système. Si vos données sources sont des images et que vous utilisez la technologie OCR pour générer le texte, le texte généré de manière incorrecte peut affecter les performances du système. Envisagez d’utiliser des modèles OCR personnalisés pour améliorer la qualité des résultats.

  • Si vos données incluent des fautes d’orthographe fréquentes, envisagez d’utiliser la vérification orthographique Bing pour corriger les fautes d’orthographe.

  • Les données tabulaires peuvent ne pas être identifiées correctement en fonction de la façon dont vous envoyez le texte du tableau au système. Évaluez la façon dont vous envoyez du texte à partir de tables dans des documents sources au service. Pour les tables des documents, envisagez d’utiliser Azure Document Intelligence dans Foundry Tools ou un service similaire. Cela vous permet d’obtenir les clés et les valeurs appropriées à envoyer à Language avec des clés contextuelles qui sont suffisamment proches des valeurs pour que le système reconnaisse correctement les entités.

  • Microsoft a formé ses modèles de fonctionnalités de langage (à l’exception de la détection de langue) à l’aide de données de texte en langage naturel composées principalement de phrases et de paragraphes entièrement formés. Par conséquent, l’utilisation de ce service pour les données qui ressemblent le plus étroitement à ce type de texte génère les meilleures performances. Nous vous recommandons d’éviter l’utilisation de ce service pour évaluer les phrases et expressions incomplètes dans la mesure du possible, car les performances peuvent être réduites.

  • Le service prend uniquement en charge le texte de langue unique. Si votre texte inclut plusieurs langues, par exemple « le sandwich était bueno », la sortie peut ne pas être exacte.

  • Le code de langue doit correspondre à la langue du texte d’entrée pour obtenir des résultats précis. Si vous n’êtes pas sûr de la langue d’entrée, vous pouvez utiliser la fonctionnalité de détection de langue.

Meilleures pratiques pour améliorer le niveau de performance du système

Certaines fonctionnalités du langage retournent des scores de confiance et peuvent être évaluées à l’aide de l’approche décrite dans les sections suivantes. D’autres fonctionnalités qui ne retournent pas de score de confiance (par exemple, l’extraction de mots clés et la synthèse) doivent être évaluées à l’aide de différentes méthodes.

Comprendre les scores de confiance pour l’analyse des sentiments, la reconnaissance d’entité nommée, la détection de langage et les fonctions de santé

Le sentiment, la reconnaissance d’entité nommée, la détection de langue et les fonctions de santé retournent tous un score de confiance dans le cadre de la réponse du système. Il s’agit d’un indicateur de la confiance du service avec la réponse du système. Une valeur plus élevée indique que le service est plus confiant que le résultat est exact. Par exemple, le système reconnaît l’entité de la catégorie Numéro de permis de conduire américain sur le texte 555 555 555 lorsque le texte « Mon numéro de permis de conduire NY est 555 555 555 » avec un score de .75 et peut reconnaître la catégorie Numéro de permis de conduire américain sur le texte 555 555 555 avec un score de .65 lorsque le texte « Mon numéro de permis de conduire NY est 555 555 555 ». Étant donné le contexte plus spécifique dans le premier exemple, le système est plus confiant dans sa réponse. Dans de nombreux cas, la réponse système peut être utilisée sans examiner le score de confiance. Dans d’autres cas, vous pouvez choisir d’utiliser une réponse uniquement si son score de confiance est supérieur à un seuil de score de confiance spécifié.

Comprendre et mesurer les performances

Les performances des fonctionnalités linguistiques sont mesurées en examinant la façon dont le système reconnaît les concepts de NLP pris en charge (à une valeur seuil donnée par rapport à un juge humain).) Pour l’extraction d’entité nommée (NER), par exemple, on peut compter le nombre réel d’entités de numéros de téléphone dans un texte basé sur le jugement humain, puis comparer avec la sortie du système à partir du traitement du même texte. La comparaison du jugement humain avec les entités reconnues par le système vous permettrait de classer les événements en deux types d’événements corrects (ou « vrais ») et deux types d’événements incorrects (ou « faux »).

Résultat Correct/Incorrect Definition Example
Vrai positif Correct Le système renvoie le même résultat que celui attendu d’un juge humain. Le système reconnaît correctement l’entité PII de la catégorie Numéro de téléphone sur le texte 1-234-567-8910 lorsque le texte est donné : « Vous pouvez me contacter au numéro de mon bureau 1-234-567-9810 ».
Vrai négatif Correct Le système ne retourne pas de résultat et s’aligne sur ce qui serait attendu du juge humain. Le système ne reconnaît aucune entité d’identification personnelle lorsque le texte est donné : « Vous pouvez m’atteindre au numéro de mon bureau ».
Faux positif Incorrect Le système renvoie un résultat où un juge humain ne le ferait pas. Le système reconnaît incorrectement l’entité PII de la catégorie Numéro de téléphone pour le numéro de bureau de texte lorsque le texte est donné : « Vous pouvez m’atteindre à mon numéro de bureau ».
Faux négatif Incorrect Le système ne retourne pas de résultat lorsqu’un juge humain le ferait. Le système manque incorrectement une entité PII numéro de téléphone sur le texte 1-234-567-8910 lorsque le texte est donné : « Vous pouvez me contacter au bureau numéro 1-234-567-9810 ».

Les fonctionnalités linguistiques ne sont pas toujours correctes. Vous rencontrerez probablement des erreurs de type faux négatif et faux positif. Il est important de prendre en compte la façon dont chaque type d’erreur affectera votre système. Réfléchissez soigneusement aux scénarios où les événements vrais ne seront pas reconnus et où des événements incorrects seront reconnus et quels effets en aval peuvent être dans votre implémentation. Veillez à créer des méthodes pour identifier, signaler et répondre à chaque type d’erreur. Planifiez régulièrement l’examen des performances de votre système déployé pour vous assurer que les erreurs sont gérées de manière appropriée.

Comment définir des seuils de score de confiance

Vous pouvez choisir de prendre des décisions dans votre système en fonction du score de confiance retourné par le système. Vous pouvez ajuster le seuil de score de confiance que votre système utilise pour répondre à vos besoins. S’il est plus important d’identifier toutes les instances potentielles des concepts NLP souhaités, vous pouvez utiliser un seuil inférieur. Cela signifie que vous pouvez obtenir plus de faux positifs, mais moins de faux négatifs. S’il est plus important que votre système reconnaisse uniquement les véritables instances de la fonctionnalité que vous appelez, vous pouvez utiliser un seuil plus élevé. Si vous utilisez un seuil plus élevé, vous pouvez obtenir moins de faux positifs, mais plus de faux négatifs. Différents scénarios appellent différentes approches. En outre, les valeurs de seuil peuvent ne pas avoir de comportement cohérent entre les fonctionnalités individuelles du langage et des catégories d’entités. Par exemple, ne faites pas d’hypothèses que l’utilisation d’un certain seuil pour le numéro de téléphone de la catégorie NER serait suffisante pour une autre catégorie NER, ou qu’un seuil que vous utilisez dans NER fonctionne de la même façon pour l’analyse des sentiments. Par conséquent, il est essentiel de tester votre système avec tous les seuils que vous envisagez d’utiliser avec des données réelles pour déterminer les effets de différentes valeurs de seuil de votre système dans le contexte qu’il sera utilisé.

Impartialité

Chez Microsoft, nous nous efforçons de permettre à chaque personne sur la planète d’obtenir davantage. Une partie essentielle de cet objectif est de créer des technologies et des produits équitables et inclusifs. L’équité est un sujet sociotechnique multidimensionnel et a un impact sur de nombreux aspects différents de notre développement de produits. Vous pouvez en savoir plus sur l’approche de Microsoft en matière d’équité ici.

Une dimension que nous devons prendre en compte est la façon dont le système fonctionne bien pour différents groupes de personnes. Cela peut inclure l’analyse de la précision du modèle ainsi que la mesure des performances du système complet. La recherche a montré que sans effort conscient axé sur l’amélioration des performances pour tous les groupes, il est souvent possible que les performances d’un système d’IA varient selon les groupes en fonction de facteurs tels que la race, l’ethnicité, la langue, le sexe et l’âge.

Chaque service et fonctionnalité est différent, et nos tests peuvent ne pas correspondre parfaitement à votre contexte ou couvrir tous les scénarios requis pour votre cas d’usage. Nous encourageons les développeurs à évaluer minutieusement les taux d’erreur pour le service avec des données réelles qui reflètent votre cas d’utilisation, y compris les tests avec les utilisateurs de différents groupes démographiques.

Pour la langue, certains dialectes et variétés linguistiques dans nos langues prises en charge et le texte de certains groupes démographiques peuvent ne pas encore avoir suffisamment de représentation dans nos jeux de données d’apprentissage actuels. Nous vous encourageons à consulter nos directives d’utilisation responsable et, si vous rencontrez des différences de performances, nous vous encourageons à nous informer.

Les performances varient selon les fonctionnalités et les langues

Différentes langues sont prises en charge pour chaque fonctionnalité de langue. Vous pouvez constater que les performances d’une fonctionnalité particulière ne sont pas cohérentes avec une autre fonctionnalité. En outre, vous pouvez constater que pour une fonctionnalité particulière, les performances ne sont pas cohérentes entre différents langages.

Prochaines étapes

Si vous utilisez l’une des fonctionnalités ci-dessous, veillez à consulter les informations spécifiques de cette fonctionnalité.

Voir aussi

Veillez également à passer en revue les points suivants :

  • Last updated on