Créer un projet d’étiquetage de texte et exporter des étiquettes

Découvrez comment créer et exécuter des projets d'étiquetage de données pour étiqueter des données textuelles dans Azure Machine Learning. Spécifiez une ou plusieurs étiquettes à appliquer à chaque élément de texte.

Vous pouvez également utiliser l’outil d’étiquetage des données pour créer un projet d’étiquetage d’image.

Fonctionnalités d’étiquetage textuel

L’étiquetage des données Azure Machine Learning est un emplacement central pour créer, gérer et superviser les projets d’étiquetage des données :

  • Coordonnez les données, les étiquettes et les membres de l’équipe pour gérer efficacement les tâches d’étiquetage.
  • Suivez la progression et gérez la file d’attente des tâches d’étiquetage incomplètes.
  • Démarrez et arrêtez le projet pour contrôler la progression de l’étiquetage.
  • Passez en revue les données étiquetées et exportez-les en tant que jeu de données Azure Machine Learning.

Important

Les données textuelles doivent être disponibles dans un magasin de données d’objets blob Azure. (Si vous ne disposez pas d’un magasin de données, vous pouvez charger des fichiers pendant la création du projet.)

Formats de données disponibles pour les données de texte :

  • .txt : chaque fichier représente un seul élément à étiqueter.
  • .csv ou .tsv : chaque ligne représente un élément présenté à l’étiqueteur. Vous décidez quelles colonnes l’étiqueteur peut voir pour étiqueter la ligne.

Prérequis

  • Les données à étiqueter, dans des fichiers locaux ou un stockage Blog Azure.
  • L’ensemble d’étiquettes à appliquer.
  • Des instructions pour l’étiquetage.
  • Un abonnement Azure. Si vous n’avez pas d’abonnement Azure, créez un compte gratuit avant de commencer.
  • Un espace de travail Machine Learning. Consultez Créer un espace de travail Microsoft Azure Machine Learning.

Pour un projet d’étiquetage textuel

Les projets d’étiquetage sont administrés à partir d’Azure Machine Learning. La page Étiquetage des données permet de gérer les projets.

Si vos données se trouvent déjà dans le Stockage Blob Azure, vous devez les rendre disponibles sous la forme d’un magasin de données avant de créer le projet d’étiquetage.

  1. Pour créer un projet, sélectionnez Ajouter un projet. Donnez au projet un nom approprié. Le nom du projet ne peut pas être réutilisé, même si le projet est supprimé ultérieurement.

  2. Sélectionnez Texte pour créer un projet d’étiquetage de texte.

    Création d’un projet d’étiquetage de texte

    • Choisissez Classification de texte multiclasse pour les projets quand vous voulez appliquer une seule étiquette issue d’un ensemble d’étiquettes à chaque morceau de texte.
    • Choisissez Classification de texte multiétiquette pour les projets quand vous voulez appliquer une ou plusieurs étiquettes issue d’un ensemble d’étiquettes à chaque morceau de texte.
    • Choisissez Reconnaissance d’entité nommée de texte pour des projets lorsque vous souhaitez appliquer des étiquettes à un ou plusieurs mots de texte dans chaque entrée.
  3. Quand vous êtes prêt à continuer, sélectionnez Suivant.

Ajouter du personnel (facultatif)

Ne sélectionnez utiliser une société d’étiquetage des fournisseurs de la Place de marché Azure que si vous avez engagé une société d’étiquetage des données à partir de la Place de marché Azure. Sélectionnez ensuite le fournisseur. Si votre fournisseur ne figure pas dans la liste, désélectionnez cette option.

Assurez-vous d’abord de contacter le fournisseur et de signer un contrat. Pour plus d’informations, consultez Utiliser une société d’étiquetage de données (préversion).

Sélectionnez Suivant pour continuer.

Sélectionner ou créer un jeu de données

Si vous avez déjà créé un jeu de données qui contient vos données, sélectionnez-le dans la liste déroulante Sélectionner un jeu de données existant. Sinon, sélectionnez Créer un jeu de données pour utiliser un magasin de données Azure existant ou pour charger des fichiers locaux.

Notes

Un projet ne peut pas contenir plus de 500 000 fichiers. Si votre jeu de données en contient davantage, seuls les 500 000 premiers fichiers sont chargés.

Créer un jeu de données à partir d’un magasin de données Azure

Dans de nombreux cas, il suffit de charger des fichiers locaux. Toutefois, l’Explorateur Stockage Azure constitue un moyen plus rapide et plus robuste de transférer une grande quantité de données. Nous recommandons l’Explorateur Stockage en tant que méthode par défaut pour déplacer des fichiers.

Pour créer un jeu de données à partir de données que vous avez déjà stockées dans le Stockage Blob Azure :

  1. Sélectionnez Créer un jeu de données>À partir du magasin de données.
  2. Affectez un Nom à votre jeu de données.
  3. Choisissez le type de jeu de données :
    • Sélectionnez Tabulaire si vous utilisez un fichier .csv ou .tsv, où chaque ligne contient une réponse.
    • Sélectionnez Fichier si vous utilisez des fichiers .txt distincts pour chaque réponse.
  4. (Facultatif) Fournissez une description pour votre jeu de données.
  5. Sélectionnez Suivant.
  6. Sélectionnez le magasin de données.
  7. Si vos données se trouvent dans un sous-dossier de votre Stockage Blob, choisissez Parcourir pour sélectionner le chemin.
    • Ajoutez « /** » au chemin pour inclure tous les fichiers des sous-dossiers du chemin sélectionné.
    • Ajoutez « **/. » pour inclure toutes les données figurant dans le conteneur actuel et ses sous-dossiers.
  8. Sélectionnez Suivant.
  9. Vérifiez les détails. Sélectionnez Précédent pour modifier les paramètres, ou Créer pour créer le jeu de données.

Créer un jeu de données à partir des données chargées

Pour charger directement vos données :

  1. Sélectionnez Créer un jeu de données>À partir de fichiers locaux.
  2. Affectez un Nom à votre jeu de données.
  3. Choisissez le type de jeu de données.
    • Sélectionnez Tabulaire si vous utilisez un fichier .csv ou .tsv, où chaque ligne est une réponse.
    • Sélectionnez Fichier si vous utilisez des fichiers .txt distincts pour chaque réponse.
  4. (Facultatif) Fournissez une description de votre jeu de données.
  5. Sélectionnez Suivant.
  6. (Facultatif) Sélectionnez ou créez un magasin de données. Ou conservez la sélection par défaut pour charger dans le magasin d’objets blob par défaut (« workspaceblobstore ») de votre espace de travail Machine Learning.
  7. Sélectionnez Charger pour choisir les fichiers ou dossiers locaux à charger.
  8. Sélectionnez Suivant.
  9. Si vous chargez des fichiers .csv ou .tsv :
    • Confirmez les paramètres et l’aperçu, puis sélectionnez Suivant.
    • Incluez toutes les colonnes de texte que vous souhaitez que l’étiqueteur affiche lors de la classification de cette ligne. Si vous utilisez l’étiquetage assisté par ML, l’ajout de colonnes numériques peut dégrader le modèle d’assistance ML.
    • Sélectionnez Suivant.
  10. Vérifiez les détails. Sélectionnez Précédent pour modifier les paramètres, ou Créer pour créer le jeu de données.

Configurer une actualisation incrémentielle

Si vous envisagez d’ajouter de nouveaux fichiers à votre jeu de données, utilisez l’actualisation incrémentielle pour les ajouter à votre projet.

Quand l’actualisation incrémentielle à intervalles réguliers est activée, des recherches sont régulièrement effectuées dans le jeu de données pour que de nouveaux fichiers soient ajoutés à un projet, en fonction du taux de progression de l’étiquetage. La recherche de nouvelles données s’arrête quand le projet contient le nombre maximal de 500 000 fichiers.

Sélectionnez Activer l’actualisation incrémentielle à intervalles réguliers quand vous souhaitez que votre projet supervise en continu les nouvelles données dans le magasin de données.

Désélectionnez cette option si vous ne voulez pas que les nouveaux fichiers du magasin de données soient ajoutés automatiquement à votre projet.

Important

Ne créez pas de nouvelle version pour le jeu de données que vous souhaitez mettre à jour. Si vous le faites, les mises à jour ne seront pas visibles, car le projet d’étiquetage des données est rattaché à la version initiale. Au lieu de cela, utilisez l’Explorateur Stockage Azure pour modifier vos données dans le dossier approprié du Stockage Blob.

Une fois le projet créé, utilisez l’onglet Détails pour changer l’actualisation incrémentielle, afficher l’horodatage de la dernière actualisation et demander une actualisation immédiate des données.

Notes

L’actualisation incrémentielle n’est pas disponible pour les projets qui utilisent une entrée de jeu de données tabulaire (.csv ou .tsv). Toutefois, seuls les nouveaux fichiers tabulaires sont ajoutés. Les modifications apportées aux fichiers tabulaires existants ne sont pas reconnues lors de l’actualisation.

Spécifier des catégories d’étiquettes

Dans la page Catégories d’étiquettes, spécifiez l’ensemble des classes permettant de catégoriser vos données. La précision et la vitesse de vos étiqueteurs dépendent de leur capacité à choisir parmi les classes. Par exemple, au lieu d’indiquer le genre et l’espèce complets de plantes ou d’animaux, utilisez un code de champ ou abrégez le genre.

Vous pouvez utiliser une liste plate ou créer des groupes d’étiquettes.

  • Pour créer une liste plate, sélectionnez + Ajouter une catégorie d’étiquette et créez chaque étiquette.

    Capture d’écran : Ajouter une structure plate pour les étiquettes.

  • Pour créer des étiquettes dans des groupes différents, sélectionnez + Ajouter une catégorie d’étiquette et créez les étiquettes de premier niveau. Sélectionnez ensuite + sous chaque premier niveau pour créer le niveau suivant d’étiquettes pour cette catégorie. Vous pouvez créer jusqu’à six niveaux dans chaque groupe.

    Capture d’écran : Ajouter des groupes d’étiquettes.

Vous pouvez sélectionner des étiquettes de tout niveau pendant le processus d’étiquetage. Par exemple, les étiquettes Animal, Animal/Cat, Animal/Dog, Color, Color/Black, Color/White et Color/Silver sont toutes des choix possibles pour une étiquette. Dans un projet multi-étiquette, il n’y a pas d’obligation de choisir une étiquette de chaque catégorie. Si c’est votre intention, veillez à indiquer cette information dans vos instructions.

Décrivez la tâche d’étiquetage des données

Il est important d’expliquer clairement la tâche d’étiquetage. Dans la page Instructions d’étiquetage, vous pouvez soit ajouter un lien vers un site externe où trouver des instructions relatives à l’étiquetage, soit fournir des instructions dans la zone d’édition de la page. Veillez à ce que les instructions soient axées sur la tâche et appropriées pour le public. Prenez en compte les questions suivantes :

  • Quelles sont les étiquettes qu’ils vont voir, et comment vont-ils les choisir ? Existe-t-il un texte de référence à consulter ?
  • Que doivent-ils faire si aucune étiquette ne semble appropriée ?
  • Que doivent-ils faire si plusieurs étiquettes semblent appropriées ?
  • Quel seuil de confiance doivent-ils appliquer à une étiquette ? Voulez-vous qu’ils exercent leur « meilleur jugement » s’ils hésitent ?
  • Que doivent-ils faire avec des objets partiellement masqués ou qui se chevauchent ?
  • Que doivent-ils faire si un objet est coupé par le bord de l’image ?
  • Que doivent-ils faire après avoir soumis une étiquette, s’ils pensent avoir commis une erreur ?
  • Que dois-je faire s’ils découvrent des problèmes de qualité d’image, notamment des conditions d’éclairage médiocres, des reflets, une perte de focalisation, un arrière-plan indésirable inclus, des angles de caméra anormaux, etc. ?
  • Que dois-je faire si plusieurs réviseurs présentent des opinions différentes sur les étiquettes ?

Notes

Notez bien que les étiqueteurs peuvent sélectionner les 9 premières étiquettes à l’aide des touches numériques allant de 1 à 9.

Contrôle qualité (préversion)

Pour obtenir des étiquettes plus précises, accédez à la page Contrôle qualité pour envoyer chaque élément à plusieurs étiqueteurs.

Important

L’étiquetage de consensus est actuellement en préversion publique. La préversion est fournie sans contrat de niveau de service et n’est pas recommandée pour les charges de travail en production. Certaines fonctionnalités peuvent être limitées ou non prises en charge. Pour plus d’informations, consultez Conditions d’Utilisation Supplémentaires relatives aux Évaluations Microsoft Azure.

Sélectionnez Activer l’étiquetage par consensus (préversion) pour que chaque élément soit envoyé à plusieurs étiqueteurs. Ensuite, définissez Nombre minimal d’étiqueteurs et Nombre maximal d’étiqueteurs pour spécifier le nombre d’étiqueteurs à utiliser. Assurez-vous de disposer du nombre maximal d’étiqueteurs. Vous ne pourrez plus modifier ces paramètres une fois le projet commencé.

Si un consensus est atteint à partir du nombre minimal d’étiqueteurs, l’élément est étiqueté. Dans le cas où aucun consensus n’est atteint, il est envoyé à d’autres étiqueteurs. En l’absence de consensus une fois que l’élément a atteint le nombre maximal d’étiqueteurs, son état devient Needs Review. Le propriétaire du projet est alors responsable de l’étiquetage de l’élément.

Utiliser l’étiquetage des données assisté par ML

La page Étiquetage assisté par ML vous permet de déclencher des modèles Machine Learning automatiques pour accélérer les tâches d’étiquetage. L’étiquetage assisté par ML est disponible pour les entrées de données de texte au format Fichier (.txt) ou Tabulaire (.csv). Pour utiliser l’étiquetage assisté par ML :

  • Sélectionnez Activer l’étiquetage assisté par ML.
  • Sélectionnez la Langue du jeu de données pour le projet. Toutes les langues prises en charge par la classe TextDNNLanguages figurent dans cette liste.
  • Spécifiez une cible de calcul à utiliser. Si votre espace de travail n’en contient pas, un cluster de calcul est créé pour vous et ajouté à votre espace de travail. Le cluster est créé avec un minimum de 0 nœud, ce qui signifie qu’il ne coûte rien quand il n’est pas utilisé.

Comment fonctionne l’étiquetage assisté par ML ?

Au début de votre projet d’étiquetage, les éléments sont mélangés dans un ordre aléatoire pour réduire le biais potentiel. Cependant, le biais éventuellement présent dans le jeu de données se reflète dans le modèle entraîné. Par exemple, si 80 % de vos éléments appartiennent à une même classe, environ 80 % des données utilisées pour l’entraînement du modèle feront partie de cette classe.

Pour entraîner le modèle DNN de texte utilisé par l’étiquetage assisté par ML, le texte d’entrée par exemple d’entraînement est limité environ aux 128 premiers mots du document. Pour des entrées tabulaires, toutes les colonnes de texte sont d’abord concaténées avant l’application de cette limite. Cette limite pratique est imposée pour terminer l’entraînement du modèle dans un délai convenable. Le texte réel dans un document (entrées au format Fichier) ou un ensemble de colonnes de texte (entrées au format Tabulaire) peut dépasser 128 mots. La limite ne concerne que ce qui est exploité en interne par le modèle durant le processus d’entraînement.

Le nombre exact d’éléments étiquetés nécessaires au démarrage de l’étiquetage assisté n’est pas un nombre fixe. Celui-ci peut varier considérablement d’un projet d’étiquetage à un autre en fonction de nombreux facteurs, notamment le nombre de classes d’étiquettes et la répartition des étiquettes.

Dans le cadre de l’étiquetage par consensus, l’étiquette de consensus est utilisée pour l’apprentissage.

Sachant que les étiquettes finales dépendent encore de l’entrée de l’étiqueteur, cette technologie d’étiquetage est parfois appelée Opérateur humain dans la boucle.

Notes

L’étiquetage des données assisté par ML ne prend pas en charge les comptes de stockage par défaut sécurisés derrière un réseau virtuel. Vous devez utiliser un compte de stockage autre que celui par défaut pour l’étiquetage des données assisté par ML. Le compte de stockage autre que celui par défaut peut être sécurisé derrière le réseau virtuel.

Préétiquetage

Après l’envoi d’un nombre suffisant d’étiquettes à des fins d’entraînement, le modèle entraîné est utilisé pour prédire les étiquettes. L’étiqueteur voit dès lors les pages qui contiennent les étiquettes prédites déjà présentes dans chaque élément. La tâche doit ensuite examiner ces prédictions et corriger les éléments mal étiquetés avant d’envoyer la page.

Une fois qu’un modèle Machine Learning a été entraîné sur vos données étiquetées manuellement, le modèle est évalué sur un ensemble d’éléments de test étiquetés manuellement pour déterminer sa précision à plusieurs seuils de confiance. Ce processus d’évaluation sert à déterminer le seuil de confiance au-dessus duquel le modèle est suffisamment précis pour afficher des préétiquettes. Le modèle est ensuite évalué par rapport aux données non étiquetées. Les éléments dont les prédictions ont un niveau de confiance supérieur à ce seuil sont utilisés pour le préétiquetage.

Initialisez le projet d’étiquetage des données

Une fois le projet d’étiquetage initialisé, certains de ses aspects sont non modifiables. Vous ne pouvez pas changer le type de tâche ou le jeu de données. Vous pouvez modifier les étiquettes et l’URL de la description de la tâche. Passez en revue attentivement les paramètres avant de créer le projet. Une fois le projet envoyé, vous êtes redirigé vers la page d’accueil Étiquetage des données, qui indique Initialisation comme état du projet.

Notes

Cette page peut ne pas s’actualiser automatiquement. Donc, après une pause, actualisez manuellement la page pour que l’état du projet indique Créé.

Exécuter et surveiller le projet

Une fois le projet initialisé, Azure commence à l’exécuter. Sélectionnez le projet dans la page Étiquetage des données principale pour voir les détails du projet.

Pour mettre en pause ou redémarrer le projet, changez l’état En cours d’exécution en haut à droite. Vous pouvez uniquement étiqueter des données quand le projet est en cours d’exécution.

tableau de bord

L’onglet Tableau de bord affiche la progression de la tâche d’étiquetage.

Tableau de bord d’étiquetage des données textuelles

Le graphique de progression indique le nombre d’éléments étiquetés, ignorés ou non encore terminés. Pointez sur le graphique pour afficher le nombre d’éléments dans chaque section.

La section centrale affiche la file d’attente des tâches à affecter. Si l’étiquetage assisté par ML est activé, vous verrez également le nombre d’éléments préétiquetés.

Dans la partie droite se trouve une distribution des étiquettes pour les tâches qui sont terminées. Notez que, dans certains types de projets, un élément peut avoir plusieurs étiquettes, auquel cas le nombre total d’étiquettes peut être supérieur au nombre total d’éléments.

Onglet Données

Sous l’onglet Données, vous pouvez voir votre jeu de données et passer en revue les données étiquetées. Faites défiler les données étiquetées pour afficher les étiquettes. Si vous voyez des données étiquetées de manière incorrecte, sélectionnez-les, puis choisissez Rejeter. Les étiquettes sont alors supprimées et les données replacées en file d’attente des données sans étiquette.

Si votre projet utilise l’étiquetage par consensus, passez également en revue les images sans consensus. Pour ce faire :

  1. Sélectionnez l’onglet Données .

  2. À gauche, sélectionnez Passer en revue les étiquettes.

  3. En haut à droite, sélectionnez Tous les filtres.

    Capture d’écran : sélectionnez les filtres pour passer en revue les problèmes d’étiquette de consensus.

  4. Sous Points de données étiquetés, sélectionnez Étiquettes de consensus nécessitant une vérification. Seules apparaissent les images pour lesquelles aucun consensus n’a été obtenu parmi les étiqueteurs.

    Capture d’écran : sélectionnez les étiquettes nécessitant une révision.

  5. Pour chaque élément exigeant une vérification, sélectionnez la liste déroulante Étiquette de consensus pour afficher les étiquettes en conflit.

    Capture d’écran : sélectionnez la liste déroulante Étiquette de consensus pour passer en revue les étiquettes en conflit.

  6. Bien qu’il soit possible de sélectionner une personne pour voir uniquement ses étiquettes, vous ne pouvez mettre à jour et rejeter que les étiquettes du premier choix, Étiquette de consensus (préversion).

Onglet Détails

Affichez et modifiez les détails de votre projet. Dans cet onglet, vous pouvez :

  • Afficher les détails du projet et les jeux de données d’entrée
  • Activez ou désactivez l’actualisation incrémentielle à intervalles réguliers, ou demandez une actualisation immédiate.
  • Afficher les détails du conteneur de stockage utilisé pour stocker les sorties étiquetées dans votre projet
  • Ajouter des étiquettes à votre projet
  • Modifier les instructions que vous donnez à vos étiquettes

Accès pour les étiqueteurs

Toute personne disposant d’un accès Contributeur ou Propriétaire à votre espace de travail peut étiqueter les données de votre projet.

Vous pouvez également ajouter des utilisateurs et personnaliser les autorisations afin qu’ils puissent accéder à l’étiquetage, mais pas à d’autres parties de l’espace de travail ni à votre projet d’étiquetage. Pour plus d’informations, consultez Ajouter des utilisateurs à votre projet d’étiquetage de données.

Ajouter de nouvelles étiquettes à un projet

Pendant le processus d’étiquetage des données, vous souhaiterez peut-être ajouter d’autres étiquettes pour classer vos éléments. Par exemple, vous pouvez ajouter une étiquette « inconnu » ou « autre » pour indiquer des images pouvant prêter à confusion.

Pour ajouter une ou plusieurs étiquettes à un projet, effectuez les étapes suivantes :

  1. Sélectionnez le projet dans la page Étiquetage des données principale.
  2. En haut à droite de la page, basculez En cours d’exécution sur Mis en pause pour arrêter les étiqueteurs dans leur activité.
  3. Sélectionnez l’onglet Détails.
  4. Dans la liste à gauche, sélectionnez Catégories d’étiquettes.
  5. Modifiez vos étiquettes. Ajouter une étiquette
  6. Dans le formulaire, ajoutez votre nouvelle étiquette. Choisissez ensuite comment continuer le projet. Étant donné que vous avez modifié les étiquettes disponibles, choisissez comment traiter les données déjà étiquetées :
    • Recommencer en supprimant toutes les étiquettes existantes. Choisissez cette option si vous souhaitez commencer l’étiquetage depuis le début avec le nouvel ensemble complet d’étiquettes.
    • Recommencer en conservant toutes les étiquettes existantes. Choisissez cette option pour marquer toutes les données comme non étiquetées, mais en conservant les étiquettes existantes comme étiquettes par défaut pour les images précédemment étiquetées.
    • Continuer en conservant toutes les étiquettes existantes. Choisissez cette option pour laisser toutes les données déjà étiquetées telles quelles et commencer à utiliser la nouvelle étiquette pour les données qui ne sont pas encore étiquetées.
  7. Modifiez votre page d’instructions au besoin pour la ou les nouvelles étiquettes.
  8. Une fois que vous avez ajouté toutes les nouvelles étiquettes, en haut à droite de la page, basculez Mis en pause sur En cours d’exécution pour redémarrer le projet.

Exporter les étiquettes

Utilisez le bouton Exporter de la page Détails du projet de votre projet d’étiquetage. Vous pouvez exporter les données d’étiquette pour Machine Learning - Expérimentation à tout moment.

Pour tous les types de projets autres que de Reconnaissance d'entité nommée de texte, vous pouvez exporter :

Pour les projets de Reconnaissance d'entité nommée de texte, vous pouvez exporter :

  • Jeu de données Azure Machine Learning (v1) comportant des étiquettes.

  • Fichier CoNLL. Pour cette exportation, vous devrez également attribuer une ressource de calcul. Le processus d’exportation s’exécute hors connexion et génère le fichier dans le cadre d’une exécution expérimentale. Quand le fichier est prêt pour téléchargement, une notification s’affiche en haut à droite. Sélectionnez-la pour l’ouvrir. Elle contient le lien vers le fichier.

    Notification pour le téléchargement de fichier.

Accédez aux jeux de données Azure Machine Learning exportés dans la section Jeux de données de Machine Learning. La page de détails du jeu de données fournit également un exemple de code pour accéder aux étiquettes à partir de Python.

Jeu de données exporté

Résolution des problèmes

Si vous rencontrez l’un de ces problèmes, suivez les conseils ci-dessous.

Problème Résolution
Seuls des jeux de données créés dans des magasins de données d’objets blob peuvent être utilisés. Il s’agit d’une limitation connue de la version actuelle.
La suppression de données dans le jeu de données utilisé par votre projet provoquera une erreur dans le projet. Ne supprimez pas de données dans la version du jeu de données que vous avez utilisé dans un projet d’étiquetage. Créez une autre version du jeu de données à utiliser pour supprimer des données.
Une fois la création effectuée, le projet affiche le message « Initialisation » pendant une longue période. Actualisez la page manuellement. L’initialisation doit se faire à environ 20 points de données par seconde. L’absence d’actualisation automatique est un problème connu.
Éléments récemment étiquetés non visibles dans la révision des données. Pour charger tous les éléments étiquetés, choisissez le bouton Premier. Le bouton Premier vous ramène au début de la liste, mais charge toutes les données étiquetées.
Impossible d’affecter un ensemble de tâches à un étiqueteur spécifique. Il s’agit d’une limitation connue de la version actuelle.

Étapes suivantes