Partager via


Comment créer des transcriptions étiquetées à la main

Les transcriptions étiquetées à la main sont des transcriptions mot pour mot d’un fichier audio. Vous utilisez des transcriptions étiquetées à la main pour évaluer la précision des modèles et ainsi améliorer l’exactitude de la reconnaissance, en particulier lorsque les mots sont supprimés ou remplacés de manière incorrecte. Ce guide peut vous aider à créer des transcriptions de haute qualité.

Un échantillon représentatif de données de transcription est recommandé pour évaluer la précision du modèle. Les données doivent couvrir des prononciations différentes et des orateurs différents, représentant ce que disent les utilisateurs à l’application. Pour les données de test, la durée maximale de chaque fichier audio individuel est de 2 heures.

Un grand échantillon de données de transcription est nécessaire pour améliorer la reconnaissance. Nous vous suggérons de fournir entre 1et 100 heures de données audio. Le service Speech utilise jusqu’à 100 heures d’audio pour l’entraînement (jusqu’à 20 heures pour les modèles plus anciens qui ne sont pas facturés pour l’entraînement). Chaque fichier audio individuel ne doit pas dépasser 40 secondes (jusqu’à 30 secondes pour la personnalisation de Whisper).

Ce guide comprend des sections pour les paramètres régionaux Anglais (US), Chinois mandarin et Allemand.

Les transcriptions de tous les fichiers WAV sont contenues dans un seul fichier en texte brut (.txt ou .tsv). Chaque ligne du fichier de transcription contient le nom d’un des fichiers audio, suivi de la transcription correspondante. Le nom de fichier et la transcription sont séparés par une tabulation (\t).

Par exemple :

speech01.wav	speech recognition is awesome
speech02.wav	the quick brown fox jumped all over the place
speech03.wav	the lazy dog was not amused

Les transcriptions sont normalisées en texte afin que le système puisse les traiter. Toutefois, vous devez effectuer certaines normalisations importantes avant de charger le jeu de données.

Les transcriptions étiquetées à la main pour les langues autres que l’anglais et le chinois mandarin doivent être codées en UTF-8 avec un marqueur d’ordre des octets. Pour connaître les exigences de transcription pour d’autres paramètres régionaux, consultez les sections suivantes.

fr-FR

Les transcriptions étiquetées à la main pour le contenu audio en anglais doivent être fournies sous forme de texte brut, uniquement avec des caractères ASCII. Évitez d’utiliser des caractères de ponctuation Latin-1 ou Unicode. Ces caractères sont souvent ajoutés par inadvertance pendant la copie de texte dans une application de traitement de texte la capture des données dans des pages web. Si ces caractères sont présents, veillez à les mettre à jour par une substitution ASCII appropriée.

Voici quelques exemples :

Caractères à éviter Substitution Notes
"Hello world" "Hello world" Les guillemets typographiques ouvrants et fermants sont substitués par des caractères ASCII appropriés.
John’s day John's day L’apostrophe est substituée par le caractère ASCII approprié.
It was good—no, it was great! it was good--no, it was great! Le tiret cadratin est substitué par deux traits d’union.

Normalisation du texte pour l’anglais des États-Unis

La normalisation du texte consiste à transformer les mots dans un format cohérent utilisé pendant l’entraînement d’un modèle. Si certaines règles de normalisation sont automatiquement appliquées au texte, nous vous recommandons cependant de suivre ces recommandations pendant la phase de préparation de données de transcription étiquetées à la main :

  • Développez les abréviations.
  • Écrivez les chaînes numériques non standard en lettres (comme les termes de comptabilité).
  • Les caractères non alphabétiques ou les caractères alphanumériques mixtes doivent être retranscrits comme ils se prononcent.
  • Les abréviations prononcées comme des mots n’ont pas besoin d’être modifiés (par exemple, « radar », « laser », « RAM » ou « OTAN »).
  • Écrivez les abréviations dont les lettres se prononcent en les séparant avec un espace.
  • Si vous utilisez l’audio, transcrivez les nombres en mots correspondant à l’audio (par exemple, « 101 » peut être prononcé « un zéro un » ou « cent un »).
  • Évitez de répéter des caractères, des mots ou des groupes de mots plus de trois fois, par exemple « oui oui oui oui ». Le service Speech peut supprimer des lignes avec ce type de répétition.

Voici quelques exemples de normalisation à effectuer au niveau de la transcription :

Texte d’origine Texte après la normalisation (à la main)
Dr. Bruce Banner Docteur Bruce Banner
James Bond, 007 James Bond, double oh seven
Ke$ha Kesha
How long is the 2x4 How long is the two by four
The meeting goes from 1-3pm The meeting goes from one to three pm
My blood type is O+ My blood type is O positive
Water is H20 Water is H 2 O
Play OU812 by Van Halen Play O U 8 1 2 by Van Halen
UTF-8 with BOM U T F 8 with BOM
It costs $3.14 It costs three fourteen

Les règles de normalisation suivantes sont automatiquement appliquées aux transcriptions :

  • Utilisation de lettres minuscules
  • Suppression de tous les signes de ponctuation, à l’exception des apostrophes dans les mots
  • Écriture des nombres en lettres/forme parlée, comme les montants en dollars

Voici quelques exemples de normalisation effectuée automatiquement au niveau de la transcription :

Texte d’origine Texte après la normalisation (automatique)
"Holy cow!" said Batman. holy cow said batman
"What?" said Batman’s sidekick, Robin. what said batman’s sidekick robin
Go get -em! go get em
I’m double-jointed I'm double jointed
104 Elm Street one oh four Elm street
Tune to 102.7 tune to one oh two point seven
Pi is about 3.14 pi is about three point one four

de-DE

Les transcriptions étiquetées à la main pour le contenu audio en allemand doivent être encodées en UTF-8 avec un indicateur d’ordre des octets.

Normalisation de texte pour l’allemand

La normalisation du texte consiste à transformer les mots dans un format cohérent utilisé pendant l’entraînement d’un modèle. Si certaines règles de normalisation sont automatiquement appliquées au texte, nous vous recommandons cependant de suivre ces recommandations pendant la phase de préparation de données de transcription étiquetées à la main :

  • Écrire les décimales sous la forme « , » et non « . ».
  • Écrire des séparateurs d’heure sous la forme « : » et non « . » (par exemple : 12:00 Uhr).
  • Les abréviations telles que « ca. » ne sont pas remplacées. Nous vous recommandons d’utiliser la forme parlée complète.
  • Les quatre principaux opérateurs mathématiques (+, -, * et /) sont supprimés. Nous vous recommandons de les remplacer par leur forme écrite : « plus », « minus », « mal » et « geteilt ».
  • Les opérateurs de comparaison sont supprimés (=, < et >). Nous vous recommandons de les remplacer par « gleich », « kleiner als » et « grösser als ».
  • Écrivez les fractions, telles que 3/4, sous forme écrite (par exemple, « drei viertel » au lieu de 3/4).
  • Remplacez le symbole « € » par la forme écrite « Euro ».

Voici quelques exemples de normalisation à effectuer au niveau de la transcription :

Texte d’origine Texte après la normalisation utilisateur Texte après la normalisation système
Es ist 12.23 Uhr Es ist 12:23 Uhr es ist zwölf uhr drei und zwanzig uhr
{12.45} {12,45} zwölf komma vier fünf
2 + 3 - 4 2 plus 3 minus 4 zwei plus drei minus vier

Les règles de normalisation suivantes sont automatiquement appliquées aux transcriptions :

  • Utilisation de lettres minuscules pour tout le texte
  • Suppression de toute la ponctuation, notamment les différents types de guillemets ("test", ’test’, "test„ et «test» sont acceptés)
  • Suppression des lignes contenant un des caractères spéciaux suivants : ¢ ¤ ¥ ¦ § © ª ¬ ® ° ± ² µ × ÿ ج¬
  • Écriture des nombres en forme parlée, y compris les montants en dollars ou en euros
  • Acceptation des trémas uniquement pour a, o et u. Les autres sont remplacés par « th » ou ignorés.

Voici quelques exemples de normalisation effectuée automatiquement au niveau de la transcription :

Texte d’origine Texte après la normalisation
Frankfurter Ring frankfurter ring
¡Eine Frage! eine frage
Wir, haben wir haben

ja-JP

En japonais (ja-JP), il y a une longueur maximale de 90 caractères pour chaque phrase. Les lignes dont les phrases sont plus longues sont ignorées. Pour ajouter du texte plus long, insérez un point entre deux segments de phrase.

zh-CN

Les transcriptions étiquetées à la main pour le contenu audio en chinois mandarin doivent être encodées en UTF-8 avec un indicateur d’ordre des octets. Évitez l’utilisation des signes de ponctuation de demi-largeur. Ces caractères peuvent être inclus par inadvertance pendant la préparation des données dans un programme de traitement ou la récupération de données dans des pages web. Si ces caractères sont présents, veillez à les mettre à jour par une substitution appropriée avec des caractères à pleine chasse.

Voici quelques exemples :

Caractères à éviter Substitution Notes
"你好" "你好" Les guillemets typographiques ouvrants et fermants sont substitués par des caractères appropriés.
需要什么帮助? 需要什么帮助? Le point d’interrogation est substitué par le caractère approprié.

Normalisation de texte pour le chinois Mandarin

La normalisation du texte consiste à transformer les mots dans un format cohérent utilisé pendant l’entraînement d’un modèle. Si certaines règles de normalisation sont automatiquement appliquées au texte, nous vous recommandons cependant de suivre ces recommandations pendant la phase de préparation de données de transcription étiquetées à la main :

  • Développez les abréviations.
  • Écrivez les chaînes numériques sous leur forme orale.

Voici quelques exemples de normalisation à effectuer au niveau de la transcription :

Texte d’origine Texte après la normalisation
我今年 21 我今年二十一
3 号楼 504 三号 楼 五 零 四

Les règles de normalisation suivantes sont automatiquement appliquées aux transcriptions :

  • Suppression de tous les signes de ponctuation.
  • Écriture des nombres sous la forme orale.
  • Conversion des lettres pleine largeur en lettres de demi-largeur
  • Utilisation de lettres majuscules pour tous les mots anglais.

Voici quelques exemples de normalisation automatique de la transcription :

Texte d’origine Texte après la normalisation
3.1415 三 点 一 四 一 五
¥ 3.5 三 元 五 角
w f y z W F Y Z
1992 年 8 月 8 日 一 九 九 二 年 八 月 八 日
你吃饭了吗? 你 吃饭 了 吗
下午 5:00 的航班 下午 五点 的 航班
我今年 21 岁 我 今年 二十 一 岁

Étapes suivantes