Inférence de rubriques

Article
03/23/2024

Important

En raison de l’annonce de mise hors service d’Azure Media Services, Azure AI Video Indexer annonce les ajustements des fonctionnalités d’Azure AI Video Indexer. Consultez les modifications relatives à la mise hors service Azure Media Service (AMS) pour comprendre ce que cela signifie pour votre compte Azure AI Video Indexer. Consultez le guide de préparation de la mise hors service AMS : Mise à jour et migration vi.

L’inférence des rubriques est une fonctionnalité IA d’Azure AI Video Indexer qui crée automatiquement des insights déduits dérivés du contenu audio transcrit, OCR dans du texte visuel et des célébrités reconnues dans la vidéo à l’aide du modèle de reconnaissance faciale Video Indexer. Les rubriques et les catégories extraites (le cas échéant) sont répertoriées sous l’onglet Recommandations. Pour accéder à la rubrique dans le fichier multimédia, cliquez sur une rubrique -> Lire précédent ou lire suivant.

Les insights résultants sont également générés dans une liste classées dans un fichier JSON qui inclut le nom de la rubrique, le délai et le score de confiance.

Prérequis

Vue d’ensemble de la note de transparence

Principes généraux

Cet article traite des sujets et des considérations clés à prendre en compte pour utiliser cette technologie de manière responsable. Il existe de nombreuses choses à prendre en compte lors du choix de l’utilisation et de l’implémentation d’une fonctionnalité optimisée par l’IA :

Cette fonctionnalité s’exécutera-t-elle correctement dans mon scénario ? Avant de déployer des rubriques d’inférence dans votre scénario, testez son fonctionnement à l’aide de données réelles et assurez-vous qu’elle peut fournir la précision dont vous avez besoin.
Sommes-nous équipés pour identifier les erreurs et y répondre ? Les produits et fonctionnalités optimisés par l’IA ne sont pas précis à 100 %, donc réfléchissez à la façon dont vous identifierez et répondez aux erreurs qui peuvent se produire.

Afficher l’insight

Pour afficher les insights d’inférence des rubriques sur le site web.

Accédez à Recommandations et faites défiler les rubriques.

Pour afficher les instances dans un fichier JSON, procédez comme suit :

Cliquez sur Télécharger -> Insight (JSON).

Copiez le texte et collez-le topics dans votre visionneuse JSON.

"topics": [
  {
    "id": 1,
    "name": "Pens",
    "referenceId": "Category:Pens",
    "referenceUrl": "https://en.wikipedia.org/wiki/Category:Pens",
    "referenceType": "Wikipedia",
    "confidence": 0.6833,
    "iabName": null,
    "language": "en-US",
    "instances": [
      {
        "adjustedStart": "0:00:30",
        "adjustedEnd": "0:01:17.5",
        "start": "0:00:30",
        "end": "0:01:17.5"
      }
    ]
  },
  {
    "id": 2,
    "name": "Musical groups",
    "referenceId": "Category:Musical_groups",
    "referenceUrl": "https://en.wikipedia.org/wiki/Category:Musical_groups",
    "referenceType": "Wikipedia",
    "confidence": 0.6812,
    "iabName": null,
    "language": "en-US",
    "instances": [
      {
        "adjustedStart": "0:01:10",
        "adjustedEnd": "0:01:17.5",
        "start": "0:01:10",
        "end": "0:01:17.5"
      }
    ]
  },

Pour télécharger le fichier JSON via l’API, utilisez le portail des développeurs Azure AI Video Indexer.

Pour plus d’informations, consultez les rubriques.

Composants des rubriques

Pendant la procédure d’indexation des rubriques, les rubriques sont extraites, comme suit :

Composant	Définition
Langue source	L’utilisateur charge le fichier source pour l’indexation.
Pré-traitement	La transcription, l’OCR et les API de reconnaissance faciale extraient les insights du fichier multimédia.
traitement Recommandations	Les rubriques IA analysent les insights de transcription, d’OCR et de reconnaissance faciale extraits pendant le prétraitement : - Le texte transcrit, chaque ligne d’insight de texte transcrit est examinée à l’aide de technologies IA basées sur l’ontologie. - Les insights ocr et reconnaissance faciale sont examinés ensemble à l’aide de technologies d’IA basées sur l’ontologie.
Post-traitement	- Texte transcrit, les insights sont extraits et liés à une catégorie Rubrique, ainsi que le numéro de ligne du texte transcrit. Par exemple, politique à la ligne 7. - Ocr et Reconnaissance faciale, chaque insight est lié à une catégorie Rubrique avec l’heure de l’instance de la rubrique dans le fichier multimédia. Par exemple, Freddie Mercury dans les catégories Personnes et Musique à 20,00.
Valeur de confiance	Le niveau de confiance estimé de chaque rubrique est calculé sous la forme d’une plage de 0 à 1. Le score de confiance représente la certitude dans la précision du résultat. Par exemple, une certitude de 82 % est représentée sous la forme d’un score de 0,82.

Exemples de cas d’utilisation

Personnalisation utilisant l’inférence de rubriques pour correspondre aux intérêts des clients, par exemple des sites web sur l’Angleterre publiant des promotions sur les films ou festivals anglais.
Recherche approfondie d’archives pour obtenir des informations sur des sujets spécifiques afin de créer des récits de fonctionnalités sur des entreprises, des personnages ou des technologies, par exemple par une agence de presse.
Monétisation, augmentant la valeur des insights extraits. Par exemple, les industries telles que les actualités ou les médias sociaux qui s’appuient sur les revenus publicitaires peuvent fournir des publicités pertinentes à l’aide des insights extraits en tant que signaux supplémentaires au serveur publicitaire.

Considérations et limitations lors du choix d’un cas d’usage

Voici quelques considérations à prendre en compte lors de l’utilisation de rubriques :

Lorsque vous chargez un fichier, utilisez toujours du contenu vidéo de haute qualité. La taille maximale recommandée d’images est HD et la fréquence d’images est de 30 FPS. Un cadre ne doit contenir plus de 10 personnes. Lorsque vous placez des images de vidéos vers des modèles IA, envoyez seulement environ 2 ou 3 images par seconde. Le traitement de 10 images et plus peut retarder le résultat de l’IA.
Lorsque vous chargez un fichier, utilisez toujours du contenu audio et vidéo de haute qualité. Au moins 1 minute de discours conversationnel spontané est nécessaire pour effectuer une analyse. Les effets audio sont détectés uniquement dans les segments non vocaux. La durée minimale d’une section non vocale est de 2 secondes. Les commandes vocales et le chant ne sont pas pris en charge.
En règle générale, de petites personnes ou d’objets de moins de 200 pixels et de personnes assises peuvent ne pas être détectées. Personnes porter des vêtements ou uniformes similaires peut être détecté comme étant la même personne et reçoit le même numéro d’identification. Personnes ou objets qui sont obstructurés peuvent ne pas être détectés. Les pistes de personnes présentant des postures avant et arrière peuvent être divisées en différentes instances.

Lorsqu’il est utilisé de manière responsable et soigneuse, Azure AI Video Indexer est un outil précieux pour de nombreuses industries. Pour respecter la confidentialité et la sécurité des autres, et pour respecter les réglementations locales et globales, nous vous recommandons les éléments suivants :

Respectez toujours le droit d’une personne à la vie privée, et seulement ingérer des vidéos à des fins légitimes et justifiables.
Ne pas divulguer de médias inappropriés montrant des jeunes enfants ou des membres de la famille de célébrités ou d’autres contenus susceptibles de nuire ou de poser une menace pour la liberté personnelle d’un individu.
S’engager à respecter et à promouvoir les droits de l’homme dans la conception et le déploiement de vos médias analysés.
Lorsque vous utilisez des documents tiers, tenez compte des droits d’auteur ou autorisations existants requis avant de distribuer du contenu dérivé de ces documents.
Toujours demander des conseils juridiques lors de l’utilisation de médias provenant de sources inconnues.
Obtenez toujours des conseils juridiques et professionnels appropriés pour vous assurer que vos vidéos téléchargées sont sécurisées et disposent de contrôles adéquats pour préserver l’intégrité de votre contenu et empêcher l’accès non autorisé.
Fournissez un canal de commentaires qui permet aux utilisateurs et aux individus de signaler des problèmes avec le service.
Tenez compte des lois ou réglementations applicables qui existent dans votre domaine en ce qui concerne le traitement, l’analyse et le partage de médias contenant des personnes.
Gardez un humain dans la boucle. N’utilisez aucune solution pour remplacer la surveillance humaine et la prise de décision.
Examinez et examinez entièrement le potentiel de n’importe quel modèle IA que vous utilisez pour comprendre ses fonctionnalités et ses limitations.