Introducción a la detección de efectos de audio

Advertencia

En el último año, Video Indexer (VI) de Azure AI anunció la eliminación de su dependencia en Azure Media Services (AMS) debido a su retirada. Se anunciaron ajustes y cambios de características y se proporcionó una guía de migración.

La fecha límite para completar la migración fue el 30 de junio de 2024. VI ha ampliado la fecha límite de actualización y migración para que pueda actualizar su cuenta VI y participar en la migración de recursos de AMS VI hasta el 15 de julio de 2024. Para usar la migración de recursos de AMS VI, también debe ampliar la cuenta de AMS a julio. Vaya a la cuenta de AMS en Azure Portal y seleccione Haga clic aquí para ampliar.

Sin embargo, después del 30 de junio, si no ha actualizado su cuenta VI, no podrá indexar nuevos vídeos ni podrá reproducir vídeos que no se hayan migrado. Si actualiza la cuenta después del 30 de junio, puede reanudar la indexación inmediatamente, pero no podrá reproducir vídeos indexados antes de la actualización de la cuenta hasta que se migren a través de la migración de AMS VI.

Detección de efectos de audio

La detección de efectos de audio detecta información sobre eventos acústicos y las clasifica en categorías como risas, reacciones de multitud, alarmas o sirenas.

Casos de uso de efectos de audio

• Las empresas con un archivo de vídeo grande pueden mejorar la accesibilidad al ofrecer más contexto para un público con discapacidad auditiva mediante la transcripción de efectos no secundarios.
• Se ha mejorado la eficacia al crear datos sin procesar para creadores de contenido. Se pueden identificar momentos importantes en promociones y tráileres, como risas, reacciones de multitud, disparos o explosiones, por ejemplo, en Medios y Entretenimiento.
• Detección y clasificación de disparos, explosiones y desgarramientos de cristal en un sistema de ciudad inteligente o en otros entornos públicos que incluyen cámaras y micrófonos para ofrecer detección rápida y precisa de incidentes de violencia.

Visualización del JSON de información con el portal web

Una vez que haya cargado e indexado un vídeo, la información está disponible en formato JSON para su descarga mediante el portal web.

1. Seleccione la pestaña Biblioteca .
2. Seleccione los medios con los que desea trabajar.
3. Seleccione Descargar y Insights (JSON). El archivo JSON se abre en una nueva pestaña del explorador.

Busque el par de claves descrito en la respuesta de ejemplo.

Respuesta de ejemplo

    "audioEffects": [
      {
        "id": 1,
        "type": "Silence",
        "instances": [
          {
            "confidence": 0,
            "adjustedStart": "0:01:46.243",
            "adjustedEnd": "0:01:50.434",
            "start": "0:01:46.243",
            "end": "0:01:50.434"
          }
        ]
      },
      {
        "id": 2,
        "type": "Speech",
        "instances": [
          {
            "confidence": 0,
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:01:43.06",
            "start": "0:00:00",
            "end": "0:01:43.06"
          }
        ]
      }
    ]

Componentes

Durante el procedimiento de detección de efectos de audio, se procesa el audio en un archivo multimedia, como se indica a continuación:

Componente	Definición
Archivo de origen	El usuario carga el archivo de origen para la indexación.
Segmentación	El audio se analiza, se identifica el audio nonspeech y, a continuación, se divide en elementos internos superpuestos cortos.
clasificación	Un proceso de inteligencia artificial analiza cada segmento y clasifica su contenido en categorías de eventos, como la reacción de la multitud o la risa. A continuación, se crea una lista de probabilidades para cada categoría de eventos según las reglas específicas del departamento.
Nivel de confianza	El nivel de confianza estimado de cada efecto de audio se calcula como un intervalo de 0 a 1. La puntuación de confianza representa la certeza en la precisión del resultado. Por ejemplo, una certeza del 82 % se representa como una puntuación de 0,82.

Notas de transparencia

Nota de transparencia

Importante

Es importante leer la información general de la nota de transparencia para todas las características vi. Cada información también tiene notas de transparencia propias:

• Evite el uso de audio corto o de baja calidad, la detección de efectos de audio proporciona datos probabilísticos y parciales en eventos de audio no detectados. Para obtener precisión, la detección de efectos de audio requiere al menos 2 segundos de audio sin formato claro. No se admiten comandos de voz ni canto.  

• Evite el uso de audio con música de fondo fuerte o música con frecuencia repetitiva o linealmente escaneada, la detección de efectos de audio está diseñada solo para audio nopeech y, por lo tanto, no puede clasificar eventos en música alta. La música con frecuencia repetitiva o linealmente escaneada muchas se clasifican incorrectamente como alarma o sirena.

• Considere cuidadosamente los métodos de uso en las instituciones de aplicación de la ley y similares, para promover datos probabilísticos más precisos, revise detenidamente lo siguiente:

  • Los efectos de audio solo se pueden detectar en segmentos nopeech.
  • La duración de una sección nonspeech debe ser de al menos 2 segundos.
  • El audio de baja calidad podría afectar a los resultados de la detección.
  • Los eventos en música de fondo fuerte no se clasifican.
  • La música con frecuencia repetitiva o linealmente escaneada podría clasificarse incorrectamente como alarma o sirena.
  • Llamar a una puerta o golpear una puerta podría etiquetarse como un disparo o explosión.
  • Los gritos prolongados o los sonidos del esfuerzo físico humano podrían clasificarse incorrectamente.
  • Es posible que un grupo de personas se ríen como risas y multitud.
  • Se admiten sonidos de disparos y explosiones naturales y no lógicos.

Código de ejemplo

Ver todos los ejemplos de VI