Partage via

Vue d’ensemble de l’agent d’ingestion

  • Article

Un agent d’ingestion charge des données dans un produit de données Azure Operator Insights. Nous fournissons un agent d’ingestion appelé agent d’ingestion Azure Operator Insights que vous pouvez installer sur une machine virtuelle Linux pour charger des données à partir de votre réseau. Cet agent d’ingestion prend en charge le chargement :

  • Flux de données Mobile Content Cloud (MCC) Event Data Record (EDR) d’Affirmed.
  • Fichiers stockés sur un serveur SFTP.

La combinaison de différents types de source dans une instance d’agent n’est pas recommandée en production, mais elle est prise en charge pour les essais et les tests de laboratoire.

Vue d’ensemble de la source MCC EDR

Un agent d’ingestion configuré avec une source MCC EDR est conçu pour une utilisation avec un cloud de contenu mobile (MCC) Affirmed Networks. Il ingère des enregistrements de données d’événement (EDR) à partir d’éléments réseau MCC et les charge dans Azure Operator Insights. Pour en savoir plus, consultez Qualité de l’expérience - Produit de données MCC Affirmed.

Vue d’ensemble de la source d’extraction SFTP

Un agent d’ingestion configuré avec une source d’extraction SFTP collecte des fichiers à partir d’un ou de plusieurs serveurs SFTP et les charge dans Azure Operator Insights.

Sources de fichiers

Un agent d’ingestion collecte des fichiers à partir de pipelines d’ingestion que vous configurez dessus. Un pipeline inclut les détails du serveur SFTP, les fichiers à collecter à partir de celui-ci et la façon de gérer ces fichiers.

Par exemple, un seul serveur SFTP peut avoir des journaux, des fichiers CSV et des fichiers texte. Vous pouvez configurer chaque type de fichier en tant que pipeline d’ingestion distinct. Pour chaque pipeline d’ingestion, vous pouvez spécifier le répertoire à partir duquel collecter des fichiers (éventuellement inclure ou exclure des fichiers spécifiques basés sur des chemins de fichiers), à quelle fréquence collecter des fichiers et d’autres options. Pour plus d’informations sur les options disponibles, consultez la section Référence de configuration pour l’agent d’ingestion Azure Operator Insights.

Les pipelines d’ingestion ont les restrictions suivantes :

  • Ils ne doivent pas se chevaucher. Ils ne doivent donc pas collecter les mêmes fichiers à partir des mêmes serveurs.
  • Vous devez configurer chaque pipeline sur un seul et unique agent. Si vous configurez un pipeline sur plusieurs agents, Azure Operator Insights reçoit des données en double.

Traitement des fichiers

L’agent d’ingestion charge des fichiers dans Azure Operator Insights pendant les exécutions de chargement planifiées. La fréquence de ces exécutions est définie dans la configuration du pipeline. Chaque exécution de chargement charge les fichiers en fonction de la configuration du pipeline :

  • Les chemins d’accès aux fichiers et les expressions régulières pour inclure et exclure les fichiers spécifient les fichiers à charger.
  • Le temps de stabilisation exclut les fichiers modifiés en dernier sur cette période de tout chargement. Par exemple, si l’exécution de chargement démarre à 05:30 et que le temps de stabilisation est de 60 secondes (une minute), l’exécution de chargement charge uniquement les fichiers modifiés avant 05:29.
  • Le moment avant lequel exclure (si défini) exclut les fichiers modifiés en dernier avant la date et l’heure spécifiées.

L’agent d’ingestion enregistre le moment de sa dernière exécution d’une exécution de chargement pour une source de fichier. Il utilise cet enregistrement pour déterminer les fichiers à charger lors de la prochaine exécution de chargement, à l’aide du processus suivant :

  1. L’agent vérifie la dernière heure enregistrée.
  2. L’agent charge tous les fichiers modifiés depuis. Il part du principe qu’il a traité des fichiers plus anciens lors d’une exécution de chargement précédente.
  3. À la fin de l’exécution de chargement :
    • Si l’agent a chargé tous les fichiers ou que les seules erreurs étaient des erreurs non contournables, l’agent met à jour l’enregistrement. La nouvelle heure est basée sur l’heure de démarrage de l’exécution de chargement, moins le temps de stabilisation.
    • Si l’exécution du chargement a eu des erreurs contournables (par exemple, si la connexion à Azure a été perdue), l’agent ne met pas à jour l’enregistrement. La non-mise à jour de l’enregistrement permet à l’agent de réessayer le chargement pour tous les fichiers qui n’ont pas été chargés correctement. Les nouvelles tentatives ne dupliquent aucune donnée précédemment chargée.

L’agent d’ingestion est conçu pour être très fiable et résister à de faibles niveaux d’interruption du réseau. Si une erreur inattendue se produit, l'agent redémarre et fournit à nouveau un service dès qu'il est en cours d'exécution. Après un redémarrage, l’agent exécute une exécution de chargement de rattrapage immédiate pour toutes les sources de fichiers configurées. Il retourne ensuite à sa planification configurée.

Authentification

L’agent d’ingestion s’authentifie auprès de deux systèmes distincts, avec des informations d’identification distinctes.

  • Pour vous authentifier auprès du point de terminaison d’ingestion d’un produit de données Azure Operator Insights, l’agent obtient un jeton SAS à partir d’un Azure Key Vault. L’agent s’authentifie auprès de ce Key Vault avec une identité managée ou un principal de service Microsoft Entra ID et un certificat que vous configurez lors de la création de l’agent.
  • Pour s’authentifier auprès de votre serveur SFTP, l’agent peut utiliser l’authentification par mot de passe ou l’authentification par clé SSH.

Pour obtenir des instructions de configuration, consultez Configurer l’authentification auprès d’Azure, Préparer les machines virtuelles et configurer le logiciel de l’agent.

Étape suivante

Installez l’agent d’ingestion Azure Operator Insights et configurez-le pour charger des données