Partager via


Mappages d’ingestion

S’applique à : ✅Microsoft Fabric✅Azure Data Explorer

Les mappages d’ingestion sont utilisés pendant l’ingestion pour mapper les données entrantes aux colonnes à l’intérieur des tables.

Data Explorer prend en charge différents types de mappages, orientés lignes (CSV, JSON, AVRO et W3CLOGFILE) et orientés colonnes (Parquet et ORC).

Les mappages d’ingestion peuvent être précréés et peuvent être référencés à partir de la commande d’ingestion à l’aide ingestionMappingReference de paramètres. L’ingestion est possible sans spécifier de mappage. Pour plus d’informations, consultez mappage d’identité.

Chaque élément de la liste de mappages est construit à partir de trois champs :

Propriété Obligatoire Description
Colonne ✔️ Nom de colonne cible dans la table.
Datatype Type de données avec lequel créer la colonne mappée s’il n’existe pas déjà dans la table.
Propriétés Conteneur de propriétés contenant des propriétés spécifiques pour chaque mappage, comme décrit dans chaque page de type de mappage spécifique.

Important

Pour l’ingestion mise en file d’attente :

  • Si la table référencée dans le mappage n’existe pas dans la base de données, elle est créée automatiquement, étant donné que les types de données valides sont spécifiés pour toutes les colonnes.
  • Si une colonne référencée dans le mappage n’existe pas dans la table, elle est ajoutée automatiquement à la table en tant que dernière colonne lors de la première réception des données pour cette colonne, étant donné qu’un type de données valide est spécifié pour la colonne. Pour ajouter de nouvelles colonnes à un mappage, utilisez la commande de mappage .alter ingestion.
  • Les données sont traitées par lots à l’aide de propriétés d’ingestion. Les propriétés de mappage d’ingestion plus distinctes utilisées, telles que différentes valeurs ConstValue, sont plus fragmentées l’ingestion devient, ce qui peut entraîner une dégradation des performances.

Types de mappage pris en charge

Le tableau suivant définit les types de mappage à utiliser lors de l’ingestion ou de l’interrogation de données externes d’un format spécifique.

Format de données Type de mappage
CSV Mappage CSV
TSV Mappage CSV
TSVe Mappage CSV
PSV Mappage CSV
SCSV Mappage CSV
SOHsv Mappage CSV
TXT Mappage CSV
RAW Mappage CSV
JSON Mappage JSON
AVRO Mappage AVRO
APACHEAVRO Mappage AVRO
Parquet Mappage Parquet
ORC Mappage ORC
W3CLOGFILE mappage de W3CLOGFILE

Mappage d’identité

L’ingestion est possible sans spécifier ingestionMapping ou ingestionMappingReference propriétés. Les données sont mappées à l’aide d’un mappage de données d’identité dérivé du schéma de la table. Le schéma de table reste le même. format la propriété doit être spécifiée. Voir les formats d’ingestion.

Type de format Format Logique de mappage
Formats de données tabulaires avec un ordre défini de colonnes, tels que des formats séparés par des délimiteurs ou monolignes. CSV, TSV, TSVe, PSV, SCSV, Txt, SOHsv, Raw Toutes les colonnes de table sont mappées dans leur ordre respectif aux colonnes de données afin qu’elles apparaissent dans la source de données. Le type de données de colonne est extrait du schéma de table.
Met en forme des colonnes nommées ou des enregistrements avec des champs nommés. JSON, Parquet, Avro, ApacheAvro, Orc, W3CLOGFILE Toutes les colonnes de table sont mappées aux colonnes de données ou aux champs d’enregistrement portant le même nom (respectant la casse). Le type de données de colonne est extrait du schéma de table.

Avertissement

Toute incompatibilité entre le schéma de table et la structure des données, telles que les types de données de colonne ou de champ, les noms de colonne ou de champ, ou leur nombre, peut entraîner l’ingestion de données vides ou incorrectes.

Mappage des transformations

Certains mappages de format de données (Parquet, JSON et AVRO) prennent en charge des transformations simples et utiles dans le temps d’ingestion. Lorsque le scénario nécessite un traitement plus complexe au moment de l’ingestion, utilisez la stratégie de mise à jour, ce qui permet de définir un traitement léger à l’aide de l’expression KQL.

Transformation dépendante du chemin d’accès Description Conditions
PropertyBagArrayToDictionary Transforme le tableau JSON de propriétés, par {events:[{"n1":"v1"},{"n2":"v2"}]}exemple, en dictionnaire et le sérialise en document JSON valide, tel que {"n1":"v1","n2":"v2"}. Disponible pour JSONles types de mappage, et AVROORC les Parquettypes de mappage.
SourceLocation Nom de l’artefact de stockage qui a fourni les données, chaîne de type (par exemple, le champ « BaseUri » de l’objet blob). Disponible pour CSV, , ParquetJSON, AVRO, ORCet W3CLOGFILE les types de mappage.
SourceLineNumber Décalage relatif à cet artefact de stockage, tapez long (à partir de « 1 » et incrémentation par nouvel enregistrement). Disponible pour CSV, , ParquetJSON, AVRO, ORCet W3CLOGFILE les types de mappage.
DateTimeFromUnixSeconds Convertit le nombre représentant unix-time (secondes depuis 1970-01-01) en chaîne datetime UTC. Disponible pour CSVles types de mappage , , AVROJSONParquetet ORC pour les types de mappage.
DateTimeFromUnixMilliseconds Convertit le nombre représentant unix-time (millisecondes depuis 1970-01-01) en chaîne datetime UTC. Disponible pour CSVles types de mappage , , AVROJSONParquetet ORC pour les types de mappage.
DateTimeFromUnixMicroseconds Convertit le nombre représentant unix-time (microsecondes depuis 1970-01-01) en chaîne datetime UTC. Disponible pour CSVles types de mappage , , AVROJSONParquetet ORC pour les types de mappage.
DateTimeFromUnixNanoseconds Convertit le nombre représentant unix-time (nanosecondes depuis 1970-01-01) en chaîne datetime UTC. Disponible pour CSVles types de mappage , , AVROJSONParquetet ORC pour les types de mappage.
DropMappedFields Mappe un objet dans le document JSON à une colonne et supprime tous les champs imbriqués déjà référencés par d’autres mappages de colonnes. Disponible pour JSONles types de mappage, et AVROORC les Parquettypes de mappage.
OctetsAsBase64 Traite les données en tant que tableau d’octets et les convertit en chaîne encodées en base64. Disponible pour AVRO le type de mappage. Pour ApacheAvro le format, le type de schéma du champ de données mappé doit être bytes ou fixed un type Avro. Pour Avro le format, le champ doit être un tableau contenant des valeurs d’octets de la plage [0-255]. null est ingéré si les données ne représentent pas un tableau d’octets valide.

Exemples de transformation de mappage

DropMappedFields transformation:

Étant donné le contenu JSON suivant :

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "EventName": "CustomEvent",
        "Revenue": 0.456
    }
}

Le mappage de données suivant mappe l’ensemble Props de l’objet en colonne Props dynamique tout en excluant les colonnes déjà mappées (Props.EventName est déjà mappé dans la colonne EventName, il est donc exclu).

[
    { "Column": "Time", "Properties": { "Path": "$.Time" } },
    { "Column": "EventName", "Properties": { "Path": "$.Props.EventName" } },
    { "Column": "Props", "Properties": { "Path": "$.Props", "Transform":"DropMappedFields" } },
]

Les données ingérées se présente comme suit :

Temps EventName Propriétés
2012-01-15T10:45 CustomEvent {"Revenue": 0.456}

BytesAsBase64 transformation

Étant donné le contenu du fichier AVRO suivant :

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "id": [227,131,34,92,28,91,65,72,134,138,9,133,51,45,104,52]
    }
}

Le mappage de données suivant mappe la colonne ID deux fois, avec et sans la transformation.

[
    { "Column": "ID", "Properties": { "Path": "$.props.id" } },
    { "Column": "Base64EncodedId", "Properties": { "Path": "$.props.id", "Transform":"BytesAsBase64" } },
]

Les données ingérées se présente comme suit :

id Base64EncodedId
[227,131,34,92,28,91,65,72,134,138,9,133,51,45,104,52] 44MiXBxbQUiGigmFMy1oNA==