Eigenschappen voor gegevensopname van Azure Data Explorer

  • Artikel

Gegevensopname is het proces waarmee gegevens aan een tabel worden toegevoegd en beschikbaar worden gesteld voor query's in Azure Data Explorer. U voegt eigenschappen toe aan de opdracht opname na het with trefwoord.

Opname-eigenschappen

Belangrijk

  • In de wachtrij worden gegevens opgenomen in batches met behulp van opname-eigenschappen. Hoe meer verschillende opnametoewijzingseigenschappen worden gebruikt, zoals verschillende ConstValue-waarden, hoe gefragmenteerder de opname wordt, wat kan leiden tot prestatievermindering.

De volgende tabel bevat de eigenschappen die worden ondersteund door Azure Data Explorer, een beschrijving en voorbeelden:

Eigenschap Beschrijving Voorbeeld
ingestionMapping Een tekenreekswaarde die aangeeft hoe gegevens uit het bronbestand moeten worden toegewezen aan de werkelijke kolommen in de tabel. Definieer de format waarde met het relevante toewijzingstype. Zie gegevenstoewijzingen. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(afgeschaft: avroMapping, csvMapping, jsonMapping)
ingestionMappingReference Een tekenreekswaarde die aangeeft hoe gegevens uit het bronbestand moeten worden toegewezen aan de werkelijke kolommen in de tabel met behulp van een benoemd toewijzingsbeleidsobject. Definieer de format waarde met het relevante toewijzingstype. Zie gegevenstoewijzingen. with (format="csv", ingestionMappingReference = "Mapping1")
(afgeschaft: avroMappingReference, csvMappingReference, jsonMappingReference)
creationTime De datum/tijd-waarde (opgemaakt als een ISO8601 tekenreeks) die moet worden gebruikt bij het maken van de opgenomen gegevensbereiken. Als u dit niet opgeeft, wordt de huidige waarde (now()) gebruikt. Het overschrijven van de standaardwaarde is handig bij het opnemen van oudere gegevens, zodat het bewaarbeleid correct wordt toegepast. Wanneer dit is opgegeven, moet u ervoor zorgen dat de Lookback eigenschap in het effectieve samenvoegbeleid van de doeltabel is afgestemd op de opgegeven waarde. with (creationTime="2017-02-13")
extend_schema Een Booleaanse waarde die, indien opgegeven, de opdracht instrueert om het schema van de tabel uit te breiden (standaard ingesteld op false). Deze optie is alleen van toepassing op .append opdrachten en .set-or-append . De enige toegestane schema-extensies hebben extra kolommen toegevoegd aan de tabel aan het einde. Als het oorspronkelijke tabelschema is (a:string, b:int), is (a:string, b:int, c:datetime, d:string)een geldige schema-extensie , maar (a:string, c:datetime) niet geldig
folder Voor ingest-from-query-opdrachten , de map die moet worden toegewezen aan de tabel. Als de tabel al bestaat, overschrijft deze eigenschap de map van de tabel. with (folder="Tables/Temporary")
format De gegevensindeling (zie ondersteunde gegevensindelingen). with (format="csv")
ingestIfNotExists Een tekenreekswaarde die, indien opgegeven, voorkomt dat opname slaagt als de tabel al gegevens bevat die zijn getagd met een ingest-by: tag met dezelfde waarde. Dit zorgt voor idempotente gegevensopname. Zie ingest-by: tags voor meer informatie. De eigenschappen with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') geven aan dat als er al gegevens met de tag ingest-by:Part0001 bestaan, de huidige opname niet wordt voltooid. Als deze nog niet bestaat, moet deze tag voor deze nieuwe opname zijn ingesteld (voor het geval een toekomstige opname dezelfde gegevens opnieuw probeert op te nemen.)
ignoreFirstRecord Een Booleaanse waarde die, indien ingesteld op true, aangeeft dat bij opname de eerste record van elk bestand moet worden genegeerd. Deze eigenschap is handig voor bestanden in CSVen vergelijkbare indelingen, als de eerste record in het bestand de kolomnamen zijn. false Standaard wordt ervan uitgegaan. with (ignoreFirstRecord=false)
policy_ingestiontime Een Booleaanse waarde die, indien opgegeven, beschrijft of het opnametijdbeleid moet worden ingeschakeld voor een tabel die met deze opdracht is gemaakt. De standaardwaarde is true. with (policy_ingestiontime=false)
recreate_schema Een Booleaanse waarde die, indien opgegeven, beschrijft of de opdracht het schema van de tabel opnieuw kan maken. Deze eigenschap is alleen van toepassing op de .set-or-replace opdracht. Deze eigenschap heeft voorrang op de extend_schema eigenschap als beide zijn ingesteld. with (recreate_schema=true)
tags Een lijst met tags die moeten worden gekoppeld aan de opgenomen gegevens, opgemaakt als een JSON-tekenreeks with (tags="['Tag1', 'Tag2']")
validationPolicy Een JSON-tekenreeks die aangeeft welke validaties moeten worden uitgevoerd tijdens de opname van gegevens die worden weergegeven in csv-indeling. Zie Gegevensopname voor een uitleg van de verschillende opties. with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (dit is eigenlijk het standaardbeleid)
zipPattern Gebruik deze eigenschap bij het opnemen van gegevens uit opslag met een ZIP-archief. Dit is een tekenreekswaarde die de reguliere expressie aangeeft die moet worden gebruikt bij het selecteren van de bestanden in het ZIP-archief die moeten worden opgenomen. Alle andere bestanden in het archief worden genegeerd. with (zipPattern="*.csv")

Gerelateerde inhoud