Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Azure Data Explorer je rychlá a vysoce škálovatelná služba pro zkoumání dat protokolů a telemetrie. Azure Data Explorer poskytuje dvě klientské knihovny pro Node.js: ingestní knihovnu a datovou knihovnu. Tyto knihovny umožňují ingestovat (načítat) data do clusteru a dotazovat se na data z kódu. V tomto článku nejprve vytvoříte tabulku a mapování dat v testovacím clusteru. Pak do clusteru zařadíte příjem dat do fronty a ověříte výsledky.
Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet Azure před tím, než začnete.
Požadavky
- Účet Microsoft nebo identita uživatele Microsoft Entra. Předplatné Azure není povinné.
- Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
- Node.js nainstalované na vývojovém počítači
Nainstalujte knihovny pro data a import.
Instalujte azure-kusto-ingest a azure-kusto-data
npm i azure-kusto-ingest@^3.3.2 azure-kusto-data@^3.3.2
Přidání příkazů pro import a konstant
Import tříd z knihoven
const { Client: KustoClient, KustoConnectionStringBuilder } = require('azure-kusto-data');
const {
IngestClient: KustoIngestClient,
IngestionProperties,
IngestionDescriptors,
DataFormat,
IngestionMappingKind,
} = require("azure-kusto-ingest");
K ověření aplikace používá Azure Data Explorer VAŠE ID tenanta Microsoft Entra. Pokud chcete najít ID tenanta, postupujte podle pokynů k vyhledání ID tenanta Microsoftu 365.
Nastavte hodnoty pro authorityId, kustoUrikustoIngestUri a kustoDatabase před spuštěním tohoto kódu.
const cluster = "MyCluster";
const region = "westus";
const authorityId = "microsoft.com";
const kustoUri = `https://${cluster}.${region}.kusto.windows.net`;
const kustoIngestUri = `https://ingest-${cluster}.${region}.kusto.windows.net`;
const kustoDatabase = "Weather";
Teď sestavte připojovací řetězec. V tomto příkladu se pro přístup ke clusteru používá ověřování pomocí zařízení. Zkontrolujte výstup konzoly a dokončete ověřování. Můžete také použít certifikát aplikace Microsoft Entra, klíč aplikace a uživatele a heslo.
Cílovou tabulku a mapování vytvoříte v pozdějším kroku.
const kcsbIngest = KustoConnectionStringBuilder.withAadDeviceAuthentication(kustoIngestUri, authorityId);
const kcsbData = KustoConnectionStringBuilder.withAadDeviceAuthentication(kustoUri, authorityId);
const destTable = "StormEvents";
const destTableMapping = "StormEvents_CSV_Mapping";
Nastavení informací o zdrojovém souboru
Importujte další třídy a nastavte konstanty pro soubor zdroje dat. V tomto příkladu se používá ukázkový soubor hostovaný ve službě Azure Blob Storage. Ukázková datová sada StormEvents obsahuje data související s počasím z národních center pro informace o životním prostředí.
const container = "samplefiles";
const account = "kustosamples";
const sas = ""; // If relevant add SAS token
const filePath = "StormEvents.csv";
const blobPath = `https://${account}.blob.core.windows.net/${container}/${filePath}${sas}`;
Vytvoření tabulky v testovacím clusteru
Vytvořte tabulku, která odpovídá schématu dat v StormEvents.csv souboru. Když se tento kód spustí, vrátí zprávu jako následující: Pokud se chcete přihlásit, otevřete stránku https://microsoft.com/devicelogin pomocí webového prohlížeče a zadejte kód XXXXXXXXX k ověření. Postupujte podle kroků pro přihlášení a pak se vraťte a spusťte další blok kódu. Další bloky kódu, které vytvoří připojení, budou vyžadovat, abyste se znovu přihlásili.
const kustoClient = new KustoClient(kcsbData);
const createTableCommand = `.create table ${destTable} (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)`;
const createTableResults = await kustoClient.executeMgmt(kustoDatabase, createTableCommand);
console.log(createTableResults.primaryResults[0].toJSON().data);
Definovat mapování ingesce
Namapujte příchozí data CSV na názvy sloupců a datové typy používané při vytváření tabulky.
const createMappingCommand = `.create table ${destTable} ingestion csv mapping '${destTableMapping}' '[{"Name":"StartTime","datatype":"datetime","Ordinal":0}, {"Name":"EndTime","datatype":"datetime","Ordinal":1},{"Name":"EpisodeId","datatype":"int","Ordinal":2},{"Name":"EventId","datatype":"int","Ordinal":3},{"Name":"State","datatype":"string","Ordinal":4},{"Name":"EventType","datatype":"string","Ordinal":5},{"Name":"InjuriesDirect","datatype":"int","Ordinal":6},{"Name":"InjuriesIndirect","datatype":"int","Ordinal":7},{"Name":"DeathsDirect","datatype":"int","Ordinal":8},{"Name":"DeathsIndirect","datatype":"int","Ordinal":9},{"Name":"DamageProperty","datatype":"int","Ordinal":10},{"Name":"DamageCrops","datatype":"int","Ordinal":11},{"Name":"Source","datatype":"string","Ordinal":12},{"Name":"BeginLocation","datatype":"string","Ordinal":13},{"Name":"EndLocation","datatype":"string","Ordinal":14},{"Name":"BeginLat","datatype":"real","Ordinal":16},{"Name":"BeginLon","datatype":"real","Ordinal":17},{"Name":"EndLat","datatype":"real","Ordinal":18},{"Name":"EndLon","datatype":"real","Ordinal":19},{"Name":"EpisodeNarrative","datatype":"string","Ordinal":20},{"Name":"EventNarrative","datatype":"string","Ordinal":21},{"Name":"StormSummary","datatype":"dynamic","Ordinal":22}]'`;
const mappingCommandResults = await kustoClient.executeMgmt(kustoDatabase, createMappingCommand);
console.log(mappingCommandResults.primaryResults[0].toJSON().data);
Zařaďte zprávu do fronty k zpracování
Zařaďte zprávu do fronty ke stažení dat z blob úložiště a jejich ingestování do Azure Data Exploreru.
const defaultProps = new IngestionProperties({
database: kustoDatabase,
table: destTable,
format: DataFormat.CSV,
ingestionMappingReference: destTableMapping,
ingestionMappingKind: IngestionMappingKind.CSV,
additionalProperties: {ignoreFirstRecord: true},
});
const ingestClient = new KustoIngestClient(kcsbIngest, defaultProps);
// All ingestion properties are documented here: https://learn.microsoft.com/azure/kusto/management/data-ingest#ingestion-properties
const blobDesc = new BlobDescriptor(blobPath, 10);
try {
const ingestionResult = await ingestClient.ingestFromBlob(blobDesc, null);
} catch (err) {
// Handle errors
}
Ověření, že tabulka obsahuje data
Ověřte, že se data ingestovala do tabulky. Počkejte pět až deset minut, než se příjem dat ve frontě naplánuje a aby se data načetla do Azure Data Explorer. Potom spuštěním následujícího kódu získejte počet záznamů v StormEvents tabulce.
const query = `${destTable} | count`;
var tableResults = await kustoClient.execute(kustoDatabase, query);
console.log(tableResults.primaryResults[0].toJSON().data);
Spouštění dotazů pro řešení potíží
Přihlaste se ke https://dataexplorer.azure.com clusteru a připojte se k němu. Spuštěním následujícího příkazu v databázi zkontrolujte, jestli během posledních čtyř hodin nedošlo k selhání příjmu dat. Před spuštěním nahraďte název databáze.
.show ingestion failures
| where FailedOn > ago(4h) and Database == "<DatabaseName>"
Spuštěním následujícího příkazu zobrazte stav všech operací příjmu dat za posledních čtyři hodiny. Před spuštěním nahraďte název databáze.
.show operations
| where StartedOn > ago(4h) and Database == "<DatabaseName>" and Operation == "DataIngestPull"
| summarize arg_max(LastUpdatedOn, *) by OperationId
Vyčistěte zdroje
Pokud máte v úmyslu postupovat podle našich dalších článků, ponechte prostředky, které jste vytvořili. Pokud ne, spusťte v databázi následující příkaz, který tabulku vyčistí StormEvents .
.drop table StormEvents