Adatok betöltése az Azure Stream Analyticsből az Azure Data Explorer

Fontos

Ez az összekötő használható a Microsoft Fabric valós idejű elemzéseiben . Használja a cikkben található utasításokat a következő kivételekkel:

• Ha szükséges, hozzon létre adatbázisokat a KQL-adatbázis létrehozása című témakör utasításai alapján.
• Ha szükséges, hozzon létre táblákat az Üres tábla létrehozása című témakörben található utasítások alapján.
• Lekérdezési vagy betöltési URI-k lekérése az URI másolása című témakör utasításai alapján.
• Lekérdezések futtatása KQL-lekérdezéskészletben.

Az Azure Data Explorer támogatja az Azure Stream Analyticsből történő adatbetöltést. Az Azure Stream Analytics egy valós idejű elemzési és összetett eseményfeldolgozó motor, amely nagy mennyiségű gyors streamelési adat egyidejű feldolgozására szolgál.

Az Azure Stream Analytics-feladatok bemeneti forrásból, átalakítási lekérdezésből és kimeneti kapcsolatból áll. Stream Analytics-feladatokat hozhat létre, szerkeszthet és tesztelhet a Azure Portal, az Azure Resource Manager (ARM) sablonokkal, a Azure PowerShell, a .NET API-val, a REST API-val, a Visual Studióval és a Stream Analytics nincs kódszerkesztővel.

Ebből a cikkből megtudhatja, hogyan gyűjthet adatokat egy eseményközpontból egy Stream Analytics-feladattal, és hogyan küldheti el azokat az Azure Data Explorer-fürtnek a Azure Portal vagy egy ARM-sablon használatával.

Előfeltételek

• Hozzon létre egy fürtöt és egy adatbázist és egy táblát.

• Hozzon létre egy eseményközpontot az Azure Stream Analytics oktatóanyagának alábbi szakaszaival:

  • Eseményközpont létrehozása
  • Az eseményközponthoz való hozzáférés engedélyezése és kapcsolati sztring beszerzése

  Tipp

  Teszteléshez javasoljuk, hogy töltse le a telefonhívás eseménygenerátor alkalmazást a Microsoft letöltőközpontból, vagy kérje le a forráskódot a GitHubról. Az Azure Stream Analytics-feladat beállításakor konfigurálja, hogy adatokat kérjen le az eseményközpontból, és adja át az Azure Data Explorer kimeneti összekötőnek.

Azure Data Explorer kimeneti kapcsolat létrehozása

Az alábbi lépésekkel azure Data Explorer kimenetet hozhat létre egy Stream Analytics-feladathoz a Azure Portal vagy ARM-sablon használatával. A Stream Analytics-feladat a kapcsolatot arra használja, hogy adatokat küldjön egy adott Azure Data Explorer táblába. A létrehozás és a feladat futtatása után a feladatba beáramló adatok a megadott céltáblába kerülnek.

Fontos

• Az Azure Data Explorer kimeneti összekötő csak a felügyelt identitás hitelesítését támogatja. Az összekötő létrehozása során az adatbázis-figyelő és az adatbázis-betöltési engedélyek az Azure Stream Analytics-feladat által felügyelt identitáshoz lesznek adva.
• Az Azure Data Explorer kimeneti összekötő beállításakor meg kell adnia a célfürt, az adatbázis és a tábla nevét. A betöltés sikerességéhez az Azure Stream Analytics-lekérdezésben definiált összes oszlopnak meg kell egyeznie az Azure Data Explorer táblában szereplő oszlopnevekkel és -típusokkal. Az oszlopnevek megkülönböztetik a kis- és nagybetűket, és bármilyen sorrendben lehetnek. Ha vannak olyan oszlopok az Azure Stream Analytics-lekérdezésben, amelyek nem képeznek le oszlopokat az Azure Data Explorer táblában, hibaüzenet jelenik meg.

Megjegyzés

• Minden Azure Stream Analytics-bemenet támogatott. Az összekötő átalakítja a bemeneteket CSV formátumba, majd importálja az adatokat a megadott Azure Data Explorer táblába.
• Az Azure Data Explorer egy adatbetöltési aggregációs (kötegelési) szabályzattal rendelkezik, amely optimalizálja a betöltési folyamatot. Alapértelmezés szerint a szabályzat alapértelmezés szerint 5 percre, 1000 elemre vagy 1 GB adatra van konfigurálva, így késést tapasztalhat. Az összesítési beállítások konfigurálásával kapcsolatos információkért lásd: kötegelési szabályzat.

Azure Portal

Mielőtt hozzákezdene, győződjön meg arról, hogy rendelkezik egy meglévő Stream Analytics-feladattal, vagy hozzon létre egy újat, majd az alábbi lépésekkel hozza létre az Azure Data Explorer-kapcsolatot.

1. Jelentkezzen be az Azure Portalra.

2. A Azure Portal nyissa meg a Minden erőforrás elemet, és válassza ki a Stream Analytics-feladatot.

3. A Feladattopológia területen válassza a Kimenetek elemet.

4. Válassza azAzure Data Explorerhozzáadása> lehetőséget.

   

5. Töltse ki a kimeneti űrlapot az alábbi adatok használatával, majd válassza a Mentés lehetőséget.

   Megjegyzés

   A fürt és az adatbázis megadásához használja az alábbi lehetőségeket:

   • Előfizetés: Válassza az Előfizetések közül az Azure Data Explorer kiválasztása lehetőséget, válassza ki az előfizetését, majd válassza ki a fürtöt és az adatbázist.
   • Manuálisan: Válassza az Azure Data Explorer beállításainak manuális megadása lehetőséget, adja meg a fürt URI-jának és adatbázisának értékét.

   Tulajdonság neve	Description
   Kimeneti alias	A lekérdezésekben használt felhasználóbarát név, amellyel a lekérdezés kimenete ebbe az adatbázisba irányítható.
   Előfizetés	Válassza ki azt az Azure-előfizetést, amelyben a fürt található.
   Fürt	A fürtöt azonosító egyedi név. A rendszer hozzáfűzi a [régiónév].kusto.windows.net tartománynevet a megadott fürtnévhez. A név csak kisbetűket és számokat tartalmazhat, 4–22 karaktert kell tartalmaznia.
   Fürt URI-ja	A fürt adatbetöltési URI-ja. Megadhatja az Azure Data Explorer vagy Azure Synapse Data Explorer adatbetöltési végpontok URI-jait.
   Adatbázis	Annak az adatbázisnak a neve, amelyben a kimenetet küldi. Az adatbázis nevének egyedinek kell lennie a fürtön belül.
   Hitelesítés	Egy Microsoft Entra felügyelt identitás, amely lehetővé teszi a fürt számára, hogy könnyen hozzáférjen más Microsoft Entra védett erőforrásokhoz. Az identitás kezelését az Azure-platform végzi, és nem szükséges hozzá semmilyen titkos kulcs kiosztása vagy rotálása. A felügyelt identitás konfigurálása lehetővé teszi, hogy ügyfél által felügyelt kulcsokat használjon a fürthöz.
   Tábla	Annak a táblának a neve, ahová a kimenetet küldi. Az Azure Stream Analytics-kimenet oszlopneveinek és adattípusainak meg kell egyeznie az Azure Data Explorer tábla sémájának.

   

Azure Resource Manager-sablon

Az alábbi példa egy Azure Resource Manager-sablont mutat be egy Azure Data Explorer kimeneti összekötő hozzáadásához. Az összekötő létrehozásához szerkesztheti és helyezheti üzembe a sablont a Azure Portal.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Megjegyzés

Amikor AZURE Data Explorer kimeneti kapcsolatot hoz létre ARM-sablonnal, a Streaming Analytics-feladat által felügyelt identitásengedélyeket manuálisan kell megadni az Azure Data Explorer-adatbázishoz.

Kapcsolódó tartalom

• Adatok lekérdezése az Azure Data Explorer
• Az Azure Functions futtatása Azure Stream Analytics-feladatokból