Share via

Adatok küldése a Microsoft Fabricbe adatfeldolgozó folyamatból

  • Cikk

Fontos

Az Azure IoT Operations Előzetes verziója – az Azure Arc által engedélyezett verzió jelenleg előzetes verzióban érhető el. Ezt az előzetes verziójú szoftvert nem szabad éles környezetben használni.

A bétaverziójú, előzetes verziójú vagy másként még általánosan nem elérhető Azure-szolgáltatások jogi feltételeit lásd: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

A Fabric Lakehouse-célhely használatával adatokat írhat a Microsoft Fabric egyik lakehouse-jának egy Azure IoT Data Processor Preview-folyamatból. A célszakasz parquetfájlokat ír egy tóházba, amely lehetővé teszi az adatok deltatáblákban való megtekintését. A célszakasz kötegeli az üzeneteket, mielőtt elküldené őket a Microsoft Fabricnek.

Előfeltételek

A Microsoft Fabric célfolyamat-szakaszának konfigurálásához és használatához a következőkre van szükség:

A Microsoft Fabric beállítása

Mielőtt egy adatfolyamból írhat a Microsoft Fabricbe, hozzáférést kell adnia a lakehouse-hoz a folyamatból. A folyamat hitelesítéséhez használhat szolgáltatásnevet vagy felügyelt identitást. A felügyelt identitások használatának előnye, hogy nem kell kezelnie a szolgáltatásnév életciklusát. A felügyelt identitást az Azure automatikusan felügyeli, és annak az erőforrásnak az életciklusához van kötve, amelyhez hozzá van rendelve.

Mielőtt konfigurálja a szolgáltatásnév vagy a felügyelt identitás hozzáférését egy lakehouse-hoz, engedélyezze a szolgáltatásnév-hitelesítést.

Szolgáltatásnév létrehozása ügyfélkóddal:

  1. Szolgáltatásnév létrehozásához használja az alábbi Azure CLI-parancsot.

    az ad sp create-for-rbac --name <YOUR_SP_NAME>

  2. A parancs kimenete egy , displayNamepasswordés tenantegy appId. Jegyezze fel ezeket az értékeket, amikor konfigurálja a felhőerőforráshoz, például a Microsoft Fabrichez való hozzáférést, hozzon létre egy titkos kulcsot, és konfiguráljon egy folyamat célját:

    {
    "appId": "<app-id>",
    "displayName": "<name>",
    "password": "<client-secret>",
    "tenant": "<tenant-id>"
}

A szolgáltatásnév hozzáadása a Microsoft Fabric-munkaterülethez:

  1. Jegyezze fel a munkaterület azonosítóját és a lakehouse-azonosítót. Ezeket az értékeket a tóház eléréséhez használt URL-címben találja:

    https://msit.powerbi.com/groups/<your workspace ID>/lakehouses/<your lakehouse ID>?experience=data-engineering

  2. A munkaterületen válassza a Hozzáférés kezelése lehetőséget:

    Képernyőkép a Hozzáférés kezelése hivatkozás megkereséséről.

  3. Válassza a Személyek vagy csoportok hozzáadása lehetőséget:

    A felhasználó hozzáadását bemutató képernyőkép.

  4. Keresse meg a szolgáltatásnevet név szerint. Kezdjen el gépelni az egyező szolgáltatásnevek listájának megtekintéséhez. Válassza ki a korábban létrehozott szolgáltatásnevet:

    A szolgáltatásnév hozzáadását bemutató képernyőkép.

  5. Adjon hozzáférést a szolgáltatásnév rendszergazdájának a munkaterülethez.

A titkos kód konfigurálása

Ahhoz, hogy a célszakasz csatlakozzon a Microsoft Fabrichez, hozzá kell férnie egy titkos kódhoz, amely tartalmazza a hitelesítési adatokat. Titkos kód létrehozása:

  1. A következő paranccsal adjon hozzá egy titkos kulcsot az Azure Key Vaulthoz, amely tartalmazza a szolgáltatásnév létrehozásakor jegyzett ügyféltitkot:

    az keyvault secret set --vault-name <your-key-vault-name> --name AccessFabricSecret --value <client-secret>

  2. Adja hozzá a titkos kódhivatkozást a Kubernetes-fürthöz az Azure IoT Operations Preview üzembe helyezés titkos kulcsainak kezelése című témakörben leírt lépések végrehajtásával.

A célszakasz konfigurálása

A Fabric Lakehouse célszakasz JSON-konfigurációja határozza meg a szakasz részleteit. A szakasz létrehozásához használhatja az űrlapalapú felhasználói felületet, vagy megadhatja a JSON-konfigurációt a Speciális lapon:

Mező Típus Leírás Kötelező Alapértelmezett Példa
Megjelenített név Sztring Az Adatfeldolgozó felhasználói felületén megjelenítendő név. Igen - Azure IoT MQ output
Leírás Sztring A szakasz felhasználóbarát leírása. Nem Write to topic default/topic1
WorkspaceId Sztring A lakehouse-munkaterület azonosítója. Igen -
LakehouseId Sztring A Lakehouse Lakehouse azonosítója. Igen -
Tábla Sztring Annak a táblának a neve, amelybe írni szeretne. Igen -
Fájl elérési útja1 Sablon A parquet fájl elérési útja. Nem {{{instanceId}}}/{{{pipelineId}}}/{{{partitionId}}}/{{{YYYY}}}/{{{MM}}}/{{{DD}}}/{{{HH}}}/{{{mm}}}/{{{fileNumber}}}
Batch2 Batch Adatok kötegelési útmutatója. Nem 60s 10s
Hitelesítés4 Sztring Az Azure Data Explorerhez való csatlakozás hitelesítési részletei. Service principal vagy Managed identity Szolgáltatásnév Igen -
Ismét Retry A használni kívánt újrapróbálkozési szabályzat. Nem default fixed
Oszlopok > neve húr Az oszlop neve. Igen temperature
3. > oszloptípus sztring enumerálás Az oszlopban tárolt adatok típusa a Delta primitív típusainak egyikével. Igen integer
Oszlopok > elérési útja Elérési út Az adatok minden rekordjának helye, ahonnan az oszlop értékét beolvassa. Nem .{{name}} .temperature

1Fájl elérési útja: Ha fájlokat szeretne írni a Microsoft Fabricbe, szüksége van egy fájl elérési útjára. Sablonokkal konfigurálhatja a fájlelérési utakat. A fájl elérési útjainak minden sorrendben tartalmazniuk kell a következő összetevőket:

  • instanceId
  • pipelineId
  • partitionId
  • YYYY
  • MM
  • DD
  • HH
  • mm
  • fileNumber

A fájlnevek növekményes egész számértékek az általuk fileNumberjelzett módon. Mindenképpen adjon meg fájlkiterjesztést, ha azt szeretné, hogy a rendszer felismerje a fájltípust.

2Kötegelés: A kötegelés kötelező, ha adatokat ír a Microsoft Fabricbe. A célszakasz konfigurálható időintervallumon keresztül kötegeli az üzeneteket.

Ha nem konfigurálja a kötegelési időközt, a szakasz alapértelmezés szerint 60 másodpercet használ.

3Típus: Az adatfeldolgozó a Microsoft Fabricbe írja a delta formátumot. Az adatfeldolgozó támogatja az összes delta primitív adattípust , kivéve és decimaltimestamp without time zone.

Annak érdekében, hogy a Microsoft Fabricben minden dátum és időpont megfelelően legyen ábrázolva, győződjön meg arról, hogy a tulajdonság értéke érvényes RFC 3339 sztring, és hogy az adattípus vagy date .timestamp

1Hitelesítés: A célszakasz jelenleg támogatja a szolgáltatásnév-alapú hitelesítést vagy a felügyelt identitást, amikor csatlakozik a Microsoft Fabrichez.

Egyszerű szolgáltatásalapú hitelesítés

A szolgáltatásnévalapú hitelesítés konfigurálásához adja meg a következő értékeket. Ezeket az értékeket a szolgáltatásnév létrehozásakor jegyezte fel, és hozzáadta a titkos referenciát a fürthöz.

Mező Leírás Kötelező
TenantId A bérlő azonosítója. Igen
ClientID Az alkalmazásazonosító, amelyről megjegyzést tett, amikor létrehozta az adatbázishoz hozzáféréssel rendelkező szolgáltatásnevet. Igen
Titkos A fürtben létrehozott titkos hivatkozás. Igen

Mintakonfiguráció

Az alábbi JSON-példa egy teljes Microsoft Fabric lakehouse-célszakasz-konfigurációt mutat be, amely a teljes üzenetet az quickstart adatbázis táblájába írja":

{
    "displayName": "Fabric Lakehouse - 520f54",
    "type": "output/fabric@v1",
    "viewOptions": {
        "position": {
            "x": 0,
            "y": 784
        }
    },
    "workspace": "workspaceId",
    "lakehouse": "lakehouseId",
    "table": "quickstart",
    "columns": [
        {
            "name": "Timestamp",
            "type": "timestamp",
            "path": ".Timestamp"
        },
        {
            "name": "AssetName",
            "type": "string",
            "path": ".assetname"
        },
        {
            "name": "Customer",
            "type": "string",
            "path": ".Customer"
        },
        {
            "name": "Batch",
            "type": "integer",
            "path": ".Batch"
        },
        {
            "name": "CurrentTemperature",
            "type": "float",
            "path": ".CurrentTemperature"
        },
        {
            "name": "LastKnownTemperature",
            "type": "float",
            "path": ".LastKnownTemperature"
        },
        {
            "name": "Pressure",
            "type": "float",
            "path": ".Pressure"
        },
        {
            "name": "IsSpare",
            "type": "boolean",
            "path": ".IsSpare"
        }
    ],
    "authentication": {
        "type": "servicePrincipal",
        "tenantId": "tenantId",
        "clientId": "clientId",
        "clientSecret": "secretReference"
    },
    "batch": {
        "time": "5s",
        "path": ".payload"
    },
    "retry": {
        "type": "fixed",
        "interval": "20s",
        "maxRetries": 4
    }
}

A konfiguráció a következőket határozza meg:

  • Az üzenetek kötegelve vannak 5 másodpercig.
  • A köteg elérési útján .payload megkeresi az oszlopok adatait.

Példa

Az alábbi példa egy minta beviteli üzenetet mutat be a Microsoft Fabric lakehouse célszakaszába:

{
  "payload": {
    "Batch": 102,
    "CurrentTemperature": 7109,
    "Customer": "Contoso",
    "Equipment": "Boiler",
    "IsSpare": true,
    "LastKnownTemperature": 7109,
    "Location": "Seattle",
    "Pressure": 7109,
    "Timestamp": "2023-08-10T00:54:58.6572007Z",
    "assetName": "oven"
  },
  "qos": 0,
  "systemProperties": {
    "partitionId": 0,
    "partitionKey": "quickstart",
    "timestamp": "2023-11-06T23:42:51.004Z"
  },
  "topic": "quickstart"
}

Kapcsolódó tartalom