Adatfolyam-cél konfigurálása az Azure IoT műveletekben

A cél az, ahol egy adatfolyam- vagy adatfolyam-gráf feldolgozott adatokat küld. A célhelyet egy végponthivatkozás és egy adatcél (témakör, tároló vagy tábla) megadásával konfigurálhatja.

Ez a lap az adatfolyamokra és az adatfolyam-grafikonokra is vonatkozik. Adatfolyamok esetén a cél egy művelet az Dataflow erőforrásban. Az adatfolyam-grafikonok esetében az Destination erőforrás egy DataflowGraph csomópontja a cél.

Fontos

Az adatfolyamok minden végponttípust támogatnak célként: MQTT, Kafka, Azure Data Lake Storage, Microsoft Fabric OneLake, Azure Data Explorer, OpenTelemetry és helyi tároló. Az adatfolyam-grafikonok csak az MQTT, a Kafka és az OpenTelemetry célhelyeket támogatják. Ha a helyi MQTT-közvetítőn kívüli célhelyre szeretne adatokat küldeni, hozzon létre egy adatfolyam-végpontot. A tárolási végpontok szerializálási sémát igényelnek.

A célvégpont konfigurálása

Üzemeltetési tapasztalat

1. Válassza ki a célként használni kívánt adatfolyamvégpontot.

   

   A tárolási végpontok szerializálási sémát igényelnek. Ha Microsoft Fabric OneLake, Azure Data Lake Storage, Azure Data Explorer vagy Local Storage célvégpontot választ, meg kell adnia egy sémahivatkozást.

   

2. Válassza a Folytatás lehetőséget a cél konfigurálásához.

3. Adja meg a célhoz szükséges beállításokat, beleértve azt a témakört vagy táblázatot, amelybe az adatokat küldeni szeretné. További információt az adat célhelyének konfigurálása című témakörben talál.

Azure CLI-

{
  "destinationSettings": {
    "endpointRef": "<CUSTOM_ENDPOINT_NAME>",
    "dataDestination": "<TOPIC_OR_TABLE>"
  }
}

Bicepsz

destinationSettings: {
  endpointRef: '<CUSTOM_ENDPOINT_NAME>'
  dataDestination: '<TOPIC_OR_TABLE>'
}

Kubernetes (csak hibakeresés)

Fontos

A Kubernetes üzembehelyezési jegyzékfájljainak használata éles környezetekben nem támogatott, és csak hibakereséshez és teszteléshez használható.

destinationSettings:
  endpointRef: <CUSTOM_ENDPOINT_NAME>
  dataDestination: <TOPIC_OR_TABLE>

Az adat célhelyének konfigurálása (témakör, tároló vagy tábla)

Az adatforrásokhoz hasonlóan az adatforrások is több adatfolyamban is újra felhasználhatóvá teszik az adatfolyamvégpontokat. A data destination a data flow végpontkonfiguráció alkönyvtárát jelöli. Ha például az adatfolyam-végpont egy tárolási végpont, az adat célhelye a tároló. Ha az adatfolyam-végpont egy Kafka-végpont, az adatcél a Kafka-témakör.

Végpont típusa	A "data destination" kifejezés jelentése	Leírás
MQTT (vagy Event Grid)	Téma	Az MQTT-témakör, amelybe az adatok kerülnek. A statikus témaköröket és a dinamikus témaútválasztást is támogatja, változókkal, mint például ${inputTopic} és ${inputTopic.index}. További információ: Dinamikus cél témakörök.
Kafka (vagy Event Hubs)	Téma	Az a Kafka-témakör, amelybe az adatok kerülnek. Csak statikus témakörök támogatottak, helyettesítő karakterek nélkül. Ha a végpont egy Event Hubs-névtér, az adatcél a névtérben lévő egyedi eseményközpont.
Azure Data Lake Storage	Konténer	A tárfiókban található konténer. Nem a táblázat.
Microsoft Fabric OneLake	Táblázat vagy mappa	Megfelel a végponthoz konfigurált elérési út típusának.
Azure Data Explorer	Táblázat	Az Azure Data Explorer-adatbázis táblája.
Helyi tároló	Mappa	A helyi tároló tartós kötetének csatolásában szereplő mappa vagy könyvtár neve. Ha az Azure Arc Cloud Ingest Edge Volumes által engedélyezett Azure Container Storage-t használja, ennek az értéknek meg kell egyeznie az Ön által létrehozott spec.path részterület paraméterével.
OpenTelemetria	Téma	Az OpenTelemetry témakör, amelybe az adatok kerülnek. Csak statikus témakörök támogatottak.

Üzemeltetési tapasztalat

A műveleti felület használatakor az automatikusan értelmezi az adat célmezőt a végpont típusa alapján. Ha például az adatfolyam-végpont egy tárolási végpont, a céladatok lap kéri, hogy adja meg a tároló nevét. Ha az adatfolyam-végpont MQTT-végpont, a céladatok lapja kéri, hogy adja meg a témakört.

Azure CLI-

Ha vissza szeretne küldeni adatokat a helyi MQTT-közvetítőnek, használjon statikus MQTT-témakört:

{
  "destinationSettings": {
    "endpointRef": "default",
    "dataDestination": "example-topic"
  }
}

Ha egyéni eseményközpont-végpontja van:

{
  "destinationSettings": {
    "endpointRef": "my-eh-endpoint",
    "dataDestination": "individual-event-hub"
  }
}

Bicepsz

Adatok visszaküldése a helyi MQTT-közvetítőnek:

destinationSettings: {
  endpointRef: 'default'
  dataDestination: 'example-topic'
}

Ha egyéni eseményközpont-végpontja van:

destinationSettings: {
  endpointRef: 'my-eh-endpoint'
  dataDestination: 'individual-event-hub'
}

Ez a példa egy tárolási végpontot használ:

destinationSettings: {
  endpointRef: 'my-adls-endpoint'
  dataDestination: 'my-container'
}

Kubernetes (csak hibakeresés)

Fontos

A Kubernetes üzembehelyezési jegyzékfájljainak használata éles környezetekben nem támogatott, és csak hibakereséshez és teszteléshez használható.

Adatok visszaküldése a helyi MQTT-közvetítőnek:

destinationSettings:
  endpointRef: default
  dataDestination: example-topic

Ha egyéni eseményközpont-végpontja van:

destinationSettings:
  endpointRef: my-eh-endpoint
  dataDestination: individual-event-hub

Ez a példa egy tárolási végpontot használ:

destinationSettings:
  endpointRef: my-adls-endpoint
  dataDestination: my-container

Dinamikus cél témakörök

MQTT-végpontok esetén a mezőben dinamikus témakörváltozókkal dataDestination irányíthatja az üzeneteket a forrástémakör struktúrája vagy az üzenet tartalma alapján.

Útvonal forrástéma szerint

Az adatfolyamokban és az adatfolyam-gráfokban a következő változók segítségével hivatkozzon a mező forrástémakörének dataDestination szegmensére:

• ${inputTopic}: A teljes eredeti bemeneti témakör
• ${inputTopic.index}: A bemeneti témakör egy szegmense (az index 1-nél kezdődik)

Például a processed/factory/${inputTopic.2} átirányítja az üzeneteket a factory/1/data-ről a processed/factory/1-re. A témakörszegmensek 1-től indexeltek, és a kezdeti vagy végi perjelek figyelmen kívül hagyjuk.

Ha egy témakörváltozó nem oldható fel (például ${inputTopic.5} ha a bemeneti témakör csak három szegmensből áll), a rendszer elveti az üzenetet, és a rendszer naplózza a figyelmeztetést. A helyettesítő karakterek (# és +) nem használhatók a céltémakörökben.

Üzemeltetési tapasztalat

A műveleti felületen adja meg a dinamikus témakör változót a Témakör mezőben a cél konfigurálásakor. Például írja be a processed/factory/${inputTopic.2}karaktert.

Azure CLI-

{
  "destinationSettings": {
    "endpointRef": "default",
    "dataDestination": "processed/factory/${inputTopic.2}"
  }
}

Bicepsz

destinationSettings: {
  endpointRef: 'default'
  dataDestination: 'processed/factory/${inputTopic.2}'
}

Kubernetes (csak hibakeresés)

Fontos

A Kubernetes üzembehelyezési jegyzékfájljainak használata éles környezetekben nem támogatott, és csak hibakereséshez és teszteléshez használható.

destinationSettings:
  endpointRef: default
  dataDestination: processed/factory/${inputTopic.2}

Megjegyzés:

Csak az itt leírt dinamikus témakörváltozók (${inputTopic}${inputTopic.index}és adatfolyam-grafikonok ${outputTopic}esetén) lesznek helyettesítve. Az a kapcsos zárójeleket használó elérésiút-szegmens, amely előtt nem áll $, például: edge-ai/predict/{model_id}, literál sztringként, nem változóként van kezelve. Ha a céltémakört az üzenet egy mezője alapján szeretné beállítani, használja a következő szakaszban ismertetett adatfolyam-gráf ${outputTopic} megközelítést. A karakterek $, {és } érvényesek az MQTT-témakörnevekben, ezért a témakörhöz hasonló factory/$inputTopic.2 témakörök elfogadhatók, de helytelenek, ha a dinamikus témakör változót szeretné használni.

Adatfolyam-grafikonok: útvonal az üzenet tartalma szerint

Az adatfolyam-grafikonok további megközelítést támogatnak: a céltémakört dinamikusan állíthatja be az üzenettartalmak alapján egy térképátalakítás és a ${outputTopic} változó kombinálásával:

1. Egy térképátalakításban írjon egy értéket az $metadata.topic üzenet tartalma alapján. Használjon például egy olyan kifejezést, mint if($1 > 1000, "alerts", "historian")a .
2. A célhelyen hivatkozzon a mezőben szereplő ${outputTopic} értékredataDestination.

Ez a megközelítés rugalmasabb, mint a forrástémakör-útválasztás, mivel lehetővé teszi a céltémakör beállítását az üzenet bármely mezője vagy számított értéke alapján, nem csak a forrástémakör struktúrája alapján.

További információkért és példákért tekintse meg az Üzenetek átirányítása különböző témakörökbe című témakört.

Kimenet szerializálása sémával

Ha a célhelyre való küldés előtt szerializálni szeretné az adatokat, adjon meg egy sémát és szerializációs formátumot. Ellenkező esetben a rendszer szerializálja az adatokat a JSON-ban a kikövetkeztetett típusokkal. Az olyan tárolási végpontok, mint a Microsoft Fabric vagy az Azure Data Lake, sémát igényelnek az adatkonzisztenciához. A támogatott szerializálási formátumok a Parquet és a Delta.

Fontos

Parquet- és Delta-szerializálás esetén a séma és a leképezés határozza meg, hogy a rekordok írásra kerülnek-e, eldobásra kerülnek, vagy kikényszerített értékekkel kerülnek írásra. Ha egy olyan mezőt, amely nem lehet null értékű, a leképezés nem tölt ki, a teljes köteg eldobásra kerül, a típuseltérések pedig csendben kényszerített típuskonverzión esnek át. A tárolási adatfolyam üzembe helyezése előtt tekintse át a tároló szerializálási viselkedését.

Jótanács

Ha egy mintaadatfájlból szeretné létrehozni a sémát, használja a Schema Gen súgóját.

Üzemeltetési tapasztalat

Adja meg a séma és a szerializálás formátumát az adatfolyam-végpont részleteiben. A szerializálási formátumokat támogató végpontok a Microsoft Fabric OneLake, az Azure Data Lake Storage Gen 2, az Azure Data Explorer és a helyi tárolók. Ha például Delta formátumban szeretné szerializálni az adatokat, töltsön fel egy sémát a sémaregisztrációs adatbázisba, és hivatkozzon rá az adatfolyam célvégpont-konfigurációjában.

Azure CLI-

Miután feltöltött egy sémát a sémaregisztrációs adatbázisba, hivatkozzon rá az adatfolyam-konfigurációban.

{
  "builtInTransformationSettings": {
    "serializationFormat": "Delta",
    "schemaRef": "aio-sr://<SCHEMA_NAMESPACE>/<SCHEMA>:<VERSION>"
  }
}

Bicepsz

Miután feltöltött egy sémát a sémaregisztrációs adatbázisba, hivatkozzon rá az adatfolyam-konfigurációban.

builtInTransformationSettings: {
  serializationFormat: 'Delta'
  schemaRef: 'aio-sr://<SCHEMA_NAMESPACE>/<SCHEMA>:<VERSION>'
}

Kubernetes (csak hibakeresés)

Fontos

A Kubernetes üzembehelyezési jegyzékfájljainak használata éles környezetekben nem támogatott, és csak hibakereséshez és teszteléshez használható.

Miután feltöltött egy sémát a sémaregisztrációs adatbázisba, hivatkozzon rá az adatfolyam-konfigurációban.

builtInTransformationSettings:
  serializationFormat: Delta
  schemaRef: 'aio-sr://<SCHEMA_NAMESPACE>/<SCHEMA>:<VERSION>'

A sémaregisztrációs adatbázisról további információt az üzenetsémák ismertetése című témakörben talál.

Következő lépések

• Adatfolyam-forrás konfigurálása
• Adatfolyam létrehozása
• Adatfolyam-grafikonok áttekintése
• Üzenetek átirányítása különböző témakörökbe adatfolyam-grafikonokkal