Tietojen noutaminen Azure-tapahtumatoiminnoista
Tässä artikkelissa kerrotaan, miten voit noutaa tietoja tapahtumatoiminnoista Microsoft Fabricin KQL-tietokantaan. Azure-tapahtumatoiminnot on massadatan suoratoistoympäristö ja tapahtumien käsittelypalvelu, joka voi käsitellä ja ohjata miljoonia tapahtumia sekunnissa.
Jos haluat suoratoistaa tietoja tapahtumatoiminnoista reaaliaikaisiin tietoihin, käyt läpi kaksi päävaihetta. Ensimmäinen vaihe suoritetaan Azure-portaalissa, jossa määrität jaetun käyttökäytännön tapahtumatoimintosi esiintymässä ja tallennat tiedot, joita tarvitset yhteyden muodostamiseen myöhemmin tämän käytännön avulla.
Toinen vaihe tapahtuu Fabricissa reaaliaikaisessa älykkyydessä, jossa yhdistät KQL-tietokannan tapahtumatoimintoon ja määrität rakenteen saapuville tiedoille. Tämä vaihe luo kaksi yhteyttä. Ensimmäinen yhteys, jota kutsutaan pilviyhteydeksi, yhdistää Microsoft Fabricin tapahtumakeskuksen esiintymään. Toinen yhteys yhdistää pilviyhteyden KQL-tietokantaan. Kun olet määrittänyt tapahtumatiedot ja rakenteen, suoratoistetut tiedot ovat kyselyn käytettävissä KQL-kyselyjoukon avulla.
Edellytykset
- Azure-tilaus. Luo ilmainen Azure-tili
- Tapahtumatoiminto
- Työtila, jossa on Microsoft Fabric -yhteensopiva kapasiteetti
- KQL-tietokanta muokkausoikeuksilla
Varoitus
Tapahtumatoiminto ei voi olla palomuurin takana.
Määritä jaettu käyttöoikeuskäytäntö tapahtumatoiminnossa
Ennen kuin voit luoda yhteyden tapahtumatoimintojen tietoihin, sinun on määritettävä jaetun käytön käytäntö (SAS) tapahtumatoimintoon ja kerättävä joitain tietoja, joita voit käyttää myöhemmin yhteyden määrittämisessä. Lisätietoja tapahtumatoimintoresurssien käyttöoikeuksien myöntämisestä on kohdassa Jaettujen käyttöoikeuksien allekirjoitukset.
Siirry Azure-portaalissa siihen tapahtumatoimintoesiintymään, johon haluat muodostaa yhteyden.
Valitse Asetukset-kohdasta Jaettujen käyttöoikeuksien käytännöt
Lisää uusi SAS-käytäntö valitsemalla +Lisää tai valitse aiemmin luotu käytäntö Käyttöoikeuksien hallinta -käytännöllä.
Anna käytännön nimi.
Valitse Hallinta ja sitten Luo.
Tietojen kerääminen pilviyhteyttä varten
Pane SAS:n käytäntöruudussa muistiin seuraavat neljä kenttää. Haluat ehkä kopioida nämä kentät ja liittää ne jonnekin, kuten muistioon, jota voit käyttää myöhemmässä vaiheessa.
| Kenttäviittaus | Field | Description | Esimerkki: |
|---|---|---|---|
| a | Tapahtumatoimintojen esiintymä | Tapahtumakeskuksen esiintymän nimi. | iotdata |
| b | SAS-käytäntö | Edellisessä vaiheessa luotu SAS-käytännön nimi | DocsTest |
| c | Perusavain | SAS-käytäntöön liittyvä avain | Tässä esimerkissä alkaa merkkijonolla PGGIISb009... |
| p | Yhteysmerkkijonon perusavain | Tässä kentässä haluat kopioida vain tapahtumatoiminnon nimitilan, joka löytyy osana ühendusstring. | eventhubpm15910.servicebus.windows.net |
Lähde
Valitse KQL-tietokannan alemmasta valintanauhasta Nouda tiedot.
Nouda tiedot -ikkunassa lähde-välilehti on valittuna.
Valitse tietolähde käytettävissä olevasta luettelosta. Tässä esimerkissä käsittelet tapahtumatoimintojen tietoja.
Määrittäminen
Valitse kohdetaulukko. Jos haluat käyttää tietoja uuteen taulukkoon, valitse + Uusi taulukko ja anna taulukon nimi.
Muistiinpano
Taulukon nimessä voi olla enintään 1 024 merkkiä, mukaan lukien välilyönnit, aakkosnumeeriset yhdysmerkit, tavuviivat ja alaviivat. Erikoismerkkejä ei tueta.
Valitse Luo uusi yhteys tai valitse Aiemmin luotu yhteys ja siirry seuraavaan vaiheeseen.
Luo uusi yhteys
Täytä yhteysasetukset seuraavan taulukon mukaisesti:
Asetus Kuvaus Esimerkkiarvo Tapahtumatoiminnon nimitila Kenttä d yllä olevasta taulukosta. eventhubpm15910.servicebus.windows.net Tapahtumakeskus Kenttä a yllä olevasta taulukosta. Tapahtumakeskuksen esiintymän nimi. iotdata Connection Jos haluat käyttää Aiemmin luotua pilviyhteyttä Fabric- ja Event Hubs -keskusten välillä, valitse tämän yhteyden nimi. Muussa tapauksessa valitse Luo uusi yhteys. Luo uusi yhteys Yhteyden nimi Uuden pilvipalveluyhteytesi nimi. Tämä nimi on automaattisesti luotu, mutta se voidaan korvata. Tulee olla yksilöllinen Fabric-vuokraajassa. Yhteys Todennuslaji Täytetään automaattisesti. Tällä hetkellä vain jaettua käyttöavainta tuetaan. Jaetun käyttöavaimen Jaetun käyttöavaimen nimi Kenttä b yllä olevasta taulukosta. Jaetun käyttöoikeuden käytännölle antamasi nimi. DocsTest Jaetun käyttöavaimen Kenttä c yllä olevasta taulukosta. SAS-politiikan ensisijainen avain. Valitse Tallenna. Uusi pilvipalvelutietoyhteys Fabric- ja Event Hubs -keskusten välille luodaan.
Pilviyhteyden yhdistäminen KQL-tietokantaan
Olitpa luonut uuden pilviyhteyden vai käytätkö aiemmin luotua yhteyttä, sinun on määritettävä kuluttajaryhmä. Voit halutessasi määrittää parametreja, jotka määrittävät enemmän KQL-tietokannan ja pilviyhteyden välisen yhteyden ominaisuuksia.
Täytä seuraavat kentät taulukon mukaan:
Asetus Kuvaus Esimerkkiarvo Kuluttajaryhmä Asiaan liittyvä kuluttajaryhmä, joka on määritetty tapahtumatoiminnossasi. Jos haluat lisätietoja, katso kuluttajaryhmät. Kun olet lisännyt uuden kuluttajaryhmän, sinun on valittava tämä ryhmä avattavasta luettelosta. Uusi summa Lisää parametreja Pakkaus Tapahtumien tietojen pakkaaminen tapahtumatoiminnosta. Asetuksia ovat Ei mitään (oletus) tai Gzip-pakkaus. Ei ole Tapahtumajärjestelmän ominaisuudet Lisätietoja on kohdassa Tapahtumakeskuksen järjestelmän ominaisuudet. Jos tapahtumaviestiä kohden on useita tietueita, järjestelmän ominaisuudet lisätään ensimmäiseen. Katso tapahtumajärjestelmän ominaisuudet. Tapahtuman noutamisen aloituspäivämäärä Tietoyhteys noutaa tapahtuman aloittamisen päivämäärän jälkeen luodut tapahtumatoimintotapahtumat. Se voi noutaa vain tapahtumakeskuksen säilyttämiä tapahtumia sen säilytysajan mukaan. Aikavyöhyke on UTC. Jos aikaa ei ole määritetty, oletusaika on aika, jolloin tietoyhteys luodaan.
Tapahtumajärjestelmän ominaisuudet
Järjestelmän ominaisuudet tallentavat ominaisuudet, jotka Tapahtumatoiminnot-palvelu määrittää tapahtuman sulkemisen yhteydessä. Tietoyhteys tapahtumatoimintoon voi upottaa valitun järjestelmäominaisuuksien joukon taulukkoon tietyn yhdistämismäärityksen perusteella tuotuihin tietoihin.
| Ominaisuus | Tietotyyppi | Kuvaus |
|---|---|---|
| x-opt-enqueued-time | datetime | UTC-aika, kun tapahtuma koottiin. |
| x-opt-sequence-number | long | Tapahtuman looginen järjestysnumero tapahtumatoiminnon osiovirrassa. |
| x-opt-offset | merkkijono | Tapahtuman siirtymä tapahtumatoiminnon osiovirrasta. Siirtymätunnus on yksilöllinen tapahtumatoimintovirran osiossa. |
| x-opt-publisher | merkkijono | Julkaisijan nimi, jos viesti lähetettiin julkaisijan päätepisteeseen. |
| x-opt-partition-key | merkkijono | Tapahtuman tallentavan vastaavan osion osioavain. |
Tarkastaa
Viimeistele käsittelyprosessi valitsemalla Valmis.
Vaihtoehtoisesti:
Valitse Komentojen katseluohjelma , jos haluat tarkastella ja kopioida syötteistäsi luotuja automaattisia komentoja.
Muuta automaattisesti johdettua tietomuotoa valitsemalla haluamasi muoto avattavasta valikosta. Tiedot luetaan tapahtumatoiminnosta EventData-objektien muodossa. Tuettuja muotoja ovat CSV, JSON, PSV, SCsv, SOHsv TSV, TXT ja TSVE.
Tutustu Tietotyypin perusteella lisäasetuksiin.
Jos esikatseluikkunassa näkyvät tiedot eivät ole valmiit, tarvitset ehkä enemmän tietoja luodaksesi taulukon, jossa on kaikki tarvittavat tietokentät. Nouda uudet tiedot tapahtumakeskuksesta seuraavien komentojen avulla:
- Hylkää ja nouda uudet tiedot: hylkää esitetyt tiedot ja hakee uusia tapahtumia.
- Nouda lisätietoja: Etsii useampia tapahtumia jo löytyneen tapahtuman lisäksi.
Muokkaa sarakkeita
Muistiinpano
- Taulukkomuotoisissa muodoissa (CSV, TSV, PSV) saraketta ei voi yhdistää kahdesti. Jos haluat yhdistää aiemmin luotuun sarakkeeseen, poista ensin uusi sarake.
- Et voi muuttaa olemassa olevaa saraketyyppiä. Jos yrität yhdistää sarakkeeseen, jonka muoto on erilainen, saatat päätyä tyhjiin sarakkeisiin.
Taulukossa tekemäsi muutokset riippuvat seuraavista parametreista:
- Taulukkotyyppi on uusi tai olemassa oleva
- Yhdistämismääritystyyppi on uusi tai olemassa
| Taulukon tyyppi | Yhdistämismääritystyyppi | Käytettävissä olevat muutokset |
|---|---|---|
| Uusi taulukko | Uusi yhdistämismääritys | Nimeä sarake uudelleen, muuta tietotyyppiä, muuta tietolähdettä, yhdistämismääritysten muuntaminen, sarakkeen lisääminen, sarakkeen poistaminen |
| Aiemmin luotu taulukko | Uusi yhdistämismääritys | Lisää sarake (jonka tietotyyppiä voit sitten muuttaa, nimetä uudelleen ja päivittää) |
| Aiemmin luotu taulukko | Aiemmin luotu yhdistäminen | ei mitään |
Yhdistämismuunnokset
Jotkin tietomuotojen yhdistämismääritykset (Parquet, JSON ja Avro) tukevat yksinkertaisia käytönaikaisia muunnoksia. Jos haluat käyttää yhdistämismuunnoksia, luo tai päivitä sarake Muokkaa sarakkeita -ikkunassa.
Yhdistämisen muunnokset voidaan suorittaa saraketyypille merkkijono tai päivämäärä ja aika, jolloin lähteen tietotyyppi on int tai pitkä. Tuettuja yhdistämismääritysten muunnoksia ovat seuraavat:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Tapahtumatoimintojen rakenteen yhdistäminen Avro-tiedostojen sieppaamiseen
Yksi tapa käyttää tapahtumatoimintojen tietoja on tallentaa tapahtumia Azure Blob -tallennustilan tai Azure Data Lake Storagen Azure Event Hubsin kautta. Voit käsitellä sieppaustiedostot sellaisina kuin ne on kirjoitettu käyttämällä Tapahtumaruudukon tietoyhteyttä.
Tallennustiedostojen rakenne eroaa tapahtumatoimintoihin lähetetyn alkuperäisen tapahtuman rakenteen. Tämä ero on syytä suunnitella kohdetaulukon rakenne. Erityisesti tapahtuman tiedot esitetään sieppaustiedostossa tavumatriisina, eikä tapahtumaruudukon Azure Data Explorer -tietoyhteys poista tätä matriisia automaattisesti. Lisätietoja tapahtumatoimintojen Avro-tallennustietojen tiedostorakenteesta on artikkelissa Siepattujen Avro-tiedostojen tutkiminen Azure-tapahtumatoiminnoissa.
Tapahtuman tietojen oikea koodaus:
BodyYhdistä talletetun tapahtuman kenttä kohdetaulukon tyyppiseendynamicsarakkeeseen.- Käytä päivityskäytäntöä, joka muuntaa tavumatriisin luettavaksi merkkijonoksi unicode_codepoints_to_string()-funktiolla.
Tietotyyppiin perustuvat lisäasetukset
Taulukkomuoto (CSV, TSV, PSV):
Jos käytät taulukkomuotoja olemassa olevassa taulukossa, voit valita Säilytä taulukon lisärakenne>-vaihtoehdon. Taulukkomuotoiset tiedot eivät välttämättä sisällä sarakkeiden nimiä, joita käytetään lähdetietojen yhdistämiseen olemassa oleviin sarakkeisiin. Kun tämä asetus on valittuna, yhdistäminen tehdään järjestyksen mukaan ja taulukon rakenne pysyy samana. Jos asetuksen valinta ei ole valittu, uusia sarakkeita luodaan saapuville tiedoille tietorakenteesta riippumatta.
Jos haluat käyttää ensimmäistä riviä sarakkeiden niminä, valitse Kehittynyt>ensimmäinen rivi on sarakeotsikko.
JSON:
Voit selvittää JSON-tietojen sarakkeen jaon valitsemalla Sisäkkäisten tasojen lisäasetukset> 1:stä 100:aan.
Jos valitset Kehittynyt ohitus>JSON-rivit, joissa on virheitä, tiedot käsitellään JSON-muodossa. Jos jätät tämän valintaruudun valitsematta, tietoja käytetään multijson-muodossa.
Yhteenveto
Tietojen valmistelu -ikkunassa kaikki kolme vaihetta merkitään vihreillä tarkistusmerkeillä, kun tietojen käsittely onnistuu. Voit valita kortin kyselyä varten, pudottaa saadut tiedot tai tarkastella koontinäyttöä käsittelyyhteenvedostasi.
