Ajánlott eljárások a Kusto Ingest-kódtárhoz

  • Cikk

Ez a cikk a Kusto Ingest-kódtárral végzett adatbetöltés ajánlott eljárásait ismerteti.

A közvetlen betöltéssel szemben az üzenetsorba kerülés előnyben részesítése

Éles forgatókönyvek esetén használja az üzenetsorba helyezett betöltési ügyfelet. További információ: Várólista-betöltés és közvetlen betöltés.

Egyetlen betöltési ügyfélpéldány használata

A Kusto Ingest-ügyfél implementációi szálbiztosak és újrafelhasználhatók. Minden célfürthöz használjon egyetlen példányt egy várólistán lévő vagy közvetlen betöltési ügyfélből folyamatonként. Több példány futtatása túlterhelheti a fürtöt, ami miatt nem válaszol vagy lassan válaszol az érvényes kérésekre.

Nyomkövetési művelet állapotának korlátozása

Nagy mennyiségű adatfolyam esetén korlátozza a pozitív értesítések használatát a betöltési kérelmekhez. A túlzott nyomon követés megnövelheti a betöltési késést, és akár teljes fürt nem válaszolhat. További információ: Művelet állapota.

Optimalizálás az átviteli sebességhez

A betöltési folyamat tervezésekor vegye figyelembe az alábbi tényezőket, mivel ezek jelentős hatással lehetnek a betöltési átviteli sebességre.

Szempont Description
Adatméret A betöltés hatékonyabb, ha nagy adattömbökben történik. Javasoljuk, hogy 100 MB és 1 GB (tömörítetlen) kötegekben küldjön adatokat.
Adatformátum A CSV a leggyorsabb betöltési formátum. Ugyanazon adatmennyiség esetén a JSON 2x vagy 3x hosszabb időt vehet igénybe. További információ: Betöltéshez támogatott adatformátumok.
Táblázat szélessége Csak az alapvető adatok betöltése. Minden oszlopot kódolni és indexelni kell, ami azt jelenti, hogy a szélesebb táblák csökkenthetik az átviteli sebességet. A betöltési leképezés megadásával szabályozhatja, hogy mely mezőket töltse be a rendszer.
Forrásadatok helye Kerülje a régiók közötti olvasást, hogy felgyorsítsa a betöltést.
A fürt betöltése Ha egy fürt nagy lekérdezési terhelést tapasztal, a betöltés hosszabb időt vesz igénybe.

Megjegyzés

Az üzenetsorba helyezett betöltési ügyfél nagy adatkészleteket oszt fel adattömbökre, és összesíti őket, ami akkor hasznos, ha az adatok nem kötegelhetők be a betöltés előtt.

Költségoptimalizálás

A Kusto-ügyfélkódtárak használata az adatok fürtbe való betöltéséhez továbbra is a legolcsóbb és leghatékonyabb megoldás. Arra kérjük ügyfeleinket, hogy tekintse át a betöltési módszereiket, hogy optimalizálják a költségeket, és használják ki az Azure Storage díjszabását, amely jelentősen költséghatékonyabbá teszi a blobtranzakciókat.

Költséghatékony betöltés esetén:

  • Korlátozza a betöltött adattömbök( például fájlok, blobok és streamek) számát.
  • Nagy méretű, legfeljebb 1 GB tömörítetlen adattömbök betöltése.
  • A kötegelést választhatja.
  • Pontos, tömörítetlen adatméretet biztosít a további tárolási tranzakciók elkerülése érdekében.
  • Kerülje a beállítását a értékre FlushImmediatelytrue.
  • Kerülje a kis mennyiségű adat küldését címkékkel vagy drop-byméretcímkékkelingest-by.

Megjegyzés

Az utolsó két módszer túlhasználata megzavarhatja az adatösszesítést, további tárolási tranzakciókhoz vezethet, valamint árthat a betöltési és lekérdezési teljesítménynek.

Kapcsolódó tartalom