Optimalizálás magas egyidejűséghez az Azure Data Explorerrel

A nagy felhasználói bázissal rendelkező helyzetekben rendkívül egyidejű alkalmazásokra van szükség, ahol az alkalmazás egyidejűleg sok, alacsony késéssel és nagy átviteli sebességgel rendelkező kérést kezel.

A használati esetek közé tartoznak a nagy léptékű monitorozási és riasztási irányítópultok. Ilyenek például a Microsoft-termékek és -szolgáltatások, például az Azure Monitor és a Playfab. Ezek a szolgáltatások az Azure Data Explorert használják a magas egyidejűségi számítási feladatok kiszolgálásához. Az Azure Data Explorer egy gyors, teljes körűen felügyelt big data analytics szolgáltatás, amely valós idejű elemzést biztosít az alkalmazásokból, webhelyekről, IoT-eszközökről és egyebekről nagy mennyiségű adatstreamelésről.

Megjegyzés:

A fürtön párhuzamosan futtatható lekérdezések tényleges száma olyan tényezőktől függ, mint a fürt termékváltozata, az adatmennyiség, a lekérdezések összetettsége és a használati minták.

A magas egyidejűségi alkalmazások beállításához a háttérarchitektúrát az alábbiak szerint tervezheti meg:

Ez a cikk az előző témákra vonatkozó javaslatokat mutat be, amelyeket a magas egyidejűség optimális, költséghatékony elérése érdekében valósíthat meg. Ezeket a funkciókat használhatja önállóan vagy kombinálva.

Adatok optimalizálása

A magas egyidejűség érdekében a lekérdezések a lehető legkevesebb processzorerőforrást kell használniuk. A következő módszerek bármelyikét vagy mindegyikét használhatja:

Ajánlott táblázatséma-tervezési eljárások használata

A használt CPU-erőforrások minimalizálásához használja az alábbi táblázatséma-tervezési javaslatokat:

  • Az azonosítóoszlopokat sztring adattípusként definiálhatja akkor is, ha az értékek numerikusak. A sztringoszlopok indexelése kifinomultabb, mint a numerikus oszlopok esetében, és jobb szűrési teljesítményt nyújt.
  • Az oszlop adattípusának optimális egyeztetése az ezekben az oszlopokban tárolt tényleges adatokkal. Például ne tároljon dátum/idő értékeket egy sztringoszlopban.
  • Kerülje a sok oszlopot tartalmazó nagyméretű ritka táblázatokat, és dinamikus oszlopokkal tárolja a ritka tulajdonságokat.
  • Tárolja a gyakran használt tulajdonságokat a saját oszlopában, nemdinamikus adattípussal.
  • Az adatok denormalizálása a viszonylag nagy processzorerőforrásokat igénylő illesztések elkerülése érdekében.

Partíció adatok

Az adatok tárolása mértékek (adatszilánkok) formájában történik, és alapértelmezés szerint a betöltési idő particionálása történik. A particionálási házirend használatával egy háttérfolyamat során újra partícionálhatja a hatótávolságokat egy karakterlánc oszlop vagy egy datetime oszlop alapján. A particionálás jelentős teljesítménybeli javulást biztosíthat, ha a lekérdezések többsége partíciókulcsokat használ a szűréshez, összesítéshez vagy mindkettőhöz.

Megjegyzés:

Maga a particionálási folyamat cpu-erőforrásokat használ. A lekérdezési idő alatti cpu-csökkentésnek azonban meg kell haladhatja a particionáláshoz használt processzort.

Adatok előzetes összesítése materializált nézetek használatával

Előre összesítse az adatokat, hogy jelentősen csökkentse a CPU-erőforrásokat a lekérdezési idő alatt. Példaforgatókönyvek például az adatpontok összegzése csökkentett számú időtartományban, egy adott rekord legfrissebb rekordjának megőrzése vagy az adathalmaz deduplikálása. A materializált nézetek használatával egyszerűen konfigurálható aggregált nézet a forrástáblákon. Ez a funkció leegyszerűsíti ezeknek az összesített nézeteknek a létrehozását és karbantartását.

Megjegyzés:

A háttér-összesítési folyamat cpu-erőforrásokat használ. Lekérdezés közben azonban a CPU-terhelés csökkentésének meg kell haladnia az összesítés CPU-felhasználását.

A gyorsítótárazási szabályzat konfigurálása

Konfigurálja a gyorsítótárazási szabályzatot úgy, hogy a lekérdezések a forró tárhelyen, más néven a lemezgyorsítótárban tárolt adatokon fussanak. Csak korlátozott, gondosan megtervezett forgatókönyveket futtathat a hűtőtárolóban vagy külső táblákon.

A vezető-követő architektúraminta beállítása

A követő adatbázis egy olyan funkció, amely egy adatbázist, vagy táblák egy készletét követi egy másik fürtből, amely azonos régióban található. Ezt a funkciót az Azure Data Share, az Azure Resource Manager API és egy fürtparancsok készlet segítségével érheti el.

A vezető követő minta használatával állítsa be a számítási erőforrásokat a különböző számítási feladatokhoz. Beállíthat például egy fürtöt az adatbetöltéshez, egy fürtöt a lekérdezésekhez vagy alkalmazások kiszolgálásához, valamint egy olyan fürtöt, amely az adatudományi számítási feladatokat szolgálja ki. Ebben az esetben minden számítási feladat dedikált számítási erőforrásokkal rendelkezik, amelyek egymástól függetlenül méretezhetők, valamint különböző gyorsítótárazási és biztonsági konfigurációk. A fürtök ugyanazokat az adatokat használják: a vezető írja az adatokat, míg a követők csak olvasási módban használják azokat.

Megjegyzés:

A követő adatbázisok általában néhány másodperces késéssel rendelkeznek a vezetőtől. Ha a megoldás késés nélkül igényli a legújabb adatokat, ez a megoldás nem feltétlenül hasznos. Használjon egy nézetet a követőfürtön, amely a vezetőtől és a követőtől származó adatokat egyesítő nézetet használ, és lekérdezi a vezető és a követő többi adatának legfrissebb adatait.

A lekérdezések teljesítményének javítása érdekében a követő klaszteren engedélyezheti az előzetes betöltés területeinek konfigurálását. Körültekintően használja ezt a konfigurációt, mert ez befolyásolhatja a követő adatbázisban lévő adatok frissességét.

Lekérdezések optimalizálása

Az alábbi módszerekkel optimalizálhatja a lekérdezéseket a magas egyidejűség érdekében.

Kövesse a lekérdezési ajánlott eljárásokat , hogy a lekérdezések a lehető leghatékonyabbak legyenek.

Lekérdezési eredmények gyorsítótárának használata

Ha egynél több felhasználó tölti be ugyanazt az irányítópultot hasonló időpontban, az irányítópult a második és a következő felhasználók számára is kiszolgálható a gyorsítótárból. Ez a beállítás nagy teljesítményt nyújt, szinte nincs processzorhasználat. Használja a lekérdezési eredmények gyorsítótárazási funkcióját, és küldje el a lekérdezési eredmények gyorsítótárának konfigurációját a lekérdezéssel az set utasítás használatával.

A Grafana egy konfigurációs beállítást tartalmaz a lekérdezési eredmények gyorsítótárához az adatforrás szintjén, így minden irányítópult alapértelmezés szerint ezt a beállítást használja, és nem kell módosítania a lekérdezést.

Lekérdezéskonzisztencia konfigurálása

Az alapértelmezett lekérdezéskonzisztencia mód erős. Ebben a módban egy felügyeleti csomópont kezeli a fürt metaadatait és betöltését, valamint a lekérdezéstervezést és a végrehajtás más csomópontokra való delegálását.

A nagy egyidejűségű alkalmazásokban a lekérdezések kezelése miatt a rendszergazdai csomópont processzorhasználata magas, míg más csomópontok kevésbé elfoglaltak. Ez a helyzet szűk keresztmetszetet okozhat, amikor az egyidejű lekérdezések száma nem nőhet. Ez a szűk keresztmetszet azonban nem feltétlenül jelenik meg a fürt CPU-jelentésében (Azure Portal > {your_cluster} > Metrikák > CPU-metrika), amely a fürt átlagos processzorhasználatát mutatja.

Ebben a forgatókönyvben gyenge konzisztencia üzemmódot használjon. Ebben a módban több csomópont kezeli a lekérdezéseket, ami lehetővé teszi az egyidejű lekérdezések számának horizontális skálázását . Az ebben a módban lévő csomópontok rendszeresen frissítik a metaadatok másolatát és az újonnan betöltött adatokat, ami általában kevesebb mint egy perc késést okoz az adatok szinkronizálása során. Ez a rövid késés azonban előnyösebb, mint a torlódási helyzet, amely az erős konzisztencia mód használatakor merülhet fel.

Állítsa be a konzisztencia módot egy számítási feladatcsoport lekérdezési konzisztenciaszabályzatában, az ügyfélkérés tulajdonságaiban vagy a Grafana adatforrás konfigurációjában.

Fürtszabályzatok beállítása

A kérések sebességkorlátozási szabályzata alapértelmezés szerint korlátozza az egyidejű kérések számát, hogy a fürt ne legyen túlterhelve. Ezt az irányelvet a magas egyidejűségi helyzetekhez módosíthatja. Ezt a szabályzatot csak szigorú tesztelés után módosíthatja, lehetőleg éles környezethez hasonló használati mintákon és adatkészleteken. A tesztelés biztosítja, hogy a fürt fenntartsa a módosított értéket. Ezt a korlátot az alkalmazás igényeinek megfelelően konfigurálhatja.

Azure Data Explorer-fürtök monitorozása

A készlet-erőforrások állapotának figyelésével optimalizálási tervet hozhat létre az előző szakaszokban javasolt funkciók alkalmazásával. Az Azure Data Explorerhez készült Azure Monitor átfogó képet nyújt a fürt teljesítményéről, műveleteiről, használatáról és hibáiról. A lekérdezések teljesítményével, az egyidejű lekérdezésekkel, a szabályozott lekérdezésekkel és más metrikákkal kapcsolatos megállapításokat az Azure Data Explorer-fürt Figyelés szakaszában található Elemzések (előzetes verzió) fülre kattintva tekintheti meg az Azure Portalon.

A fürtök monitorozásáról további információt az Azure Monitor for Azure Data Explorerben talál.

  • Utolsó frissítés időpontja: