Több adatzóna felhőalapú elemzéshez az Azure-ban
Ez a referenciaarchitektúra olyan szervezetek számára készült, amelyek bevezették a felhőalapú elemzések alapszintű verzióját, és most már készen állnak új üzleti egységek üzemeltetésére az elemzési műveletek modernizálásához. Ez az összetettebb forgatókönyv több célzónát, adatalkalmazást és adatterméket használ.
Az Apache Hive és a Hive embléma az Apache Software Foundation bejegyzett védjegyei vagy védjegyei a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.
Probléma leírása
A relecloud, a jelen példában szereplő fiktív vállalat egy magánfelhő-szolgáltató, amely megosztott számítástechnikai és tárolási erőforrásokat kínál a globális szervezeteknek. Bár a Relecloud számítási erőforrásokat biztosít, nem szeretnék saját belső műveleteikkel korlátozni a platformjukat. Ezért a belső számítástechnikai igényeikhez a Microsoft Azure-ra támaszkodnak.
Az operatív csoport adatelemzői a felhőszolgáltatások telemetriai adatait használják annak megértéséhez, hogy ügyfeleik hogyan használják a platformot. A számlázási csoport egy külön elemzői csoportja vizsgálja a számlázási adatokat, hogy betekintést nyerjen abba, hogy mely szolgáltatások termelik a legtöbb bevételt.
A múlt negyedévben az üzemeltetési csapat modernizálta az elemzési platformját az Azure-ba való migrálással. A felhőalapú elemzések megvalósításának egyik célja a platform skálázhatóságának és új szervezeti számítási feladatok hozzáadásának maximalizálása volt.
A számlázási csoport mára kinőtte a jelenlegi elemzési megoldását. Az elemezni kívánt számlák mennyisége túl nagy a helyszíni kiszolgálóhoz. A csapat úgy dönt, hogy követi az operatív csoport vezetését, és modernizálja az Adatelemzési platformját az Azure-ban.
A számlázási csoport elemzői más készségekkel rendelkeznek, mint a műveleti csoport elemzői. A számlázási elemzők nem szeretnének a műveletekhez hasonló eszközöket használni. A számlázási csoport a szervezet egy másik részén található, és rugalmasan szeretné implementálni az igényeiknek megfelelő szabályzatokat és eljárásokat.
Architekturális megoldás
A Relecloud egy új célzóna hozzáadásával skálázza az elemzési platformot a számlázási csoporthoz. Ez a célzóna egy virtuális munkaterületet biztosít a számlázási csoport számára az üzleti igényeiknek megfelelő elemzési megoldások implementálásához. A számlázási csoport a szervezet egyéb erőforrásaitól eltérő célzónával saját hozzáférési szabályzatokat valósíthat meg, és elszámolhat szolgáltatásai költségeivel.
Az alábbi ábra nem az összes Azure-szolgáltatást ábrázolja. A diagram leegyszerűsítve kiemeli az erőforrások architektúrán belüli rendszerezésének alapvető fogalmait.
Adatkezelési célzóna
A felhőalapú elemzések megvalósításának egyik fő követelménye az adatkezelés kezdőzónája. Ez az előfizetés az összes kezdőzónában megosztott erőforrásokat tartalmazza, beleértve a megosztott hálózati összetevőket, például a tűzfalat vagy a privát DNS-zónákat. Az adatkezelési célzóna olyan adat- és felhőszabályozási erőforrásokat is tartalmaz, mint az Azure Policy és az Azure Purview.
A Relecloud létrehozott egy adatkezelési célzónát, amikor üzembe helyezték a műveleti csoport adatelemzési megoldását. Amikor a számlázási csoport csatlakozik a platformhoz, ugyanazzal az adatkezelési célzónával osztják meg a közös erőforrásokat a műveleti csoporttal.
Műveleti adatok kezdőzónája
A műveleti csoport az alábbi megoldásokkal rendelkezik az adat-célzónában.
Üzemeltetési adatalkalmazások
A csapat létrehozott egy forráshoz igazított adatalkalmazást , amely Apache Spark-feladatokat használ az Azure Databricksben a szolgáltatás telemetriai adatainak betöltéséhez és egy Azure Data Lake Storage-fiókban való tárolásához.
Ez a folyamat a forrásrendszerből másolja át az adatokat, de nem alakítja át. Az elemzők anélkül dolgozhatnak a másolt adatokkal az elemzési platformon, hogy túlterhelik a forrásrendszert. Ahelyett, hogy dedikált üzembe helyezést hoz létre ehhez az adatalkalmazáshoz, az operatív csapat a Databricks-munkaterületet használja a megosztott Ingest & Processing erőforráscsoportban.
A Relecloud ügyfelei felhőfiókokat hozhatnak létre az erőforrások és a számlázás magánfelhőikben való kezeléséhez. Minden ügyfél több fiókkal rendelkezhet. Az elemzési csapat létrehozott egy adatalkalmazást a felhőfiók adatainak importálásához. Mivel az adatok mennyisége és gyakorisága sokkal alacsonyabb, mint a telemetriai adatok esetében, a csapatnak nem kell Spark-feladatokat használnia. Ehelyett azure Data Factory-folyamatokat hoztak létre az adatok másolásához.
Az Azure Database for MySQL Hive metaadattárként működik, az Azure SQL Database pedig az Azure Data Factory metaadattára.
Operations data products
A Relecloud-elemzők új, fogyasztóhoz igazított adatalkalmazások létrehozásával kapnak értéket a forráshoz igazított adatalkalmazások adataiból. A fogyasztóhoz igazított adatalkalmazások egyike egy felhőszolgáltatás-ajánló modell. A Relecloud-adattudósok az Azure Machine Tanulás használatával olyan modellt építettek ki, amely megvizsgálja a felhőfiók által használt szolgáltatásokat, és olyan kapcsolódó szolgáltatásokat javasol, amelyek hasznosak lehetnek. A csapat üzembe helyezi ezt a modellt egy Azure Kubernetes Service-fürtben, amely a célzónában fut, és az Azure Machine Tanulás felügyeli. A felhőalapú elemzéseken kívül futó alkalmazások meghívhatják az AKS-végpontot a javaslatok lekéréséhez.
Miután a számlázási csapat létrehozta a kezdőzónát, az operatív csapat létrehoz egy új adatterméket, amelyet a felügyeleti csapat kér. A felügyeleti csapat tudni szeretné, hogy mennyi bevételt hoz létre a felhőszolgáltatás-ajánló adatalkalmazás. Az új Ajánló bevételi adattermék az Azure Synapse Analytics használatával egyesíti a felhőszolgáltatás-ajánló és a Revenue by service adatait egy új adattermékben. Az üzleti elemzők a Microsoft Power BI-val csatlakozhatnak az Azure Synapse-hez, hogy az új adattermékből származó megállapításokat találják meg és jelentsenek.
Számlázási adatok kezdőzónája
A számlázási csoport egy helyszíni rendszert használt az elemzések elvégzésére, de ahogy nőtt az adatmennyiség, és a vállalat jobban támaszkodott a munkájukra, a rendszer nem tudta tartani a lépést. A csoport a felhőbe való áthelyezéssel modernizálja platformját.
A számlázási csoport nem oszt meg célzónát a műveleti csoporttal, hanem saját célzónát kap, ahol szabadon felépítheti az igényeinek leginkább megfelelő platformot. Az új célzóna csatlakozik az adatkezelési célzónához és az összes többi adat-kezdőzónához virtuális hálózati társviszony-létesítéssel. Ez a mechanizmus lehetővé teszi az adatok biztonságos megosztását az Azure belső hálózatán keresztül.
Számlázási adatalkalmazások
A számlázási csoport két adatalkalmazást hoz létre a meglévő rendszerekből az elemzési platformra történő adatbevonáshoz. Az első alkalmazás betölti az ügyféladatokat, beleértve az ügyfelek teljes listáját és az összes kapcsolódó adatot, például az ügyfélcímeket, a helyeket és az üzletkötői hozzárendeléseket. A második alkalmazás importálja a vállalat számlaelőzményeit, amelyek tartalmazzák az ügyfeleknek fizetendő összes számlázási díjat és a kapcsolódó fizetési adatokat.
Mindkét alkalmazás a megosztott Azure Synapse-munkaterületen lévő folyamatokon alapul. Minden alkalmazás rendelkezik egy dedikált számítási készletgel, amely megkönnyíti a költségelszámolást és a biztonsági határokat. Mivel az alkalmazások teljes mértékben implementálhatók megosztott erőforrásokkal, a számlázási csoportnak nem kell üzembe helyezést létrehoznia ezekhez az adatalkalmazásokhoz.
Számlázási adattermék
A számlázási elemzők létrehoznak egy új, Bevétel szolgáltatásonként nevű adatterméket, amely elemzi, hogy az egyes felhőszolgáltatások mekkora bevételt termelnek a Relecloud számára. Ez a termék a számlák betöltési adataira támaszkodik. A termék a műveleti célzónához is csatlakozik, és beolvassa a szolgáltatás használati adatait. Az adatalkalmazásokhoz hasonlóan az adattermék is a megosztott Azure Synapse-munkaterületre támaszkodik.
Üzembehelyezési sablonok
Az architektúrák üzembe helyezéséhez használja az alábbi adatkezelési célzónát és az adat-kezdőzóna referencia-implementálási sablonjait:
Az alábbi sablonokkal üzembe helyezheti a többi adatalkalmazást és adatterméket a Relecloud számlázási és üzemeltetési adat-kezdőzónáiban:
| Név | Adat-kezdőzóna | Típus | Sablon |
|---|---|---|---|
| Felhőfiókok | Operations | Adatalkalmazás | Adattermék kötegsablonja |
| Ajánló bevétele | Operations | Adattermék | Adattermék kötegsablonja |
| Felhőszolgáltatás-ajánló | Operations | Adatalkalmazás | Adattermék-elemzési sablon |
| Bevétel szolgáltatás szerint | Billing | Adattermék | Adattermék kötegsablonja |
Fontos
A Relecloudnak nem kell mindent üzembe helyeznie az előző referencia-implementációs sablonokban az igényeiknek megfelelően. A sablonok bizonyos szintű testreszabást igényelnek. Távolítsa el azokat a szolgáltatásokat, amelyekre nincs szüksége a sablonokból az üzembe helyezés előtt.
További lépések
Folytassa a Lamna Healthcare-forgatókönyvet a biztonságos felhőalapú elemzéshez az Azure-ban.
For more information, see the following articles: