Tietojen integroinnin ja analytiikkaratkaisun suunnittelu Azure Synapse Analyticsin avulla
Azure Synapse Analytics yhdistää massadata-analytiikan, yrityksen tietojen tallennuksen ja tietojen integroinnin ominaisuudet. Palvelun avulla voit suorittaa kyselyjä palvelimettomista tiedoista tai tiedoista suuressa mittakaavassa. Azure Synapse tukee tietojen käsittelemistä, tutkimista, muuntamista ja hallintaa sekä tukee analysointia kaikissa BI- ja koneoppimistarpeissasi.
Azure Synapse Analyticsista tiedettävät asiat
Azure Synapse Analytics toteuttaa erittäin rinnakkaisen prosessoinnin (MPP) arkkitehtuurin, ja sillä on seuraavat ominaisuudet.
Azure Synapse Analytics -arkkitehtuuri sisältää hallintasolmu- sekä joukon laskentasolmuja.
Ohjausobjektisolmu on arkkitehtuurin aivot. Se on edusta, joka on vuorovaikutuksessa kaikkien sovellusten kanssa. Laskentasolmut antavat laskennallisen tehon. Käsiteltävät tiedot jaetaan tasaisesti solmuihin.
Lähetät kyselyjä Transact-SQL-lausekkeiden muodossa, ja Azure Synapse Analytics suorittaa ne.
Azure Synapse käyttää tekniikkaa nimeltä PolyBase jonka avulla voit noutaa ja kysellä tietoja relaatiolähteistä ja ei-relaatiolähteistä. Voit tallentaa luetut tiedot SQL-taulukoina Azure Synapse -palvelussa.
Azure Synapse Analyticsin komponentit
Azure Synapse Analytics koostuu viidestä elementistä:
- Azure Synapse SQL -varannon: Synapse SQL tarjoaa sekä palvelimettomia että varattuja resurssimalleja solmupohjaisen arkkitehtuurin kanssa työskentelyä varten. Voit luoda erillisiä SQL-varannot ennustettavissa olevaa suorituskykyä ja kustannuksia varten. Epäsäännöllisille tai suunnittelemattomille kuormituksille voit käyttää aina käytettävissä olevaa, palvelimetonta SQL-päätepistettä.
- Azure Synapse Spark -: Tämä varanto on palvelinklusteri, joka käsittelee tietoja suorittamalla Apache Sparkin. Voit kirjoittaa tietojenkäsittelylogiikan käyttämällä jotakin neljästä tuetusta kielestä: Python, Scala, SQL ja C# (Apache Sparkin .NET:n kautta). Apache Spark for Azure Synapse integroi Apache Sparkin (avoimen lähdekoodin massadatamoduuli, jota käytetään tietojen valmisteluun, tietotekniikkaan, ETL:een ja koneoppimiseen).
- Azure Synapse Pipelines: Azure Synapse Pipelines käyttää Azure Data Factoryn ominaisuuksia. Putket ovat pilvipohjainen ETL- ja tietojen integrointipalvelu, jonka avulla voit luoda tietopohjaisia työnkulkuja tietojen siirron ja tietojen muuntamisen järjestämiseksi mittakaavassa. Voit sisällyttää toimintoja, jotka muuntavan tietoja niiden siirron aikana, tai voit yhdistää tietoja useista lähteistä.
- Azure Synapse Link: Tämän komponentin avulla voit muodostaa yhteyden Azure Cosmos DB:hen. Sen avulla voit suorittaa lähes reaaliaikaista analyysia Azure Cosmos DB -tietokantaan tallennetuista toiminnallisista tiedoista.
- Azure Synapse Studio: Tämä elementti on verkkopohjainen integroitu kehitysympäristö, jota voidaan käyttää keskitetysti kaikkien Azure Synapse Analytics -ominaisuuksien kanssa. Azure Synapse Studion avulla voit luoda SQL- ja Spark-varannot, määrittää ja suorittaa putkia sekä määrittää linkkejä ulkoisiin tietolähteisiin.
Analyyttiset asetukset
Azure Synapse Analytics tukee useita analyyttisia skenaarioita. Kun tarkastelet taulukkoa, mieti, miten skenaariot koskevat Tailwind Traders -organisaatiota.
| Analyysi | Skenaario | Kuvaus |
|---|---|---|
| kuvaava | Mitä on tekeillä? | Azure Synapse käyttää erillistä SQL-varannon ominaisuutta, jonka avulla voit luoda pysyvän tietovaraston ja analysoida kysymyksiä. Voit hyödyntää palvelimetonta SQL-varantoa tietojen valmistelemiseen Data Lake -tallennustilaan tallennetuista tiedostoista tietovaraston luomiseksi vuorovaikutteisesti. |
| diagnostiikan | Miksi se tapahtuu? | Azure Synapsen palvelimettoman SQL-varannon avulla voit tutkia data Lake -järjestelmässä olevia tietoja vuorovaikutteisesti. Palvelimettomien SQL-varantojen avulla käyttäjä voi nopeasti hakea muita tietoja, joiden avulla hän voi ymmärtää miksi kysymyksiä. |
| ennakoiva | Mitä todennäköisesti tapahtuu? | Azure Synapse Analytics käyttää integroitua Apache Spark -moduulia ja Azure Synapse Spark -varantoja ennakoivaan analysointiin. Se yhdistää tämän toiminnon muihin palveluihin, kuten Azuren automaattianalyysipalveluihin ja Azure Databricksiin, jotta voit vastata , mitä tulevaisuudessa. |
| ohjaileva | Mitä on tehtävä? | Ohjailevan analytiikan reaaliaikaisten tai lähes reaaliaikaisten tietojen avulla voit tunnistaa ratkaisuja minkä toiminnon kysymyksiä. Azure Synapse Analytics tarjoaa tämän ominaisuuden Apache Sparkin ja Azure Synapse Linkin kautta sekä integroimalla virtautettavien tekniikoiden, kuten Azure Stream Analyticsin, integroinnin. |
Liiketoimintaskenaario
Tarkastellaan skenaariota, jossa yhtiö palvelee asiakkaita, joilla on osakemarkkinoiden tietoja. Sinun on tarjottava erä- ja virtakäsittelyn yhdistelmä Tailwind Traders -infrastruktuurin tukemiseksi. up-to– toisten tietojen avulla voidaan valvoa reaaliaikaisia tietoja, joissa on välitön päätös, joka vaaditaan tietoon perustuvan sekunnin murto-osan osto- tai myyntipäätösten tekemiseen. Historialliset tiedot ovat yhtä tärkeitä suorituskyvyn trendien tarkastelua varten. Minkä tyyppistä tietovarastoa ja tietojen integrointiratkaisua suosittelisit tarjoamaan pääsyn raakatietojen tietovirtoihin ja näistä tiedoista johdettuihin valmisteltuihin liiketoimintatietoihin? Azure Synapse Analyticsin avulla voit käsitellä ulkoisista lähteistä peräisin olevia tietoja ja muuntaa ja koostaa nämä tiedot analytiikan käsittelyyn sopivaan muotoon.
Huomioi seuraavat seikat, kun valitset Azure Data Factoryn tai Azure Synapse Analyticsin
Seuraavassa taulukossa verrataan tallennusratkaisun ehtoja Azure Data Factoryn käyttämiseen verrattuna Azure Synapse Analyticsiin. Tarkista ehdot ja mieti, mikä ratkaisu on optimaalinen Tailwind Tradersille.
| Verrata | Azure Data Factory | Azure Synapse Analytics |
|---|---|---|
| Tietojen jakaminen | Tietoja voidaan jakaa eri tietotehtaiden kesken | Ei tueta |
| Ratkaisumallit - | Ratkaisumallit tarjotaan Azure Data Factory -mallivalikoiman mukana | Ratkaisumallit ovat Synapse Workspace Knowledge Centerissä. |
| integroinnin suorituksenaikaiset alueiden välillä suoritettavat työnkulut | Alueidenvälistä tietovuokulkua tuetaan | Ei tueta |
| Monitor Data | Tietojen valvonta on integroitu Azure Monitoriin | Diagnostiikkalokit ovat käytettävissä Azure Monitorissa |
| Valvoo Spark Jobsia tietovuon | Ei tueta | Spark Jobsia voidaan valvoa tietovuon osalta Synapse Spark -varannon avulla |
Azure Synapse Analytics on ihanteellinen ratkaisu moniin muihin tilanteisiin. Ota seuraavat asiat huomioon:
- Harkitse useita erilaisia tietolähteitä. Sinulla on useita tietolähteitä, jotka käyttävät Azure Synapse Analyticsia koodittomaan ETL:een ja tietovuon toimintoihin.
- harkitse. Kun sinun on otettava käyttöön automaattianalyysiratkaisuja Apache Sparkin avulla, voit käyttää Azure Synapse Analyticsia azure-automaattianalyysin sisäiseen tukeen.
- Harkitse Data Lake -tallennustilan integrointia. Kun aiemmin luodut tiedot on tallennettu Data Lake -tallennustilaan ja haluat integroida Azure Data Lakeen ja muihin syötelähteisiin, Azure Synapse Analytics tarjoaa näiden kahden komponentin saumattoman integroinnin.
- Harkitse reaaliaikaista analysointia. Kun tarvitset reaaliaikaista analysointia, voit käyttää Azure Synapse Linkin kaltaisia toimintoja tietojen analysoimiseen reaaliaikaisesti ja merkityksellisten tietojen tarjoamiseen.