Spaceborne-adatelemzés Azure Synapse Analytics használatával

Ez az architektúra egy végpontok közötti implementáció bemutatására szolgál, amely magában foglalja a térbeli adatok kinyerését, betöltését, átalakítását és elemzését térinformatikai kódtárak és AI-modellek használatával Azure Synapse Analytics használatával. Ez a cikk azt is bemutatja, hogyan integrálhatók térinformatikailag specifikus Azure Cognitive Services-modellek, partnerektől származó AI-modellek, saját adatok használata és Azure Synapse Analyticset használó AI-modellek. A dokumentum célközönsége a térinformatikai vagy térinformatikai adatokkal végzett munka során középfokú jártasságú felhasználók.

Ennek az architektúrának egy implementációja elérhető a GitHubon.

Az Apache®, az Apache Spark, a Spark, a Spark embléma, az Apache Sedona, az Apache Inkubátor, az Apache feather embléma és az Apache Inkubátor projekt emblémája az Apache Software Foundation bejegyzett védjegyei vagy védjegyei a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.

Architektúra

Töltse le az architektúra Visio-fájlját.

Adatfolyam

Az alábbi szakaszok az architektúra szakaszait ismertetik.

Adatfeldolgozás

A spaceborne-adatok olyan adatforrásokból származnak, mint az Airbus, a NAIP/USDA (a Planetary Computer API-n keresztül) és aMaxar. Az adatok betöltése Azure Data Lake Storage történik.

Azure Synapse Analytics különböző folyamatokat és tevékenységeket biztosít, például webes tevékenységeket, Adatfolyam tevékenységeket és egyéni tevékenységeket, hogy ezekhez a forrásokhoz csatlakozzanak, és az adatokat Data Lake Storage másolják.

Azure Synapse egyéni tevékenységek a testre szabott kódlogikát virtuális gépek Azure Batch készletén vagy Docker-kompatibilis tárolókban futtatják.

Adatátalakítás

Az adatok feldolgozása és átalakítása olyan formátumba történik, amelyet az elemzők és az AI-modellek felhasználhatnak. Az átalakítás végrehajtásához térinformatikai kódtárak( gDAL, OGR, Rasterio és GeoPandas) érhetők el.

Azure Synapse Spark-készletek lehetővé teszik ezen kódtárak konfigurálását és használatát az adatátalakítások végrehajtásához. Használhat Azure Synapse egyéni tevékenységeket is, amelyek Azure Batch készleteket használnak.

A Azure Synapse jegyzetfüzet egy webes felület, amellyel élő kódot, vizualizációkat és elbeszélő szöveget tartalmazó fájlokat hozhat létre. A jegyzetfüzetek kiválóan alkalmasak ötletek érvényesítésére, átalakítások definiálására, valamint gyors kísérletek végrehajtására az adatok elemzéséhez és egy folyamat létrehozásához. A mintakódban a GDAL-kódtárat egy Spark-készletben használják az adatátalakítások végrehajtásához. További információt a cikk mintakód szakaszában talál.

A mintamegoldás ebből az adatátalakítási lépésből valósítja meg ezt a folyamatot. A minta megírása azzal a feltételezéssel történik, hogy az adatokat Data Lake Storage a korábban ismertetett adatbetöltési módszerek másolják. Bemutatja ennek a folyamatnak a megvalósítását a raszteres adatfeldolgozáshoz.

AI-modellek elemzése és végrehajtása

A Azure Synapse notebookkörnyezet AI-modelleket elemez és futtat.

Az olyan szolgáltatásokkal fejlesztett AI-modellek, mint a Cognitive Services Custom Vision modell, a saját környezetükben betanított és Docker-tárolókként csomagolt modellek elérhetők a Azure Synapse környezetben.

A Azure Synapse környezetben olyan AI-modelleket is futtathat, amelyek a partnerektől különböző képességekhez, például az objektumészleléshez, a változásészleléshez és a földbesoroláshoz érhetők el. Ezek a modellek a saját környezetükben vannak betanva, és Docker-tárolókként vannak csomagolva.

Azure Synapse futtathat ilyen AI-modelleket egy egyéni tevékenységen keresztül, amely végrehajtható fájlként vagy Docker-tárolóként futtatja a kódot a Batch-készletekben. A mintamegoldás bemutatja, hogyan futtathat egy Custom Vision AI-modellt egy Azure Synapse folyamat részeként objektumészlelés céljából egy adott térinformatikai területen.

Utólagos elemzés és vizualizáció

• A további elemzésekhez és vizualizációkhoz az AI-modellek elemzéséből és végrehajtásából származó kimenetek tárolhatók Data Lake Storage, adatérzékeny adatbázisokban, például Azure Database for PostgreSQL vagy Azure Cosmos DB-ben. A mintamegoldás bemutatja, hogyan alakíthatja át az AI-modell kimenetét, és hogyan tárolhatja GeoJSON-adatokként Data Lake Storage és Azure Database for PostgreSQL. Innen lekérheti és lekérdezheti a kimenetet.
• Vizualizációhoz:
  • Használhat licenccel rendelkező eszközöket, például az ArcGIS Desktopot vagy a nyílt forráskódú eszközöket, például a QGIS-t.
  • A Power BI használatával különböző adatforrásokból érheti el a GeoJSON-t, és megjelenítheti a földrajzi információs rendszer (GIS) adatait.
  • Az ügyféloldali térinformatikai JavaScript-kódtárak használatával megjelenítheti az adatokat a webalkalmazásokban.

Összetevők

Adatforrások

• Képszolgáltatók.
  • Airbus
  • NAIP/USDA (a Planetary Computer API-n keresztül)
  • Maxar
• Saját adatok használata. Másolja a saját adatait a Data Lake Storage.

Adatfeldolgozás

• Azure Synapse Analytics egy korlátlan elemzési szolgáltatás, amely egyesíti az adatintegrációt, a vállalati adattárházat és a big data-elemzést. Azure Synapse ugyanazokat a adatintegráció motort és szolgáltatásokat tartalmazza, mint a Azure Data Factory, így a Azure Synapse elhagyása nélkül hozhat létre nagy léptékű ETL-folyamatokat.
• A Azure Data Lake Storage a big data-elemzések számára készült, és Azure Blob Storage épül.
• Azure Batch lehetővé teszi nagy számú kötegelt számítási feladat futtatását és skálázását az Azure-ban. A Batch-tevékenységek futtathatók közvetlenül a Batch-készletben lévő virtuális gépeken (csomópontokon), de beállíthat egy Batch-készletet is, amely a feladatokat Docker-kompatibilis tárolókban futtatja a csomópontokon.
  • Az egyéni Azure Synapse tevékenységek testreszabott kódlogikát futtatnak virtuális gépek Azure Batch készletén vagy Docker-tárolókban.
• Az Azure Key Vault tárolja és szabályozza a titkos kulcsokhoz, például jogkivonatokhoz, jelszavakhoz és API-kulcsokhoz való hozzáférést. Key Vault titkosítási kulcsokat is létrehoz és vezérel, valamint kezeli a biztonsági tanúsítványokat.

Adatátalakítás

A következő térinformatikai kódtárak és csomagok együtt használhatók átalakításokhoz. Ezek a kódtárak és csomagok egy kiszolgáló nélküli Spark-készletbe vannak telepítve, amelyet aztán egy Azure Synapse jegyzetfüzethez csatolnak. A kódtárak telepítéséről a jelen cikk későbbi, Térinformatikai csomagok telepítése Azure Synapse Spark-készletben című szakaszában olvashat.

• Térinformatikai kódtárak
  • A GDAL a spaceborne-adatok manipulálására szolgáló eszközök gyűjteménye. A GDAL raszteres és vektoros adattípusokon működik. Ez egy jó eszköz annak kiderítésére, hogy űrbeli adatokkal dolgozik-e.
  • A Rasterio egy raszterfeldolgozási modul. Segítségével több különböző raszterformátumot olvashat és írhat Pythonban. A Rasterio a GDAL-n alapul. A modul importálásakor a Python automatikusan regisztrálja az összes ismert GDAL-illesztőprogramot a támogatott formátumok olvasásához.
  • A GeoPandas egy nyílt forráskódú projekt, amely megkönnyíti a spaceborne-adatok használatát a Pythonban. A GeoPandas kibővíti a Pandas által használt adattípusokat, hogy lehetővé tegye a geometriai típusok térbeli műveleteit.
  • A Shapely egy Python-csomag a planáris funkciók set-theoretic elemzéséhez és kezeléséhez. (a Python ctypes modulján keresztül) függvényeket használ a széles körben üzembe helyezett GEOS-kódtárból.
  • A pyproj kartográfiai átalakításokat hajt végre. A hosszúságról és a szélességről natív leképezési x, y koordinátákká és fordítva, a PROJ használatával konvertál.
• Azure Batch lehetővé teszi nagy számú kötegelt számítási feladat futtatását és skálázását az Azure-ban.
• Azure Synapse jegyzetfüzetek egy webes felület élő kódot, vizualizációkat és elbeszélő szöveget tartalmazó fájlok létrehozásához. A Jegyzetfüzet tevékenységgel meglévő Azure Synapse jegyzetfüzeteket adhat hozzá egy Azure Synapse-folyamathoz.
• Az Apache Spark-készlet lehetővé teszi a kódtárak konfigurálását és használatát adatátalakításokhoz. A Spark-feladatdefiníciós tevékenységgel meglévő Spark-feladatokat adhat hozzá egy Azure Synapse folyamathoz.

Elemzés és AI-modellezés

• Azure Synapse gépi tanulási képességeket biztosít.
• Azure Batch lehetővé teszi nagy számú kötegelt számítási feladat futtatását és skálázását az Azure-ban. Ebben a megoldásban a Azure Synapse Custom tevékenység docker-alapú AI-modellek futtatására szolgál Azure Batch készleteken.
• Az Azure Cognitive Services lehetővé teszi a látás beágyazását az alkalmazásokba. A Cognitive Services egyik összetevője, a Custom Vision segítségével testre szabhatja és beágyazhatja az adott tartományokhoz tartozó modern számítógépes látástechnológiai képelemzést.
• Saját AI-modelleket és Microsoft-partner AI-modelleket is használhat, például blackshark.ai.

Elemzés utáni és vizualizációs hivatkozások

• Azure Database for PostgreSQL egy teljes körűen felügyelt relációsadatbázis-szolgáltatás, amelyet rugalmas skálázású számítási feladatokhoz terveztek. Támogatja a spaceborne adatokat a PostGIS-bővítményen keresztül.
• Az Azure Cosmos DB támogatja a GeoJSON-ban ábrázolt térinformatikai pontadatok indexelését és lekérdezését.
• A Power BI egy interaktív adatvizualizációs eszköz jelentések és irányítópultok készítéséhez. Az Esri ArcGIS Maps segítségével betekintést nyerhet a spaceborne-adatokba.
• A QGIS egy ingyenes, nyílt forráskódú GIS térinformatikai információk létrehozásához, szerkesztéséhez, vizualizációjához, elemzéséhez és közzétételéhez.
• Az ArcGIS Desktop az Esri által biztosított licenccel rendelkező termék. Segítségével földrajzi információkat hozhat létre, elemezhet, kezelhet és oszthat meg.

Alternatív megoldások

Ha olyan tárolóalapú AI-modelleket szeretne futtatni, amelyeket Azure Synapse hívhat meg, használhatja Azure Kubernetes Service, Azure Container Instances vagy Azure Container Apps alkalmazást.

Az Azure Databricks alternatívát kínál egy elemzési folyamat üzemeltetésére.

A Spark az Azure HDInsightban alternatívát kínál térinformatikai kódtárak használatára az Apache Spark-környezetben.

Íme néhány alternatív kódtár és keretrendszer, amelyeket a spaceborne adatfeldolgozáshoz használhat:

• Az Apache Sedona, korábbi nevén GeoSpark egy nagy léptékű térbeli adatok feldolgozására szolgáló fürt-számítástechnikai rendszer. A Sedona kiterjeszti a Spark és a Spark SQL-t a beépített Térbeli rugalmas elosztott adatkészletekkel és SpatialSQL-sel, amelyek hatékonyan töltik be, dolgozzák fel és elemzik a nagy léptékű térbeli adatokat a gépek között.
• A Pythonhoz készült Dask egy párhuzamos számítási kódtár, amely skálázza a meglévő Python-ökoszisztémát.

Forgatókönyv részletei

A spaceborne adatgyűjtés egyre gyakoribb. A mesterséges intelligencia alkalmazásához az adatok tárolt archívumai szükségesek a gépi tanuláshoz. Az űrbeli adatelemzéshez szükséges felhőalapú megoldás kialakításának szükségessége egyre fontosabbá vált, hogy a vállalatok és a kormányok jobban tájékozott üzleti és taktikai döntéseket tudjanak hozni.

Lehetséges használati esetek

Ez a megoldás ideális a repülőgép- és repülőgépipar számára. A következő forgatókönyveket kezeli:

• Raszteres adatbetöltés és -feldolgozás
• Objektumészlelés előre betanított AI-modelleken keresztül
• Földtömegek besorolása AI-modelleken keresztül
• A környezet változásainak monitorozása AI-modelleken keresztül
• Származtatott adathalmazok előre feldolgozott képkészletekből
• Vektoros vizualizáció / kis területfelhasználás
• Vektoradatok szűrése és adatközi illesztések

Megfontolandó szempontok

Ezek a szempontok implementálják az Azure Well-Architected-keretrendszer alappilléreit, amelyek a számítási feladatok minőségének javítására használható vezérelvek. További információ: Microsoft Azure Well-Architected Framework.

Működésbeli kiválóság

Ha a Git használatával együttműködik a forráskövetéshez, a Synapse Studio használatával társíthatja a munkaterületet egy Git-adattárhoz, az Azure DevOpshoz vagy a GitHubhoz. További információ: Forrásvezérlő Synapse Studio.

• Egy Azure Synapse munkaterületen a CI/CD áthelyezi az összes entitást egy környezetből (fejlesztés, tesztelés, éles környezet) egy másik környezetbe.
• Az Azure DevOps kiadási folyamataival és GitHub Actions automatizálhatja egy Azure Synapse munkaterület több környezetbe történő üzembe helyezését.

Teljesítmény

• Azure Synapse támogatja az Apache Spark 3.1.2-t, amely nagyobb teljesítményű, mint az elődei.
• A Spark-készlet skálázásával és a csomópontméretekkel kapcsolatos információkért lásd: Spark-készletek a Azure Synapse Analyticsben.
• A Azure Batch használatával belsőleg párhuzamosan skálázhatja fel a Azure Synapse egyéni tevékenységben elküldött átalakításokat. Azure Batch támogatja az AI-modellek futtatásához használható speciális GPU-optimalizált virtuálisgép-méreteket.

Megbízhatóság

A megbízhatóság biztosítja, hogy az alkalmazás megfeleljen az ügyfeleknek vállalt kötelezettségeknek. További információ: A megbízhatósági pillér áttekintése.

Az SLA-val kapcsolatos információkért lásd Azure Synapse SLA-t.

Biztonság

A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.

A biztonsági ajánlott eljárásokat az alábbi cikkekben tekintheti meg:

• Azure Synapse Analytics-biztonság: Bevezetés
• Azure Synapse Analytics-biztonság: Adatvédelem
• Azure Synapse Analytics-biztonság: Hozzáférés-vezérlés
• Azure Synapse Analytics-biztonság: Hitelesítés
• Azure Synapse Analytics: Hálózati biztonság

Költségoptimalizálás

A költségoptimalizálás a felesleges költségek csökkentésének és a működési hatékonyság javításának módjait ismerteti. További információ: A költségoptimalizálási pillér áttekintése.

Ezek az erőforrások a díjszabással és a költségoptimalizálással kapcsolatos információkat nyújtanak:

• A Azure Synapse költségeinek megtervezése és kezelése
• Azure Synapse az Azure díjkalkulátorában
• Apache Spark-készlet a Azure Synapse
• Csomópontok és készletek a Azure Batch
• Azure Batch az Azure díjkalkulátorában

A forgatókönyv üzembe helyezése

Elérhető a mintamegoldás Bicep-üzembe helyezése. Az üzembe helyezés megkezdéséhez tekintse meg ezeket az utasításokat.

Töltse le az architektúra Visio-fájlját.

Korlátozások

Ez az architektúra egy Azure Synapse használó, végpontok közötti geofeldolgozási és elemzési megoldást mutat be. Ez a minta-implementáció egy kis és közepes érdeklődési körre, valamint a raszteradatok korlátozott egyidejű geofeldolgozására irányul.

Mintakód

Az alábbi utasítások bemutatják, hogyan olvashatók, írhatóak és alkalmazhatók átalakítások a Azure Data Lake Storage tárolt raszteradatokra Synapse-jegyzetfüzet használatával. A cél inkább a kódtárak Synapse-jegyzetfüzetekben való használatának bemutatása, mint az átalakítás bemutatása.

Előfeltételek

• Telepítse a térinformatikai kódtárakat.
• Hozzon létre egy Azure Key Vaultot a titkos kódok tárolásához. Ebben a forgatókönyvben a tárfiók hozzáférési kulcsát a kulcstartóban tároljuk. Útmutatásért lásd: Hitelesítő adatok tárolása az Azure Key Vault-ben.
• Hozzon létre egy társított szolgáltatást az Azure Key Vault számára a Azure Synapse használatával.

Utasítások

• Adatok nyomtatása a raszteradatokból:

  from osgeo import gdal
  gdal.UseExceptions()
  access_key = TokenLibrary.getSecret('<key-vault-name>','<secret-name>')
  gdal.SetConfigOption('AZURE_STORAGE_ACCOUNT', '<storage_account_name>')
  gdal.SetConfigOption('AZURE_STORAGE_ACCESS_KEY', access_key)
  dataset_info = gdal.Info('/vsiadls/aoa/input/sample_image.tiff')  #/vsiadls/<container_name>/path/to/image
  print(dataset_info)
  

  Megjegyzés

  /vsiadls/egy fájlrendszer-kezelő, amely lehetővé teszi, hogy menet közben véletlenszerűen beolvassák az Azure Data Lake Storage fájlrendszerekben elérhető, elsősorban nem nyilvános fájlokat. A teljes fájl előzetes letöltése nem szükséges. /vsiadls/ hasonló a () fájlhoz /vsiaz/. Ugyanazokat a konfigurációs beállításokat használja a hitelesítéshez. Ellentétben /vsiaz/a , /vsiadls/ valós címtár-kezelést és Unix-stílusú ACL-támogatást nyújt. Egyes funkciók esetében a hierarchikus támogatást be kell kapcsolni az Azure Storage-ban. További információt a dokumentációban/vsiadls/ talál.

  Driver: GTiff/GeoTIFF
  Files: /vsiadls/naip/input/sample_image.tiff
  Size is 6634, 7565
  Coordinate System is:
  PROJCRS["NAD83 / UTM zone 16N",
      BASEGEOGCRS["NAD83",
          DATUM["North American Datum 1983",
              ELLIPSOID["GRS 1980",6378137,298.257222101,
                  LENGTHUNIT["metre",1]]],
          PRIMEM["Greenwich",0,
              ANGLEUNIT["degree",0.0174532925199433]],
          ID["EPSG",4269]],
      CONVERSION["UTM zone 16N",
          METHOD["Transverse Mercator",
              ID["EPSG",9807]],
          PARAMETER["Latitude of natural origin",0,
              ANGLEUNIT["degree",0.0174532925199433],
              ID["EPSG",8801]],
          PARAMETER["Longitude of natural origin",-87,
              ANGLEUNIT["degree",0.0174532925199433],
              ID["EPSG",8802]],
          PARAMETER["Scale factor at natural origin",0.9996,
              SCALEUNIT["unity",1],
              ID["EPSG",8805]],
          PARAMETER["False easting",500000,
              LENGTHUNIT["metre",1],
              ID["EPSG",8806]],
          PARAMETER["False northing",0,
              LENGTHUNIT["metre",1],
              ID["EPSG",8807]]],
      CS[Cartesian,2],
          AXIS["(E)",east,
              ORDER[1],
              LENGTHUNIT["metre",1]],
          AXIS["(N)",north,
              ORDER[2],
              LENGTHUNIT["metre",1]],
      USAGE[
          SCOPE["Engineering survey, topographic mapping."],
          AREA["North America - between 90°W and 84°W - onshore and offshore. Canada - Manitoba; Nunavut; Ontario. United States (USA) - Alabama; Arkansas; Florida; Georgia; Indiana; Illinois; Kentucky; Louisiana; Michigan; Minnesota; Mississippi; Missouri; North Carolina; Ohio; Tennessee; Wisconsin."],
          BBOX[23.97,-90,84,-84]],
      ID["EPSG",26916]]
  Data axis to CRS axis mapping: 1,2
  Origin = (427820.000000000000000,3395510.000000000000000)
  Pixel Size = (1.000000000000000,-1.000000000000000)
  Metadata:
    AREA_OR_POINT=Area
  Image Structure Metadata:
    COMPRESSION=DEFLATE
    INTERLEAVE=PIXEL
    LAYOUT=COG
    PREDICTOR=2
  Corner Coordinates:
  Upper Left  (  427820.000, 3395510.000) ( 87d45'13.12"W, 30d41'24.67"N)
  Lower Left  (  427820.000, 3387945.000) ( 87d45'11.21"W, 30d37'18.94"N)
  Upper Right (  434454.000, 3395510.000) ( 87d41' 3.77"W, 30d41'26.05"N)
  Lower Right (  434454.000, 3387945.000) ( 87d41' 2.04"W, 30d37'20.32"N)
  Center      (  431137.000, 3391727.500) ( 87d43' 7.54"W, 30d39'22.51"N)
  Band 1 Block=512x512 Type=Byte, ColorInterp=Red
    Overviews: 3317x3782, 1658x1891, 829x945, 414x472
  Band 2 Block=512x512 Type=Byte, ColorInterp=Green
    Overviews: 3317x3782, 1658x1891, 829x945, 414x472
  Band 3 Block=512x512 Type=Byte, ColorInterp=Blue
    Overviews: 3317x3782, 1658x1891, 829x945, 414x472
  Band 4 Block=512x512 Type=Byte, ColorInterp=Undefined
    Overviews: 3317x3782, 1658x1891, 829x945, 414x472
  

• A GeoTiff konvertálása PNG-re a GDAL használatával:

  from osgeo import gdal
  gdal.UseExceptions()
  access_key = TokenLibrary.getSecret('<key-vault-name>','<secret-name>')
  gdal.SetConfigOption('AZURE_STORAGE_ACCOUNT', '<storage_account_name>')
  gdal.SetConfigOption('AZURE_STORAGE_ACCESS_KEY', access_key)
  tiff_in = "/vsiadls/aoa/input/sample_image.tiff" #/vsiadls/<container_name>/path/to/image
  png_out = "/vsiadls/aoa/input/sample_image.png" #/vsiadls/<container_name>/path/to/image
  options = gdal.TranslateOptions(format='PNG')
  gdal.Translate(png_out, tiff_in, options=options)
  

• GeoTiff-rendszerképek tárolása Azure Data Lake Storage.

  Mivel az adatok tárolása a felhőben történik, és hogy a fájlkezelők /vsiaz/ és /vsiadls/ csak a szekvenciális írásokat támogatják, az mssparkutils csomagban elérhető fájlcsatlakoztatási funkciót használjuk. Miután a kimenetet egy csatlakoztatási helyre írta, másolja a Azure Data Lake Storage a mintaátalakításban látható módon:

  import shutil
  import sys
  from osgeo import gdal
  from notebookutils import mssparkutils
  
  mssparkutils.fs.mount(
      "abfss://<container_name>@<storage_account_name>.dfs.core.windows.net",
      "/<mount_path>",
      {"linkedService":"<linked_service_name>"}
  )
  
  access_key = TokenLibrary.getSecret('<key-vault-name>','<secret-name>')
  gdal.SetConfigOption('AZURE_STORAGE_ACCOUNT', '<storage_account_name>')
  gdal.SetConfigOption('AZURE_STORAGE_ACCESS_KEY', access_key)
  
  options = gdal.WarpOptions(options=['tr'], xRes=1000, yRes=1000)
  gdal.Warp('dst_img.tiff', '/vsiadls/<container_name>/path/to/src_img.tiff', options=options)
  
  jobId = mssparkutils.env.getJobId()
  
  shutil.copy("dst_img.tiff", f"/synfs/{jobId}/<mount_path>/path/to/dst_img.tiff")
  

  A Azure Synapse a csatolt szolgáltatások közé Azure Data Lake Storage is felvehet. Útmutatásért lásd: Csatolt szolgáltatások.

Megoldásminta

Ennek az architektúrának egy implementációja elérhető a GitHubon.

Ez az ábra a mintamegoldás lépéseit mutatja be:

Töltse le az architektúra Visio-fájlját.

1. Egy Azure Synapse folyamat beolvassa a térbeli adatokat Azure Data Lake Storage.
2. Az adatokat a GDAL-kódtár dolgozza fel egy Azure Synapse jegyzetfüzetben.
3. A feldolgozott adatokat a rendszer Azure Data Lake Storage tárolja.
4. A feldolgozott adatokat a rendszer Azure Data Lake Storage olvassa be, és egy Azure Synapse Egyéni tevékenység továbbítja az objektumészlelési Custom Vision AI-modelleknek. Az egyéni tevékenység Azure Batch készleteket használ az objektumészlelési modell futtatásához.
5. Az objektumészlelési modell megjeleníti az észlelt objektumok és határolókeretek listáját.
6. Az észlelt objektumokat GeoJSON-ra konvertálja a rendszer, és Azure Data Lake Storage tárolja.
7. A GeoJSON-adatokat a rendszer Azure Data Lake Storage olvassa be, és egy PostgreSQL-adatbázisban tárolja.
8. Az adatok a PostgreSQL-adatbázisból lesznek beolvasva. Az arcGIS Pro, a QGIS és a Power BI eszközeiben tovább vizualizálható.

Térinformatikai csomagok telepítése Azure Synapse Spark-készletbe

A csomagkezelési funkcióval telepítenie kell a csomagokat egy Azure Synapse Spark-készletbe. További információ: Azure Synapse csomagkezelés.

A spaceborne adatterhelések Azure Synapse való támogatásához olyan kódtárakra van szükség, mint a GDAL, a Rasterio és a GeoPandas. Ezeket a kódtárakat egy YAML-fájl használatával telepítheti egy kiszolgáló nélküli Apache Spark-készletre. Az Anaconda-kódtárak előre telepítve vannak a Spark-készletben.

Előfeltételek

• Hozzon létre egy Azure Synapse munkaterületet.
• Hozza létre a Spark-készletet a Azure Synapse Studióban.

Utasítások

1. A következő kódtárak és csomagok érhetők el a environment.yml fájlban. Javasoljuk, hogy ezzel a fájllal telepítse a kódtárakat a Spark-készletekben. Ha az alábbi tartalmat másolja, győződjön meg arról, hogy nincsenek lapok, mivel a YAML csak behúzásként engedélyezi a szóközöket.

   name: aoi-env
   channels:
     - conda-forge
     - defaults
   dependencies:
     - azure-storage-file-datalake
     - gdal=3.3.0
     - libgdal
     - pip>=20.1.1
     - pyproj
     - shapely
     - pip:
       - rasterio
       - geopandas
   

   Megjegyzés

   A GDAL virtuális fájlrendszert /vsiadls/ használ Azure Data Lake Storage. Ez a funkció a GDAL 3.3.0-s verziótól kezdve érhető el. Ügyeljen arra, hogy a 3.3.0-s vagy újabb verziót használja.

2. Nyissa meg a https://web.azuresynapse.net munkaterületet, és jelentkezzen be.

3. A navigációs ablakban válassza a Kezelés , majd az Apache Spark-készletek lehetőséget.

4. Válassza a Csomagok lehetőséget a Spark-készlet három pontjának (...) kiválasztásával. Töltse fel a environment.yml fájlt a helyi fájlból, és alkalmazza a csomagbeállításokat.

5. A portál értesítési szakasza értesíti a telepítés befejezéséről. A telepítés előrehaladását az alábbi lépésekkel is nyomon követheti:

   1. Lépjen a Spark-alkalmazások listájára a Monitor lapon .
   2. Válassza a készletfrissítésnek megfelelő SystemReservedJob-LibraryManagement hivatkozást.
   3. Tekintse meg az illesztőprogram-naplókat.

6. Futtassa az alábbi kódot annak ellenőrzéséhez, hogy a kódtárak megfelelő verziói telepítve vannak-e. A Conda által telepített előre telepített kódtárak is megjelennek.

   import pkg_resources
   for d in pkg_resources.working_set:
      print(d)
   

További információ: Csomagok kezelése.

Közreműködők

Ezt a cikket a Microsoft frissíti és karbantartja. Eredetileg a következő közreműködők írták.

Fő szerzők:

• Kungumaraj Nachimuthu | Vezető szoftvermérnök
• Karthick Narendran | Vezető szoftvermérnök

További közreműködők:

• Mick Alberts | Műszaki író
• Taylor Corbett | Vezető adattudós
• Tushar Dhadiwal | Vezető szoftvermérnök
• Mandar Inamdar | Vezető mérnöki vezető
• Sushil Kumar | Vezető szoftvermérnök
• Nikhil Manchanda | Vezető mérnöki vezető
• Safiyah Sadiq | Szoftvermérnök II.
• Xiaoyuan Yang | Egyszerű Adattudomány-kezelő
• Tai Yee | Vezető programmenedzser

Következő lépések

• Térinformatikai elemzések lekérése big data-adatokból a SynapseML használatával
• A Azure Synapse Analytics használatának első lépései
• A Azure Synapse Studio felfedezése
• Cognitive Services létrehozása és felhasználása

Kapcsolódó források (lehet, hogy a cikkek angol nyelvűek)

• Térinformatikai adatfeldolgozás és -elemzés
• Térinformatikai elemzés a távközlési ágazat számára
• Big Data-architektúrák
• A gyártás peremén lévő, végpontok közötti számítógépes látás