Spaceborne data analysis with Azure Synapse Analytics

Azure Synapse Analytics

Azure AI services

Azure Computer Vision

Azure Batch

Azure Storage

Tato architektura je navržená tak, aby zobrazovala ucelenou implementaci, která zahrnuje extrakci, načítání, transformaci a analýzu prostorových dat pomocí geoprostorových knihoven a modelů AI s Azure Synapse Analytics. Tento článek také ukazuje, jak integrovat geoprostorově specifické modely Azure Cognitive Services, modely AI od partnerů, vlastní data a modely AI, které používají Azure Synapse Analytics. Zamýšlenou cílovou skupinou pro tento dokument jsou uživatelé s pokročilými dovednostmi při práci s geoprostorovými nebo prostorovými daty.

Implementace této architektury je k dispozici na GitHubu.

Apache®, Apache Spark, Spark, logo Sparku, Apache Sedona, Apache Incubator, logo Apache Feather a logo projektu Apache Incubator jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo jiných zemích. Použití těchto značek nevyvozuje žádné doporučení ze strany The Apache Software Foundation.

Architektura

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

Následující části popisují fáze architektury.

Přijímání dat

Data přenášená do vesmíru se načítá ze zdrojů dat, jako jsou Airbus, NAIP/USDA (prostřednictvím planetárního počítačového rozhraní API) a Maxar. Data se ingestují do Azure Data Lake Storage.

Azure Synapse Analytics poskytuje různé kanály a aktivity, jako je webová aktivita, Tok dat aktivita a vlastní aktivity, pro připojení k těmto zdrojům a zkopírování dat do Data Lake Storage.

Azure Synapse Vlastní aktivity spouštějí vlastní logiku kódu ve fondu virtuálních počítačů Azure Batch nebo v kontejnerech kompatibilních s Dockerem.

Transformace dat

Data se zpracovávají a transformují do formátu, který můžou využívat analytici a modely AI. K provedení transformace jsou k dispozici geoprostorové knihovny, včetně GDAL, OGR, Rasterio a GeoPandas.

Azure Synapse fondy Sparku umožňují konfigurovat a používat tyto knihovny k provádění transformací dat. Můžete také použít Azure Synapse Vlastní aktivity, které používají Azure Batch fondy.

Poznámkový blok Azure Synapse je webové rozhraní, které můžete použít k vytváření souborů, které obsahují živý kód, vizualizace a text vyprávění. Poznámkové bloky jsou vhodným místem k ověřování nápadů, definování transformací a provádění rychlých experimentů, abyste získali přehledy z vašich dat a vytvořili kanál. V ukázkovém kódu se knihovna GDAL používá ve fondu Sparku k provádění transformací dat. Další informace najdete v části s ukázkovým kódem v tomto článku.

Ukázkové řešení implementuje tento kanál z tohoto kroku transformace dat. Ukázka je napsána s předpokladem, že se data kopírují v Data Lake Storage metodami příjmu dat popsanými výše. Ukazuje implementaci tohoto kanálu pro zpracování rastrových dat.

Analýza a spouštění modelů AI

Prostředí Azure Synapse poznámkového bloku analyzuje a spouští modely AI.

V Azure Synapse prostředí jsou k dispozici modely AI vyvinuté se službami, jako je model Cognitive Services Custom Vision, vytrénované ve vlastním prostředí a zabalené jako kontejnery Dockeru.

V Azure Synapse prostředí můžete také spouštět modely AI, které jsou k dispozici od partnerů pro různé funkce, jako je detekce objektů, detekce změn a klasifikace území. Tyto modely se trénují ve vlastním prostředí a jsou zabalené jako kontejnery Dockeru.

Azure Synapse takové modely AI můžete spouštět prostřednictvím vlastní aktivity, která spouští kód ve fondech Služby Batch jako spustitelné soubory nebo kontejnery Dockeru. Ukázkové řešení ukazuje, jak spustit model Custom Vision AI jako součást kanálu Azure Synapse pro detekci objektů v konkrétní geoprostorové oblasti.

Po analýze a vizualizaci

Pro další analýzu a vizualizaci je možné výstup z analýzy a provádění modelů AI uložit do Data Lake Storage databází, jako je Azure Database for PostgreSQL nebo Azure Cosmos DB. Ukázkové řešení ukazuje, jak transformovat výstup modelu AI a uložit ho jako data GeoJSON v Data Lake Storage a Azure Database for PostgreSQL. Odtud můžete načíst výstup a dotazovat ho.
Pro vizualizaci:
- Můžete použít licencované nástroje, jako je ArcGIS Desktop, nebo opensourcové nástroje, jako je QGIS.
- Pomocí Power BI můžete získat přístup ke GeoJSON z různých zdrojů dat a vizualizovat data geografického informačního systému (GIS).
- K vizualizaci dat ve webových aplikacích můžete použít geoprostorové knihovny založené na JavaScriptu na straně klienta.

Komponenty

Zdroje dat

Zprostředkovatelé obrázků.
Přineste si vlastní data. Zkopírujte vlastní data do Data Lake Storage.

Přijímání dat

Azure Synapse Analytics je neomezená analytická služba, která spojuje integraci dat, skladování podnikových dat a analýzu velkých objemů dat. Azure Synapse obsahuje stejné Integrace Dat moduly a prostředí jako Azure Data Factory, takže můžete vytvářet kanály ETL ve velkém měřítku, aniž byste museli opustit Azure Synapse.
Azure Data Lake Storage se věnuje analýze velkých objemů dat a staví na Azure Blob Storage.
Azure Batch umožňuje spouštět a škálovat velký počet úloh dávkového výpočetního prostředí v Azure. Úlohy služby Batch můžou běžet přímo na virtuálních počítačích (uzlech) ve fondu Služby Batch, ale můžete také nastavit fond Služby Batch pro spouštění úkolů v kontejnerech kompatibilních s Dockerem na uzlech.
- Vlastní aktivita Azure Synapse spouští přizpůsobenou logiku kódu na Azure Batch fondu virtuálních počítačů nebo v kontejnerech Dockeru.
Azure Key Vault ukládá a řídí přístup k tajným kódům, jako jsou tokeny, hesla a klíče rozhraní API. Key Vault také vytváří a řídí šifrovací klíče a spravuje certifikáty zabezpečení.

Transformace dat

Pro transformace se společně používají následující geoprostorové knihovny a balíčky. Tyto knihovny a balíčky se instalují do bezserverového fondu Sparku, který se pak připojí k poznámkovému bloku Azure Synapse. Informace o instalaci knihoven najdete v části Instalace geoprostorových balíčků do fondu Azure Synapse Sparku dále v tomto článku.

Geoprostorové knihovny
- GDAL je knihovna nástrojů pro manipulaci s prostorovými daty. GDAL funguje na rastrových a vektorových datových typech. Je to dobrý nástroj, abyste věděli, jestli pracujete s daty do vesmíru.
- Rasterio je modul pro zpracování rastrů. Můžete ho použít ke čtení a zápisu několika různých rastrových formátů v Pythonu. Rasterio je založen na GDAL. Při importu modulu Python automaticky zaregistruje všechny známé ovladače GDAL pro čtení podporovaných formátů.
- GeoPandas je opensourcový projekt, který usnadňuje práci s prostorovými daty v Pythonu. GeoPandas rozšiřuje datové typy používané knihovnou Pandas a umožňuje prostorové operace s geometrickými typy.
- Shapely je balíček Pythonu pro sadu teoretických analýz a manipulaci s planárními funkcemi. Používá (prostřednictvím modulu ctypes Pythonu) funkce ze široce nasazené knihovny GEOS.
- pyproj provádí kartografické transformace. Pomocí funkce PROJ převede z zeměpisné délky a šířky na nativní mapovou projekci x, souřadnice y a naopak.
Azure Batch umožňuje spouštět a škálovat velký počet úloh dávkového výpočetního prostředí v Azure.
Azure Synapse poznámkových bloků je webové rozhraní pro vytváření souborů, které obsahují živý kód, vizualizace a text vyprávění. Existující poznámkové bloky Azure Synapse můžete přidat do kanálu Azure Synapse pomocí aktivity Poznámkový blok.
Fond Apache Sparku umožňuje konfigurovat a používat knihovny k provádění transformací dat. Existující úlohy Sparku můžete přidat do kanálu Azure Synapse pomocí aktivity Definice úlohy Sparku.

Analýza a modelování AI

Azure Synapse poskytuje možnosti strojového učení.
Azure Batch umožňuje spouštět a škálovat velký počet úloh dávkového výpočetního prostředí v Azure. V tomto řešení se aktivita Azure Synapse Custom používá ke spouštění modelů AI založených na Dockeru ve fondech Azure Batch.
Azure Cognitive Services poskytuje možnost vkládat do vašich aplikací vizi. Custom Vision, součást služeb Cognitive Services, můžete použít k přizpůsobení a vložení nejmodernější analýzy obrazu počítačového zpracování obrazu pro konkrétní domény.
Můžete také použít vlastní modely AI a modely AI partnerů Microsoftu, jako je blackshark.ai.

Odkazy po analýze a vizualizaci

Azure Database for PostgreSQL je plně spravovaná relační databázová služba navržená pro úlohy hyperškálování. Podporuje prostorová data prostřednictvím rozšíření PostGIS .
Azure Cosmos DB podporuje indexování a dotazování dat geoprostorových bodů, která jsou reprezentovaná v GeoJSON.
Power BI je interaktivní nástroj pro vizualizaci dat pro vytváření sestav a řídicích panelů. Můžete získat přehled o prostorových datech z Esri ArcGIS Maps.
QGIS je bezplatný open source GIS pro vytváření, úpravy, vizualizaci, analýzu a publikování geoprostorových informací.
ArcGIS Desktop je licencovaný produkt poskytovaný společností Esri. Můžete ho použít k vytváření, analýze, správě a sdílení geografických informací.

Alternativy

Pokud chcete spouštět kontejnerizované modely AI, které můžete volat z Azure Synapse, můžete použít Azure Kubernetes Service, Azure Container Instances nebo Azure Container Apps.

Azure Databricks nabízí alternativu k hostování analytického kanálu.

Spark ve službě Azure HDInsight poskytuje alternativu k používání geoprostorových knihoven v prostředí Apache Spark.

Tady jsou některé alternativní knihovny a architektury, které můžete použít ke zpracování dat ve vesmíru:

Apache Sedona, dříve označovaný jako GeoSpark, je clusterový výpočetní systém pro zpracování rozsáhlých prostorových dat. Sedona rozšiřuje Spark a Spark SQL o předdefinované prostorové odolné distribuované datové sady a SpatialSQL, které efektivně načítají, zpracovávají a analyzují rozsáhlá prostorová data na počítačích.
Dask pro Python je paralelní výpočetní knihovna, která škáluje stávající ekosystém Pythonu.

Podrobnosti scénáře

Shromažďování dat v prostoru je stále častější. Pro použití umělé inteligence jsou pro strojové učení nezbytné uložené archivy dat. Potřeba vytvořit cloudové řešení pro analýzu dat ve vesmíru se stala důležitější, aby podniky a vlády mohly řídit lépe informovaná obchodní a taktická rozhodnutí.

Potenciální případy použití

Toto řešení je ideální pro letecký a letecký průmysl. Řeší tyto scénáře:

Příjem a zpracování rastrových dat
Detekce objektů pomocí předem natrénovaných modelů AI
Klasifikace hmotností půdy pomocí modelů AI
Monitorování změn v prostředí prostřednictvím modelů AI
Odvozené datové sady z předzpracovaných sad imagí
Vektorová vizualizace / spotřeba malé plochy
Filtrování vektorových dat a spojení mezi daty

Požadavky

Tyto aspekty implementují pilíře azure Well-Architected Framework, což je sada hlavních zásad, které lze použít ke zlepšení kvality úloh. Další informace najdete v tématu Microsoft Azure Well-Architected Framework.

Efektivita provozu

Pokud spolupracujete pomocí Gitu pro správu zdrojového kódu, můžete použít Synapse Studio k přidružení pracovního prostoru k úložišti Git, Azure DevOps nebo GitHubu. Další informace najdete v tématu Správa zdrojového kódu v Synapse Studio.

V pracovním prostoru Azure Synapse ci/CD přesune všechny entity z jednoho prostředí (vývoj, testování, produkční prostředí) do jiného prostředí.
Kanály verzí a GitHub Actions Azure DevOps můžete použít k automatizaci nasazení pracovního prostoru Azure Synapse do více prostředí.

Výkon

Azure Synapse podporuje Apache Spark 3.1.2, který je výkonnější než jeho předchůdci.
Informace o škálování fondu Sparku a velikostech uzlů najdete v tématu Fondy Sparku v Azure Synapse Analytics.
S Azure Batch můžete škálovat vnitřně paralelně pro transformace odeslané v Azure Synapse vlastní aktivitě. Azure Batch podporuje specializované velikosti virtuálních počítačů optimalizovaných pro GPU, které můžete použít ke spouštění modelů AI.

Spolehlivost

Spolehlivost zajišťuje, aby vaše aplikace splňovala závazky, které jste vůči svým zákazníkům udělali. Další informace najdete v tématu Přehled pilíře spolehlivosti.

Informace o smlouvě SLA najdete v tématu Azure Synapse SLA.

Zabezpečení

Zabezpečení poskytuje záruku před úmyslnými útoky a zneužitím vašich cenných dat a systémů. Další informace najdete v tématu Přehled pilíře zabezpečení.

Osvědčené postupy zabezpečení najdete v těchto článcích:

Optimalizace nákladů

Optimalizace nákladů spočívá v hledání způsobů, jak snížit zbytečné náklady a zlepšit provozní efektivitu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.

Tyto zdroje informací poskytují informace o cenách a optimalizaci nákladů:

Poznámka

Ceny a licenční podmínky pro partnerské modely AI najdete v dokumentaci partnera.

Nasazení tohoto scénáře

K dispozici je nasazení ukázkového řešení bicep . Pokud chcete začít s tímto nasazením, projděte si tyto pokyny.

Stáhněte si soubor aplikace Visio s touto architekturou.

Omezení

Tato architektura představuje komplexní řešení geografického zpracování a analýzy, které používá Azure Synapse. Tato ukázková implementace je určená pro malou až střední oblast zájmu a omezené souběžné geografické zpracování rastrových dat.

Ukázka kódu

Následující pokyny popisují, jak číst, zapisovat a používat transformace u rastrových dat uložených v Azure Data Lake Storage pomocí poznámkového bloku Synapse. Záměrem je spíše předvést použití knihoven v poznámkových blocích Synapse než předvést transformaci.

Požadavky

Nainstalujte geoprostorové knihovny.
Vytvořte trezor klíčů Azure pro ukládání tajných kódů. V tomto scénáři uložíme přístupový klíč účtu úložiště do trezoru klíčů. Pokyny najdete v tématu Ukládání přihlašovacích údajů v Azure Key Vault.
Vytvořte propojenou službu pro Azure Key Vault pomocí Azure Synapse.

Pokyny

Tisk informací z rastrových dat:

from osgeo import gdal
gdal.UseExceptions()
access_key = TokenLibrary.getSecret('<key-vault-name>','<secret-name>')
gdal.SetConfigOption('AZURE_STORAGE_ACCOUNT', '<storage_account_name>')
gdal.SetConfigOption('AZURE_STORAGE_ACCESS_KEY', access_key)
dataset_info = gdal.Info('/vsiadls/aoa/input/sample_image.tiff')  #/vsiadls/<container_name>/path/to/image
print(dataset_info)

Poznámka

/vsiadls/je obslužná rutina systému souborů, která umožňuje průběžně náhodné čtení primárně neveřejných souborů, které jsou k dispozici v systémech souborů Azure Data Lake Storage. Předchozí stažení celého souboru není nutné. /vsiadls/ se podobá /vsiaz/. Pro ověřování používá stejné možnosti konfigurace. Na rozdíl od /vsiaz/nástroje poskytuje /vsiadls/ skutečnou správu adresářů a podporu seznamu ACL ve stylu unixu. U některých funkcí je potřeba ve službě Azure Storage zapnout hierarchickou podporu. Další informace najdete v /vsiadls/ dokumentaci.

Driver: GTiff/GeoTIFF
Files: /vsiadls/naip/input/sample_image.tiff
Size is 6634, 7565
Coordinate System is:
PROJCRS["NAD83 / UTM zone 16N",
    BASEGEOGCRS["NAD83",
        DATUM["North American Datum 1983",
            ELLIPSOID["GRS 1980",6378137,298.257222101,
                LENGTHUNIT["metre",1]]],
        PRIMEM["Greenwich",0,
            ANGLEUNIT["degree",0.0174532925199433]],
        ID["EPSG",4269]],
    CONVERSION["UTM zone 16N",
        METHOD["Transverse Mercator",
            ID["EPSG",9807]],
        PARAMETER["Latitude of natural origin",0,
            ANGLEUNIT["degree",0.0174532925199433],
            ID["EPSG",8801]],
        PARAMETER["Longitude of natural origin",-87,
            ANGLEUNIT["degree",0.0174532925199433],
            ID["EPSG",8802]],
        PARAMETER["Scale factor at natural origin",0.9996,
            SCALEUNIT["unity",1],
            ID["EPSG",8805]],
        PARAMETER["False easting",500000,
            LENGTHUNIT["metre",1],
            ID["EPSG",8806]],
        PARAMETER["False northing",0,
            LENGTHUNIT["metre",1],
            ID["EPSG",8807]]],
    CS[Cartesian,2],
        AXIS["(E)",east,
            ORDER[1],
            LENGTHUNIT["metre",1]],
        AXIS["(N)",north,
            ORDER[2],
            LENGTHUNIT["metre",1]],
    USAGE[
        SCOPE["Engineering survey, topographic mapping."],
        AREA["North America - between 90°W and 84°W - onshore and offshore. Canada - Manitoba; Nunavut; Ontario. United States (USA) - Alabama; Arkansas; Florida; Georgia; Indiana; Illinois; Kentucky; Louisiana; Michigan; Minnesota; Mississippi; Missouri; North Carolina; Ohio; Tennessee; Wisconsin."],
        BBOX[23.97,-90,84,-84]],
    ID["EPSG",26916]]
Data axis to CRS axis mapping: 1,2
Origin = (427820.000000000000000,3395510.000000000000000)
Pixel Size = (1.000000000000000,-1.000000000000000)
Metadata:
  AREA_OR_POINT=Area
Image Structure Metadata:
  COMPRESSION=DEFLATE
  INTERLEAVE=PIXEL
  LAYOUT=COG
  PREDICTOR=2
Corner Coordinates:
Upper Left  (  427820.000, 3395510.000) ( 87d45'13.12"W, 30d41'24.67"N)
Lower Left  (  427820.000, 3387945.000) ( 87d45'11.21"W, 30d37'18.94"N)
Upper Right (  434454.000, 3395510.000) ( 87d41' 3.77"W, 30d41'26.05"N)
Lower Right (  434454.000, 3387945.000) ( 87d41' 2.04"W, 30d37'20.32"N)
Center      (  431137.000, 3391727.500) ( 87d43' 7.54"W, 30d39'22.51"N)
Band 1 Block=512x512 Type=Byte, ColorInterp=Red
  Overviews: 3317x3782, 1658x1891, 829x945, 414x472
Band 2 Block=512x512 Type=Byte, ColorInterp=Green
  Overviews: 3317x3782, 1658x1891, 829x945, 414x472
Band 3 Block=512x512 Type=Byte, ColorInterp=Blue
  Overviews: 3317x3782, 1658x1891, 829x945, 414x472
Band 4 Block=512x512 Type=Byte, ColorInterp=Undefined
  Overviews: 3317x3782, 1658x1891, 829x945, 414x472

Převeďte GeoTiff na PNG pomocí knihovny GDAL:

from osgeo import gdal
gdal.UseExceptions()
access_key = TokenLibrary.getSecret('<key-vault-name>','<secret-name>')
gdal.SetConfigOption('AZURE_STORAGE_ACCOUNT', '<storage_account_name>')
gdal.SetConfigOption('AZURE_STORAGE_ACCESS_KEY', access_key)
tiff_in = "/vsiadls/aoa/input/sample_image.tiff" #/vsiadls/<container_name>/path/to/image
png_out = "/vsiadls/aoa/input/sample_image.png" #/vsiadls/<container_name>/path/to/image
options = gdal.TranslateOptions(format='PNG')
gdal.Translate(png_out, tiff_in, options=options)

Ukládejte obrázky GeoTiffu v Azure Data Lake Storage.

Vzhledem k tomu, jak se data ukládají v cloudu a že obslužné /vsiaz/ rutiny souborů a /vsiadls/ podporují pouze sekvenční zápisy, používáme funkci připojení souborů dostupnou v balíčku mssparkutils. Po zápisu výstupu do umístění připojení ho zkopírujte do Azure Data Lake Storage, jak je znázorněno v této ukázkové transformaci:

import shutil
import sys
from osgeo import gdal
from notebookutils import mssparkutils

mssparkutils.fs.mount(
    "abfss://<container_name>@<storage_account_name>.dfs.core.windows.net",
    "/<mount_path>",
    {"linkedService":"<linked_service_name>"}
)

access_key = TokenLibrary.getSecret('<key-vault-name>','<secret-name>')
gdal.SetConfigOption('AZURE_STORAGE_ACCOUNT', '<storage_account_name>')
gdal.SetConfigOption('AZURE_STORAGE_ACCESS_KEY', access_key)

options = gdal.WarpOptions(options=['tr'], xRes=1000, yRes=1000)
gdal.Warp('dst_img.tiff', '/vsiadls/<container_name>/path/to/src_img.tiff', options=options)

jobId = mssparkutils.env.getJobId()

shutil.copy("dst_img.tiff", f"/synfs/{jobId}/<mount_path>/path/to/dst_img.tiff")

V Azure Synapse můžete přidat Azure Data Lake Storage jako jednu z propojených služeb. Pokyny najdete v tématu Propojené služby.

Ukázkové řešení

Implementace této architektury je k dispozici na GitHubu.

Tento diagram znázorňuje kroky v ukázkovém řešení:

Stáhněte si soubor aplikace Visio s touto architekturou.

Poznámka

Data se natahují z prostorových zdrojů dat a zkopírují se do Azure Data Lake Storage. Příjem dat není součástí referenční implementace.

Kanál Azure Synapse čte data v prostoru z Azure Data Lake Storage.
Data se zpracovávají pomocí knihovny GDAL v poznámkovém bloku Azure Synapse.
Zpracovaná data jsou uložena v Azure Data Lake Storage.
Zpracovaná data se načítají z Azure Data Lake Storage a předávají se detekci objektů Custom Vision modely AI pomocí aktivity Azure Synapse Vlastní. Vlastní aktivita používá Azure Batch fondy ke spuštění modelu rozpoznávání objektů.
Výstupem modelu rozpoznávání objektů je seznam zjištěných objektů a ohraničující rámečky.
Zjištěné objekty jsou převedeny na GeoJSON a uloženy v Azure Data Lake Storage.
Data GeoJSON se načítají z Azure Data Lake Storage a ukládají se do databáze PostgreSQL.
Data se načítají z databáze PostgreSQL. Můžete ho dále vizualizovat v nástrojích, jako jsou ArcGIS Pro, QGIS a Power BI.

Instalace geoprostorových balíčků ve fondu Azure Synapse Sparku

Balíčky musíte nainstalovat do fondu Azure Synapse Spark pomocí funkce správy balíčků. Další informace najdete v tématu správa balíčků Azure Synapse.

K podpoře úloh s daty do prostoru na Azure Synapse potřebujete knihovny jako GDAL, Rasterio a GeoPandas. Tyto knihovny můžete nainstalovat do bezserverového fondu Apache Sparku pomocí souboru YAML. Knihovny Anaconda jsou ve fondu Sparku předinstalované.

Požadavky

Pokyny

Následující knihovny a balíčky jsou k dispozici v souboru environment.yml . Tento soubor doporučujeme použít k instalaci knihoven ve fondech Sparku. Pokud zkopírujete níže uvedený obsah, ujistěte se, že nejsou k dispozici žádné karty, protože YAML povoluje pouze mezery jako odsazení.
```
name: aoi-env
channels:
  - conda-forge
  - defaults
dependencies:
  - azure-storage-file-datalake
  - gdal=3.3.0
  - libgdal
  - pip>=20.1.1
  - pyproj
  - shapely
  - pip:
    - rasterio
    - geopandas
```
Poznámka

Knihovna GDAL používá pro Azure Data Lake Storage virtuální systém /vsiadls/ souborů. Tato funkce je dostupná od verze 3.3.0 knihovny GDAL. Nezapomeňte použít verzi 3.3.0 nebo novější.
Přejděte na https://web.azuresynapse.net a přihlaste se ke svému pracovnímu prostoru.
V navigačním podokně vyberte Spravovat a pak vyberte Fondy Apache Sparku.
Výběrem tlačítka se třemi tečkami (...) ve fondu Sparku vyberte Balíčky . Nahrajte soubor environment.yml z místního prostředí a použijte nastavení balíčku.
Oddíl oznámení na portálu vás upozorní po dokončení instalace. Průběh instalace můžete také sledovat pomocí těchto kroků:
1. Na kartě Monitorování přejděte do seznamu aplikací Spark.
2. Vyberte odkaz SystemReservedJob-LibraryManagement , který odpovídá aktualizaci vašeho fondu.
3. Prohlédněte si protokoly ovladačů.
Spuštěním následujícího kódu ověřte, že jsou nainstalovány správné verze knihoven. Zobrazí se také předinstalované knihovny, které Conda nainstaluje.
```
import pkg_resources
for d in pkg_resources.working_set:
   print(d)
```

Další informace najdete v tématu Správa balíčků.

Přispěvatelé

Microsoft tento článek aktualizuje a udržuje. Původně ji napsali následující přispěvatelé.

Hlavní autoři:

Kungumaraj Nachimuthu | Vedoucí softwarový inženýr
Karthick Narendran | Vedoucí softwarový inženýr

Další přispěvatelé:

Mick Alberts | Technický spisovatel
Taylor Corbett | Starší Datoví vědci
Tushar Dhadiwal | Vedoucí softwarový inženýr
Mandar Inamdar | Hlavní technický manažer
Sushil Kumar | Vedoucí softwarový inženýr
Nikhil Manchanda | Hlavní technický manažer
Safiyah Sadiq | Softwarový inženýr II
Xiaoyuan Yang | Principal Datová Věda Manager
Tai Yee | Vedoucí programový manažer

Spaceborne data analysis with Azure Synapse Analytics

Architektura

Tok dat

Přijímání dat

Transformace dat

Analýza a spouštění modelů AI

Po analýze a vizualizaci

Komponenty

Zdroje dat

Přijímání dat

Transformace dat

Analýza a modelování AI

Odkazy po analýze a vizualizaci

Alternativy

Podrobnosti scénáře

Potenciální případy použití

Požadavky

Efektivita provozu

Výkon

Spolehlivost

Zabezpečení

Optimalizace nákladů

Nasazení tohoto scénáře

Omezení

Ukázka kódu

Požadavky

Pokyny

Ukázkové řešení

Instalace geoprostorových balíčků ve fondu Azure Synapse Sparku

Požadavky

Pokyny

Přispěvatelé

Další kroky

Váš názor

Váš názor

Další materiály

Spaceborne data analysis with Azure Synapse Analytics

Architektura

Tok dat

Přijímání dat

Transformace dat

Analýza a spouštění modelů AI

Po analýze a vizualizaci

Komponenty

Zdroje dat

Přijímání dat

Transformace dat

Analýza a modelování AI

Odkazy po analýze a vizualizaci

Alternativy

Podrobnosti scénáře

Potenciální případy použití

Požadavky

Efektivita provozu

Výkon

Spolehlivost

Zabezpečení

Optimalizace nákladů

Nasazení tohoto scénáře

Omezení

Ukázka kódu

Požadavky

Pokyny

Ukázkové řešení

Instalace geoprostorových balíčků ve fondu Azure Synapse Sparku

Požadavky

Pokyny

Přispěvatelé

Další kroky

Související prostředky

Váš názor

Váš názor

Další materiály