Bagikan melalui

Penyimpanan, analisis, dan visualisasi geospasial end-to-end

  • Artikel

Data geospasial hadir dalam berbagai bentuk dan membutuhkan berbagai kemampuan untuk memproses, menganalisis, dan memvisualisasikan data. Meskipun Sistem Informasi Geografis (GIS) umum, hal ini juga sebagian besar bukan cloud-native. Sebagian besar GIS berjalan di desktop, yang membatasi skala dan performanya. Meskipun telah ada kemajuan dalam memindahkan data ke backend, sistem ini tetap terikat IaaS yang membuatnya sulit untuk diskalakan.

Artikel ini akan memberikan pendekatan tingkat tinggi untuk menggunakan kemampuan cloud-native bersama dengan beberapa opsi perangkat lunak sumber terbuka dan opsi komersial. Tiga persona akan dipertimbangkan. Persona adalah arsitek yang mencari aliran tingkat tinggi tanpa masuk ke spesifik implementasi. Persona mencakup hal-hal berikut:

  • Arsitek geospasial umum. Arsitek ini mencari sarana untuk menerapkan geospasial tetapi mungkin tidak memiliki latar belakang di GIS atau Remote Sensing.
  • Arsitek geospasial OSS. Arsitek ini didedikasikan untuk solusi perangkat lunak sumber terbuka (OSS) tetapi memanfaatkan cloud untuk komputasi dan penyimpanan.
  • Arsitek geospasial COTS. Arsitek ini didedikasikan untuk COTS tetapi juga memanfaatkan komputasi dan penyimpanan cloud.

Kemungkinan kasus penggunaan

Solusi yang disediakan dalam arsitektur ini berlaku untuk banyak kasus penggunaan:

  • Memproses, menyimpan, dan menyediakan akses ke sejumlah besar data raster, seperti lapisan atau data iklim.
  • Menggabungkan data lokasi entitas dari sistem ERP dengan data referensi GIS atau menyertakan data vektor, array, cloud titik, dll.
  • Menyimpan telemetri Internet of Things (IoT) dari memindahkan perangkat, dan menganalisis secara real time atau dalam batch
  • Menjalankan kueri geospasial analitis.
  • Menyematkan data geospasial yang dikuratori dan dikontekstualisasikan di aplikasi web.
  • Memproses data dari drone, foto udara, citra satelit, LiDAR, hasil model kisi, dll.

Arsitektur geospasial umum

Azure memiliki banyak kemampuan geospasial asli. Dalam diagram ini dan yang mengikuti, Anda akan menemukan tahap tingkat tinggi di mana data geospasial mengalami. Pertama, Anda memiliki sumber data, langkah penyerapan, tempat data disimpan, diubah, dilayani, diterbitkan, dan akhirnya dikonsumsi. Perhatikan ikon bola dunia di samping layanan dengan kemampuan geospasial asli. Selain itu, diagram ini tidak boleh dianggap sebagai proses linier. Seseorang dapat dimulai di kolom Transformasi, Terbitkan dan Konsumsi, lalu buat beberapa himpunan data turunan, yang mengharuskan kembali ke kolom sebelumnya.

Geospasial Di Azure

Alur arsitektur ini mengasumsikan bahwa data mungkin berasal dari database, file, atau sumber streaming dan tidak disimpan dalam format GIS asli. Setelah data diserap dengan Azure Data Factory, atau melalui Azure IoT, Event Hubs, dan Stream Analytics, data kemudian dapat disimpan secara permanen dalam penyimpanan hangat dengan Azure SQL, Azure SQL Managed Instance, Azure Database for PostgreSQL atau Azure Data Lake Storage. Dari sana, data dapat diubah dan diproses dalam batch dengan Azure Batch atau Synapse Spark Pool, yang keduanya dapat diotomatisasi melalui penggunaan alur Azure Data Factory atau Synapse. Untuk data real-time, data dapat diubah atau diproses lebih lanjut dengan Azure Stream Analytics, Azure Maps, atau dibawa ke konteks dengan Azure Digital Twins. Setelah data diubah, data kemudian dapat dilayani sekali lagi untuk penggunaan tambahan di Azure SQL DB atau Azure Database for PostgreSQL, Kumpulan Synapse SQL (untuk data non-geospasial abstrak), Azure Cosmos DB, atau Azure Data Explorer. Setelah siap, data dapat dikueri langsung melalui API dasar data, tetapi sering kali lapisan penerbitan digunakan. Azure Maps Data API sudah cukup untuk himpunan data kecil, jika tidak, layanan non-asli dapat diperkenalkan berdasarkan OSS atau COTS, untuk mengakses data melalui layanan web atau aplikasi desktop. Terakhir, Azure Maps Web SDK yang dihosting di Azure App Service akan memungkinkan geovisualisasi. Opsi lain adalah menggunakan Azure Maps di Power BI. Terakhir, HoloLens dan Azure Spatial Anchors dapat digunakan untuk melihat data dan menempatkannya di dunia nyata untuk pengalaman realitas virtual (VR) dan realitas tertambah (AR).

Perlu dicatat juga bahwa banyak opsi ini bersifat opsional dan dapat dilengkapi dengan OSS untuk mengurangi biaya sekaligus mempertahankan skalabilitas, atau alat pihak ke-3 untuk menggunakan kemampuan spesifik mereka. Sesi berikutnya membahas kebutuhan ini.

Arsitektur geospasial perangkat lunak Pihak ke-3 dan Sumber terbuka

Pola ini mengambil pendekatan menggunakan kemampuan geospasial asli Azure sementara pada saat yang sama memanfaatkan beberapa alat pihak ke-3 dan alat perangkat lunak sumber terbuka.

Perbedaan paling signifikan antara pendekatan ini dan diagram alur sebelumnya adalah penggunaan FME dari Safe Software Inc., yang dapat diperoleh dari Marketplace Azure. FME memungkinkan arsitek geospasial untuk mengintegrasikan berbagai jenis data geospasial yang mencakup CAD (untuk Azure Maps Creator), GIS, BIM, 3D, point cloud, LIDAR, dll. Ada 450+ opsi integrasi, dan dapat mempercepat pembuatan banyak transformasi data melalui fungsionalitasnya. Implementasi, bagaimanapun, didasarkan pada penggunaan komputer virtual, dan karenanya memiliki batasan dalam kemampuan penskalaannya. Otomatisasi transformasi FME mungkin dicapai menggunakan panggilan FME API dengan penggunaan Azure Data Factory dan/atau dengan Azure Functions. Setelah data dimuat di Azure SQL, misalnya, data kemudian dapat dilayani di GeoServer dan diterbitkan sebagai Layanan Fitur Web (vektor) atau Layanan Petak Peta Pemetaan Web (raster) dan divisualisasikan di Azure Maps web SDK atau dianalisis dengan QGIS untuk desktop bersama dengan peta dasar Azure Maps lainnya.

Diagram alat Azure dan Pihak ke-3 dan perangkat lunak sumber terbuka.

Arsitektur geospasial COTS: Esri dengan sumber statis dan streaming

Pendekatan berikutnya yang akan kita lihat menggunakan GIS komersial sebagai dasar solusinya. Teknologi Esri, yang tersedia dari Marketplace Azure, akan menjadi fondasi untuk arsitektur ini, meskipun perangkat lunak komersial lainnya dapat sesuai dengan pola yang sama. Seperti sebelumnya, sumber, penyerapan, penyimpanan (mentah), Load/Serve sebagian besar tetap sama. Data juga dapat diubah dengan ArcGIS Pro pada komputer mandiri (VM) atau sebagai bagian dari solusi yang lebih besar dengan Azure Virtual Desktop. Data dapat dipublikasikan melalui ArcGIS Enterprise atau dengan ArcGIS Enterprise di Kubernetes (Azure Kubernetes Service). Citra dapat diproses pada IaaS dengan Gambar ArcGIS sebagai bagian dari penyebaran ArcGIS Enterprise. Data dapat digunakan di aplikasi web yang dihosting di Azure App Service dengan ArcGIS JavaScript SDK, pengguna akhir ArcGIS Pro, SDK seluler Runtime ArcGIS, atau dengan ArcGIS untuk Power BI. Demikian juga, pengguna dapat menggunakan data dengan ArcGIS Online.

Diagram Esri dengan sumber statis dan streaming.

Arsitektur citra geospasial COTS: Gambar ArcGIS Esri dan Azure Orbital

Arsitektur berikutnya melibatkan Azure Orbital dan Gambar ArcGIS Esri. Dengan alur end-to-end ini, Azure Orbital memungkinkan Anda menjadwalkan kontak dengan satelit dan menurunkan tautan data ke VM atau melakukan streaming ke Azure Event Hubs. Selain data satelit yang dialirkan langsung, data drone atau citra lainnya dapat dibawa di platform, dan diproses. Data mentah dapat disimpan di Azure NetApp Files, akun Azure Storage (blob), atau dalam database seperti Azure Database for PostgreSQL. Tergantung pada platform satelit dan sensor, data diubah dari himpunan data Level 0 ke Level 2. Lihat Tingkat Pemrosesan Data NASA. Ke tingkat mana diperlukan, tergantung pada satelit dan sensor. Selanjutnya, ArcGIS Pro dapat mengubah data menjadi Himpunan Data Mosaik. Himpunan Data Mosaik kemudian diubah menjadi layanan gambar dengan ArcGIS Enterprise (pada VM atau Kubernetes). ArcGIS Image Server dapat melayani data secara langsung sebagai layanan gambar atau pengguna dapat menggunakan layanan gambar melalui Gambar ArcGIS untuk ArcGIS Online.

Diagram Gambar ArcGIS Esri dan Azure Orbital.

Arsitektur citra geospasial perangkat lunak sumber terbuka/ COTS/Open-source: Azure Space to Analysis Ready Dataset

Ketika Himpunan Data Siap Analisis tersedia melalui API yang memungkinkan kemampuan pencarian dan kueri, seperti dengan Komputer Planetary Microsoft, Anda tidak perlu mengunduh data terlebih dahulu dari satelit. Namun, jika waktu prospek rendah diperlukan untuk citra, memperoleh data langsung dari Azure Space sangat ideal karena operator satelit atau organisasi berbasis misi dapat menjadwalkan kontak dengan satelit melalui Azure Orbital. Proses untuk pergi dari Level 0 ke Level 2 Analysis Ready Dataset bervariasi menurut satelit dan produk citra. Beberapa alat dan langkah perantara sering diperlukan. Azure Batch atau sumber daya komputasi lain dapat memproses data dalam kluster dan menyimpan data yang dihasilkan. Data dapat melalui beberapa langkah sebelum siap digunakan di ArcGIS atau QGIS atau beberapa alat geovisualisasi lainnya. Misalnya, setelah data dalam format Cloud Optimized GeoTIFF (COG), data dilayani melalui Akun Penyimpanan atau Azure Data Lake dan dapat diakses dan dikueri melalui STAC API, yang dapat disebarkan di Azure sebagai layanan, dengan AKS antara lain. Atau, data diterbitkan sebagai Layanan Petak Peta Pemetaan Web dengan GeoServer. Konsumen kemudian dapat mengakses data di ArcGIS Pro atau QGIS atau melalui aplikasi web dengan Azure Maps atau SDK seluler dan web Esri.

Diagram of Azure Space to Analysis Ready Dataset.

Komponen

  • Azure Event Hubs adalah platform streaming yang dikelola sepenuhnya untuk big data. Platform ini sebagai layanan (PaaS) menawarkan model konsumen yang dipartisi. Beberapa aplikasi dapat menggunakan model ini untuk memproses aliran data secara bersamaan.
  • Azure Orbital adalah stasiun darat berbasis cloud yang dikelola sepenuhnya sebagai layanan yang memungkinkan Anda menyederhanakan operasi Anda dengan menyerap data ruang langsung ke Azure.
  • Azure Data Factory adalah layanan integrasi yang berfungsi dengan data dari penyimpanan data yang berbeda. Anda dapat menggunakan platform tanpa server yang terkelola sepenuhnya ini untuk membuat, menjadwalkan, dan mengatur alur kerja transformasi data.
  • Azure Cosmos DB adalah layanan database NoSQL yang terkelola sepenuhnya untuk pengembangan aplikasi modern.
  • Azure Synapse Analytics adalah layanan analitik perusahaan yang mempercepat waktu untuk wawasan di seluruh gudang data dan sistem big data.
  • Azure Digital Twins adalah platform sebagai penawaran layanan yang memungkinkan pembuatan grafik kembar berdasarkan model digital seluruh lingkungan, yang bisa berupa bangunan, pabrik, peternakan, jaringan energi, kereta api, stadion, atau seluruh kota.
  • Azure Virtual Desktop adalah layanan virtualisasi desktop dan aplikasi yang berjalan di cloud.
  • Azure Databricks adalah platform analisis data. Kluster Spark yang dikelola penuh memproses aliran data besar dari berbagai sumber. Azure Databricks dapat mengubah data geospasial dalam skala besar untuk digunakan dalam analitik dan visualisasi data.
  • Azure Batch memungkinkan Anda menjalankan pekerjaan komputasi paralel dan performa tinggi berskala besar.
  • Azure Data Lake Storage adalah data lake yang dapat diskalakan dan aman untuk beban kerja analitik performa tinggi. Layanan ini dapat mengelola beberapa petabyte informasi sambil mempertahankan ratusan gigabit throughput. Data biasanya berasal dari beberapa sumber heterogen dan dapat disusun, semi terstruktur, atau tidak terstruktur.
  • Azure SQL Database adalah versi PaaS dari SQL Server dan merupakan layanan database relasional yang cerdas, dapat diskalakan.
  • Azure Database for PostgreSQL adalah layanan database hubungan yang dikelola sepenuhnya yang didasarkan pada edisi komunitas sumber terbuka mesin database PostgreSQL.
  • PostGIS adalah ekstensi untuk database PostgreSQL yang terintegrasi dengan server GIS. PostGIS dapat menjalankan kueri lokasi SQL yang melibatkan objek geografis.
  • Power BI adalah kumpulan layanan dan aplikasi perangkat lunak. Anda dapat menggunakan Power BI untuk menghubungkan sumber data yang tidak terkait dan membuat visualnya.
  • Visual Azure Maps untuk Power BI menyediakan cara untuk meningkatkan peta dengan data spasial. Anda dapat menggunakan visual ini untuk menunjukkan bagaimana data lokasi memengaruhi metrik bisnis.
  • App Service dan fitur Aplikasi Web menyediakan kerangka kerja untuk membangun, menerapkan, dan menskalakan aplikasi web. Platform App Service menawarkan pemeliharaan infrastruktur bawaan, patching keamanan, dan penskalaan.
  • API data GIS di Azure Maps menyimpan dan mengambil data peta dalam format seperti GeoJSON dan ubin vektor.
  • Azure Data Explorer adalah layanan analitik data yang cepat dan dikelola sepenuhnya untuk dapat bekerja dengan volume data yang besar. Layanan ini awalnya berfokus pada deret waktu dan analitik log. Layanan ini sekarang juga menangani beragam aliran data dari aplikasi, situs web, perangkat IoT, dan sumber lainnya. Fungsionalitas geospasial di Azure Data Explorer menyediakan opsi untuk merender data peta.
  • Azure NetApp Files adalah layanan Network Attached Storage (NAS) kelas perusahaan, berkinerja tinggi, dan terukur.
  • Quantum GIS adalah GIS desktop gratis dan sumber terbuka yang mendukung pengeditan, analisis, geovisualisasi data geospasial.
  • ArcGIS Enterprise adalah platform untuk pemetaan dan geovisualisasi, analitik dan manajemen data, yang menghosting data, aplikasi, dan aplikasi kode rendah/tanpa kode kustom. Ini bekerja bersama dengan GIS desktop yang disebut ArcGIS Pro atau ArcGIS Desktop (tidak termasuk di sini karena telah ditanam oleh ArcGIS Pro).
  • ArcGIS Pro adalah aplikasi GIS desktop profesional Esri. Ini memungkinkan pengguna daya untuk menjelajahi, melakukan geovisualisasi, dan menganalisis data. Ini termasuk kemampuan 2D dan 3D dan berjalan paling baik pada VM Komputasi Performa Tinggi Azure seperti seri NV. Penggunaan ArcGIS dapat diskalakan menggunakan Azure Virtual Desktop.
  • Gambar ArcGIS untuk ArcGIS Online adalah ekstensi untuk ArcGIS Online (SaaS) yang memungkinkan geovisualisasi, hosting, penerbitan, dan analisis.
  • Spesifikasi STAC API memungkinkan Anda untuk mengkueri dan mengambil data raster melalui katalog.

Meskipun tidak ditampilkan dalam diagram di atas, Azure Monitor, Analitik Log, dan Key Vault juga akan menjadi bagian dari solusi yang lebih luas.

  • Azure Monitor mengumpulkan data tentang lingkungan dan sumber daya Azure. Informasi diagnostik ini sangat membantu untuk menjaga ketersediaan dan kinerja. Dua platform data membentuk Monitor:
  • Azure Log Analytics adalah alat portal Azure yang menjalankan kueri pada data log Monitor. Analitik Log juga menyediakan fitur untuk memetakan dan menganalisis hasil kueri secara statistik.
  • Key Vault menyimpan dan mengontrol akses ke rahasia seperti token, kata sandi, dan kunci API. Key Vault juga membuat dan mengontrol kunci enkripsi dan mengelola sertifikat keamanan.

Alternatif

Berbagai pustaka Spark tersedia untuk bekerja dengan data geospasial di Azure Databricks dan Kumpulan Synapse Spark. Lihat pustaka ini:

Namunsolusi lain juga tersedia untuk memproses dan menskalakan beban kerja geospasial dengan Azure Databricks.

  • Pustaka Python lainnya yang perlu dipertimbangkan termasuk PySAL, Rasterio, WhiteboxTools, Turf.js, Pointpats, Raster Vision, EarthPy, Planetary Computer, PDAL, dll.

  • Ubin vektor menyediakan cara yang efisien untuk menampilkan data GIS pada peta. Solusi dapat menggunakan PostGIS untuk mengkueri petak peta vektor secara dinamis. Pendekatan ini bekerja dengan baik untuk kueri sederhana dan set hasil yang berisi lebih dari 1 juta catatan. Tetapi dalam kasus-kasus berikut, pendekatan yang berbeda mungkin lebih baik:

    • Pertanyaan Anda secara komputasi mahal.
    • Data Anda tidak sering berubah.
    • Anda menampilkan kumpulan data besar.

Dalam situasi ini, pertimbangkan untuk menggunakan Tippecanoe untuk menghasilkan ubin vektor. Anda dapat menjalankan Tippecanoe sebagai bagian dari alur pemrosesan data Anda, baik sebagai kontainer atau dengan Azure Functions. Anda dapat membuat ubin yang dihasilkan tersedia melalui API.

  • Seperti Event Hubs, Azure IoT Hub dapat menyerap data dalam jumlah besar. Tetapi IoT Hub juga menawarkan kemampuan komunikasi dua arah dengan perangkat. Jika Anda menerima data langsung dari perangkat tetapi juga mengirim perintah dan kebijakannya kembali ke perangkat, pertimbangkan IoT Hub alih-alih Event Hub.

Langkah berikutnya