Zelfstudie: Aqua-satellietgegevens verwerken met behulp van door NASA geleverde hulpprogramma's
Notitie
NASA heeft de ondersteuning van de DRL-software die wordt gebruikt voor het verwerken van aqua satellietbeelden afgeschaft. Zie: HUIDIGE STATUS VAN DRL. Stap 2, 3 en 4 van deze zelfstudie zijn niet langer relevant, maar worden alleen ter informatie gepresenteerd.
Dit artikel is een uitgebreide uitleg over het gebruik van het Azure Orbital Ground Station (AOGS) voor het vastleggen en verwerken van satellietbeelden. Het introduceert de AOGS en de belangrijkste concepten en laat zien hoe u contactpersonen plant. Het artikel doorloopt ook een voorbeeld waarin we NASA Aqua-satellietgegevens verzamelen en verwerken in een virtuele Azure-machine (VM) met behulp van door NASA geleverde hulpprogramma's.
Aqua is een polair ruimteschip dat in 2002 door NASA wordt gelanceerd. Gegevens van alle wetenschapsinstrumenten aan boord van Aqua worden in bijna realtime naar de aarde gelinkt met behulp van directe uitzending over de X-band. Meer informatie over Aqua vindt u op de website van Aqua Project Science .
Met behulp van AOGS leggen we de Aqua-uitzending vast wanneer de satelliet zich binnen het zicht van een grondstation bevindt door een contact te plannen. Een contact is tijd gereserveerd op een grondstation om te communiceren met een satelliet. Tijdens het contact richt het grondstation zich op de antenne richting Aqua en legt de direct uitgezonden gegevens vast. De vastgelegde gegevens worden als gegevensstroom naar een Azure-VM verzonden en verwerkt met behulp van het realtime hulpprogramma Software Telemetry Processing System (RT-STPS) dat wordt geleverd door het Direct Readout Laboratory (DRL) dat een product op niveau 0 genereert. Dit level-0 product wordt verder verwerkt met drL's International Planetary Observation Processing Package (IPOPP) tool om producten op een hoger niveau te produceren.
In deze zelfstudie volgen we deze stappen om Aqua-gegevens te verzamelen en te verwerken:
Optionele installatiestappen voor het vastleggen van de telemetrie van het grondstation zijn opgenomen in de handleiding voor het ontvangen van realtime telemetrie van de grondstations.
Stap 1: AOGS gebruiken om een contactpersoon te plannen en Aqua-gegevens te verzamelen
Stappen uitvoeren die worden vermeld in zelfstudie: Downlinkgegevens van nasa's openbare Aqua-satelliet
De bovenstaande zelfstudie biedt een overzicht voor het plannen van een contactpersoon met Aqua en het verzamelen van de directe broadcastgegevens op een Azure-VM.
Notitie
Gebruik in de sectie Een virtuele machine (VM) voorbereiden om de downlinked AQUA-gegevens te ontvangen de volgende waarden:
- Naam: ontvanger-vm
- Besturingssysteem: voer de naam in van de door uw voorkeur goedgekeurde Linux-distributie
- Grootte: Standard_D8s_v5 of hoger
- IP-adres: zorg ervoor dat de VM internettoegang heeft voor het downloaden van hulpprogramma's door één standaard openbaar IP-adres te hebben
Tip
Het openbare IP-adres hier is alleen bedoeld voor internetverbinding en geen contactgegevens. Zie De standaard uitgaande toegang in Azure voor meer informatie.
Aan het einde van deze stap moet u de onbewerkte gegevens voor directe uitzending opslaan als .bin
bestanden onder de map op de receiver-vm
~/aquadata
map.
Stap 2: NASA DRL-hulpprogramma's installeren
Notitie
Vanwege mogelijke resourceconflicten raadt DRL aan OM RT-STPS en CPPP op afzonderlijke computers te installeren. Voor deze zelfstudie installeren we beide hulpprogramma's omdat receiver-vm
we ze niet tegelijkertijd uitvoeren. Voor productieworkloads volgt u aanbevelingen voor grootte en isolatie in de gebruikershandleidingen die beschikbaar zijn op de DRL-website.
De schijfgrootte van het besturingssysteem op de ontvanger-vm vergroten
De standaardschijfruimte die is toegewezen aan de besturingssysteemschijf van een Azure-VM is niet voldoende voor het installeren van NASA DRL-hulpprogramma's. Volg de onderstaande stappen om de grootte van de besturingssysteemschijf op de receiver-vm
1 TB te vergroten.
- Open de portal.
- Navigeer naar uw virtuele machine.
- Selecteer Stoppen op de pagina Overzicht.
- Selecteer op de pagina Schijven de besturingssysteemschijf.
- Navigeer in het deelvenster Schijf naar de pagina Grootte en prestaties .
- Selecteer Premium SSD (lokaal redundante opslag) in de vervolgkeuzelijst Schijf-SKU .
- Selecteer de P30-schijflaag (1024 GB).
- Selecteer Opslaan.
- Ga terug naar het deelvenster Virtuele machine .
- Selecteer Start op de pagina Overzicht
Controleer op de ontvanger-VM of de hoofdpartitie nu 1 TB beschikbaar is
lsblk -o NAME,HCTL,SIZE,MOUNTPOINT
Dit moet ~1 TB weergeven die is toegewezen aan het hoofdkoppelingspunt /
.
NAME HCTL SIZE MOUNTPOINT
sda 0:0:0:0 1T
├─sda1 500M /boot
├─sda2 1023G /
├─sda14 4M
└─sda15 495M /boot/efi
Bureaublad- en VNC-server installeren
Voor het gebruik van NASA DRL-hulpprogramma's is ondersteuning vereist voor het uitvoeren van GUI-toepassingen. Als u dit wilt inschakelen, installeert u bureaubladhulpprogramma's en vncserver op het receiver-vm
volgende:
sudo yum install tigervnc-server
sudo yum groups install "GNOME Desktop"
VNC-server starten:
vncserver
Voer een wachtwoord in wanneer u hierom wordt gevraagd.
Externe toegang tot het VM-bureaublad
Poort doorsturen van de vncserverpoort (5901) via SSH naar uw lokale computer:
ssh -L 5901:localhost:5901 azureuser@receiver-vm
Notitie
Gebruik een openbaar IP-adres van de DNS-naam van de VM om ontvanger-VM in deze opdracht te vervangen.
- Download en installeer TightVNC Viewer op uw lokale computer.
- Start de TightVNC Viewer en maak verbinding met
localhost:5901
. - Voer het vncserver-wachtwoord in dat u in de vorige stap hebt ingevoerd.
- In het VNC Viewer-venster ziet u het BUREAUBLAD VAN DE KNP die op de VIRTUELE machine wordt uitgevoerd.
RT-STPS- en DPPP-installatiebestanden downloaden
Ga vanuit HET BUREAUBLAD VAN HET BUREAUBLAD naar Applications>Internet>Firefox om een browser te starten.
Meld u aan bij de NASA DRL-website en download de RT-STPS-installatiebestanden en het DPPP-downloadscript onder softwaredownloads. De gedownloade bestanden komen onder ~/Downloads terecht.
Notitie
Dezelfde computer gebruiken om te downloaden en uit te voeren downloader_DRL-IPOPP_4.1.sh.
RT-STPS installeren
tar -xvzf ~/Downloads/RT-STPS_7.0.tar.gz --directory ~/
tar -xvzf ~/Downloads/RT-STPS_7.0_testdata.tar.gz --directory ~/
cd ~/rt-stps
./install.sh
Valideer uw RT-STPS-installatie door de testgegevens te verwerken die bij de installatie zijn geleverd:
cd ~/rt-stps
./bin/batch.sh config/jpss1.xml ./testdata/input/rt-stps_jpss1_testdata.dat
Controleer of de uitvoerbestanden aanwezig zijn in de gegevensmap:
ls -la ~/data/
Hiermee voltooit u de RT-STPS-installatie.
IPOPP installeren
Voer het IPOPP-downloadscript uit om de IPOPP-installatiebestanden te downloaden.
cd ~/Downloads
./downloader_DRL-IPOPP_4.1.sh
tar -xvzf ~/Downloads/DRL-IPOPP_4.1.tar.gz --directory ~/
cd ~/IPOPP
./install_ipopp.sh
IPOPP-services configureren en starten
IPOPP-services worden geconfigureerd met behulp van de dashboard-GUI.
Ga naar de VM Desktop en start een nieuwe terminal onder Applications>Utilities Terminal>
Start het IPOPP-dashboard vanuit de terminal:
~/drl/tools/dashboard.sh
IPOPP begint in de procesbewakingsmodus. Schakel over naar de configuratiemodus met behulp van de menuoptie.
Schakel het volgende in op het tabblad EOS :
- gbad
- MODISL1DB l0l1aqua
- MODISL1DB l1atob
- IMAPP
Ga terug naar de modus Procesbewaking met behulp van de menuoptie.
Start IPOPP-services:
~/drl/tools/services.sh start
~/drl/tools/services.sh status
Hiermee voltooit u de installatie en configuratie van IPOPP.
Stap 3: Niveau-0-product maken met RT-STPS
Rt-stps uitvoeren in batchmodus om het .bin
bestand te verwerken dat is verzameld in stap 1
cd ~/rt-stps
./bin/batch.sh ./config/aqua.xml ~/aquadata/raw-2022-05-29T0957-0700.bin
Met deze opdracht worden bestanden op niveau 0 productiegegevensset (.pds
) onder de ~/rt-stps/data
map geproduceerd.
Stap 4: Producten op een hoger niveau maken met IPOPP
Gegevens opnemen voor verwerking
Kopieer de PDS-bestanden die in de vorige stap zijn gegenereerd door RT-STPS naar de map BFPP voor verdere verwerking.
cp ~/rt-stps/data/* ~/drl/data/dsm/ingest/.
Voer IPOPP-opname uit om de producten te maken die in het dashboard zijn geconfigureerd.
~/drl/tools/ingest_ipopp.sh
U kunt de voortgang in het dashboard bekijken.
~/drl/tools/dashboard.sh
IPOPP produceert uitvoerproducten in de volgende map:
cd ~/drl/data/pub/gsfcdata/aqua/modis/
Volgende stappen
Als u eenvoudig downstreamonderdelen wilt implementeren die nodig zijn voor het ontvangen en verwerken van aardobservatiegegevens met behulp van Azure Orbital Ground Station, raadpleegt u:
Zie voor een end-to-end-implementatie waarbij ruimtegebonden gegevens worden geëxtraheerd, geladen, getransformeerd en geanalyseerd met behulp van georuimtelijke bibliotheken en AI-modellen met Azure Synapse Analytics: