Partilhar via

Tutorial: Processar dados de satélite Aqua usando ferramentas fornecidas pela NASA

  • Artigo

Nota

A NASA desativou o suporte ao software DRL usado para processar imagens de satélite Aqua. Por favor, consulte: DRL Status atual. As etapas 2, 3 e 4 deste tutorial não são mais relevantes, mas apresentadas apenas para fins informativos.

Este artigo é um passo a passo abrangente mostrando como usar a Estação Terrestre Orbital do Azure (AOGS) para capturar e processar imagens de satélite. Ele introduz o AOGS e seus principais conceitos e mostra como agendar contatos. O artigo também apresenta um exemplo em que coletamos e processamos dados de satélite Aqua da NASA em uma máquina virtual (VM) do Azure usando ferramentas fornecidas pela NASA.

Aqua é uma espaçonave em órbita polar lançada pela NASA em 2002. Os dados de todos os instrumentos científicos a bordo do Aqua são ligados à Terra usando transmissão direta pela banda X quase em tempo real. Mais informações sobre o Aqua podem ser encontradas no site do Aqua Project Science .

Usando AOGS, capturamos a transmissão Aqua quando o satélite está dentro da linha de visão de uma estação terrestre, agendando um contato. Um contato é o tempo reservado em uma estação terrestre para se comunicar com um satélite. Durante o contato, a estação terrestre orienta sua antena para Aqua e captura os dados de transmissão direta. Os dados capturados são enviados para uma VM do Azure como um fluxo de dados e processados usando a ferramenta RT-STPS (Real-Time Software Telemetry Processing System) fornecida pelo Laboratório de Leitura Direta (DRL), que gera um produto de Nível 0. Este produto de nível 0 é processado usando a ferramenta International Planetary Observation Processing Package (IPOPP) da DRL para produzir produtos de nível superior.

Neste tutorial, seguiremos estes passos para recolher e processar dados Aqua:

Etapas de configuração opcionais para capturar a telemetria da estação terrestre estão incluídas no guia sobre como receber telemetria em tempo real das estações terrestres.

Passo 1: Use o AOGS para agendar um contato e coletar dados do Aqua

Execute as etapas listadas no Tutorial: Downlink de dados do satélite público Aqua da NASA

O tutorial acima fornece um passo a passo para agendar um contato com o Aqua e coletar os dados de transmissão direta em uma VM do Azure.

Nota

Na seção Preparar uma máquina virtual (VM) para receber os dados AQUA downlinked, use os seguintes valores:

  • Nome: receiver-vm
  • Sistema Operacional: Digite o nome da sua distribuição Linux endossada preferida
  • Tamanho: Standard_D8s_v5 ou superior
  • Endereço IP: verifique se a VM tem acesso à Internet para baixar ferramentas por ter um endereço IP público padrão

Gorjeta

O Endereço IP Público aqui é apenas para conectividade com a Internet e não para Dados de Contato. Para obter mais informações, consulte Acesso de saída padrão no Azure.

No final desta etapa, você deve ter os dados brutos de transmissão direta salvos como .bin arquivos na ~/aquadata pasta no receiver-vm.

Passo 2: Instale as ferramentas DRL da NASA

Nota

Devido à potencial contenção de recursos, a DRL recomenda a instalação de RT-STPS e IPOPP em máquinas separadas. Mas para este tutorial, instalamos ambas as ferramentas no receiver-vm porque não as executamos ao mesmo tempo. Para cargas de trabalho de produção, siga as recomendações de dimensionamento e isolamento nos guias do usuário disponíveis no site da DRL.

Aumentar o tamanho do disco do SO no receiver-vm

O espaço em disco padrão alocado para o disco do sistema operacional de uma VM do Azure não é suficiente para instalar as ferramentas DRL da NASA. Siga os passos abaixo para aumentar o tamanho do disco do SO para receiver-vm 1TB.

  1. Abra o portal.
  2. Navegue até sua máquina virtual.
  3. Na página Visão geral, selecione Parar.
  4. Na página Discos, selecione o disco do sistema operacional.
  5. No painel Disco, navegue até a página Tamanho + desempenho.
  6. Selecione SSD Premium (armazenamento localmente redundante) na lista suspensa Disk SKU .
  7. Selecione a camada de disco P30 (1024GB).
  8. Selecione Guardar.
  9. Navegue de volta para o painel Máquina Virtual.
  10. Na página Visão geral, selecione Iniciar

No receiver-vm, verifique se a partição raiz agora tem 1TB disponível

lsblk -o NAME,HCTL,SIZE,MOUNTPOINT

Isso deve mostrar ~1TB alocado para o ponto de montagem raiz / .

NAME    HCTL        SIZE MOUNTPOINT
sda     0:0:0:0       1T 
├─sda1              500M /boot
├─sda2             1023G /
├─sda14               4M 
└─sda15             495M /boot/efi

Instalar Desktop e VNC Server

O uso de ferramentas DRL da NASA requer suporte para executar aplicativos GUI. Para habilitar isso, instale as ferramentas da área de trabalho e o receiver-vmvncserver no :

sudo yum install tigervnc-server
sudo yum groups install "GNOME Desktop"

Inicie o servidor VNC:

vncserver

Digite uma senha quando solicitado.

Acesse remotamente a área de trabalho da VM

Encaminhe a porta vncserver (5901) sobre SSH para sua máquina local:

ssh -L 5901:localhost:5901 azureuser@receiver-vm

Nota

Use o endereço IP público do nome DNS da VM para substituir receiver-Vm neste comando.

  1. Em sua máquina local, baixe e instale o TightVNC Viewer.
  2. Inicie o TightVNC Viewer e conecte-se ao localhost:5901.
  3. Digite a senha vncserver que você inseriu na etapa anterior.
  4. Você deve ver o GNOME Desktop que está sendo executado na VM na janela do visualizador VNC.

Baixar arquivos de instalação RT-STPS e IPOPP

No GNOME Desktop, vá para Applications>Internet>Firefox para iniciar um navegador.

Faça logon no site DRL da NASA e baixe os arquivos de instalação RT-STPS e o script IPOPP downloader em downloads de software. Os arquivos baixados serão exibidos em ~/Downloads.

Nota

Use a mesma máquina para baixar e executar downloader_DRL-IPOPP_4.1.sh.

Instalar o RT-STPS

tar -xvzf ~/Downloads/RT-STPS_7.0.tar.gz --directory ~/
tar -xvzf ~/Downloads/RT-STPS_7.0_testdata.tar.gz --directory ~/
cd ~/rt-stps
./install.sh

Valide a instalação do RT-STPS processando os dados de teste fornecidos com a instalação:

cd ~/rt-stps
./bin/batch.sh config/jpss1.xml ./testdata/input/rt-stps_jpss1_testdata.dat

Verifique se os arquivos de saída existem na pasta de dados:

ls -la ~/data/

Isso conclui a instalação do RT-STPS.

Instalar o IPOPP

Execute o script IPOPP downloader para baixar os arquivos de instalação do PIOPP.

cd ~/Downloads
./downloader_DRL-IPOPP_4.1.sh
tar -xvzf ~/Downloads/DRL-IPOPP_4.1.tar.gz --directory ~/
cd ~/IPOPP
./install_ipopp.sh

Configurar e iniciar serviços IPOPP

Os serviços IPOPP são configurados usando sua GUI do Painel.

Vá para a área de trabalho da VM e inicie um novo terminal em Terminal de utilitários>de aplicativos>

Inicie o painel IPOPP a partir do terminal:

~/drl/tools/dashboard.sh

O IPOPP é iniciado no modo de monitorização do processo. Alterne para o Modo de Configuração usando a opção de menu.

Habilite o seguinte na guia EOS :

  • GBAD
  • MODISL1DB L0L1Aqua
  • MODISL1DB L1atob
  • IMAPP

Volte para o modo de monitoramento de processos usando a opção de menu.

Inicie os serviços IPOPP:

~/drl/tools/services.sh start
~/drl/tools/services.sh status

Isso conclui a instalação e configuração do PIOPP.

Etapa 3: Criar o produto Level-0 usando RT-STPS

Execute rt-stps no modo batch para processar o arquivo coletado .bin na Etapa 1

cd ~/rt-stps
./bin/batch.sh ./config/aqua.xml ~/aquadata/raw-2022-05-29T0957-0700.bin

Este comando produz arquivos do Conjunto de Dados de Produção de Nível 0 (.pds) no ~/rt-stps/data diretório.

Etapa 4: Criar produtos de nível superior usando IPOPP

Ingerir dados para processamento

Copie os arquivos PDS gerados pelo RT-STPS na etapa anterior para o diretório de ingestão IPOPP para processamento posterior.

cp ~/rt-stps/data/* ~/drl/data/dsm/ingest/.

Execute a ingestão IPOPP para criar os produtos configurados no painel. 

~/drl/tools/ingest_ipopp.sh

Você pode assistir ao progresso no painel.

~/drl/tools/dashboard.sh

O IPOPP produzirá produtos de saída no seguinte diretório:

cd ~/drl/data/pub/gsfcdata/aqua/modis/

Próximos passos

Para implantar facilmente os componentes downstream necessários para receber e processar dados de observação da Terra no espaço usando a Estação Terrestre Orbital do Azure, consulte:

Para obter uma implementação de ponta a ponta que envolve extrair, carregar, transformar e analisar dados espaciais usando bibliotecas geoespaciais e modelos de IA com o Azure Synapse Analytics, consulte: