Compartilhar via

Tutorial: Processar dados de satélite do Aqua usando ferramentas fornecidas pela NASA

  • Artigo

Observação

A NASA cancelou o suporte do software DRL usado para processar imagens de satélite Aqua. Veja: Status atual do DRL. As etapas 2, 3 e 4 deste tutorial não são mais relevantes, mas apresentadas apenas para fins informativos.

Este artigo é um passo a passo abrangente que mostra como usar a AOGS (Estação Terrestre do Azure Orbital) para capturar e processar imagens de satélite. Ele apresenta a AOGS e seu principais conceitos, além de mostrar como agendar contatos. O artigo também mostra um exemplo no qual coletamos e processamos dados do satélite Aqua da NASA em uma VM (máquina virtual) do Azure com ferramentas fornecidas pela NASA.

O Aqua é uma nave espacial em órbita polar lançada pela NASA em 2002. Dados de todos os instrumentos científicos a bordo do Aqua são enviados para a Terra usando transmissão direta pela banda X quase em tempo real. Mais informações sobre o Aqua podem ser encontradas no site do Aqua Project Science.

Com a AOGS, é possível capturar a transmissão do Aqua quando o satélite está dentro da linha de visão de uma estação terrestre agendando um contato. Um contato é o tempo reservado em uma estação terrestre para se comunicar com um satélite. Durante o contato, a estação terrestre orienta a antena dela em direção ao Aqua e captura os dados de transmissão direta. Os dados capturados são enviados para uma VM do Azure como um fluxo de dados processado usando o RT-STPS (Sistema de Processamento de Telemetria de Software em Tempo Real) fornecido pelo DRL (Laboratório de Leitura Direta) para gerar um produto de nível 0. Esse produto de nível 0 é processado ainda mais usando a ferramenta IPOPP (Pacote de Processamento de Observação Planetária Internacional) do DRL para produzir produtos de nível superior.

Neste tutorial, seguiremos estas etapas para coletar e processar dados do Aqua:

As etapas de configuração opcionais para capturar a telemetria da estação terrestre estão incluídas no guia sobre como receber telemetria em tempo real das estações terrestres.

Etapa 1: Usar o AOGS para agendar um contato e coletar dados do Aqua

Execute as etapas listadas no Tutorial: enviar dados do satélite público Aqua da NASA

O tutorial acima apresenta um passo a passo para agendar um contato com o Aqua e coletar os dados de difusão direta em uma VM do Azure.

Observação

Na seção Preparar uma VM (máquina virtual) para receber os dados de downlink do AQUA, use os seguintes valores:

  • Nome: receiver-vm
  • Sistema operacional: insira o nome da distribuição do Linux endossada preferencial
  • Tamanho: Standard_D8s_v5 ou superior
  • Endereço IP: verifique se a VM tem acesso à internet para baixar ferramentas com um endereço IP público padrão

Dica

O endereço IP público aqui é apenas para conectividade com a internet e não Dados de contato. Para obter mais informações, consulte Acesso de saída padrão no Azure.

No final desta etapa, você deve ter os dados de difusão direta brutos salvos como arquivos .bin na pasta ~/aquadata na receiver-vm.

Etapa 2: Instalar as ferramentas de DRL da NASA

Observação

Devido a uma possível contenção de recursos, a DRL recomenda instalar RT-STPS e IPOPP em computadores separados. Mas para este tutorial, instalamos ambas as ferramentas no receiver-vm porque não as executamos ao mesmo tempo. Para cargas de trabalho de produção, siga as recomendações de dimensionamento e isolamento nos guias do usuário disponíveis no site da DRL.

Aumentar o tamanho do disco do sistema operacional na VM do receptor

O espaço em disco padrão alocado para o disco do sistema operacional de uma VM do Azure não é suficiente para instalar as ferramentas de DRL da NASA. Siga as etapas abaixo para aumentar o tamanho do disco do sistema operacional no receiver-vm para 1 TB.

  1. Abra o portal.
  2. Navegue até a sua máquina virtual.
  3. Na página Visão geral, selecione Parar.
  4. Na página Discos, selecione o disco do sistema operacional.
  5. No painel Disco, navegue até a página Tamanho + desempenho.
  6. Selecione SSD Premium (armazenamento com redundância local) na lista suspensa SKU de Disco.
  7. Selecione a Camada de Disco P30 (1.024 GB).
  8. Clique em Salvar.
  9. Navegue de volta para o painel Máquina Virtual.
  10. Na página Visão Geral, selecione Iniciar

No receiver-vm, verifique se a partição raiz agora tem 1 TB disponível

lsblk -o NAME,HCTL,SIZE,MOUNTPOINT

Isso deve mostrar ~1 TB alocado ao ponto de montagem raiz /.

NAME    HCTL        SIZE MOUNTPOINT
sda     0:0:0:0       1T 
├─sda1              500M /boot
├─sda2             1023G /
├─sda14               4M 
└─sda15             495M /boot/efi

Instalar a Área de Trabalho e o Servidor VNC

O uso de ferramentas DRL da NASA requer suporte para executar aplicativos de GUI. Para habilitar isso, instale as ferramentas de área de trabalho e o vncserver no receiver-vm:

sudo yum install tigervnc-server
sudo yum groups install "GNOME Desktop"

Iniciar o servidor VNC:

vncserver

Insira a senha quando solicitado.

Acessar remotamente a área de trabalho da VM

Encaminhe a porta do vncserver (5901) via SSH para o computador local:

ssh -L 5901:localhost:5901 azureuser@receiver-vm

Observação

Use o endereço IP público do nome DNS da VM para substituir o receptor de VM neste comando.

  1. No computador local, baixe e instale o TightVNC Viewer.
  2. Inicie o Visualizador TightVNC e conecte-se ao localhost:5901.
  3. Insira a senha do vncserver inserida na etapa anterior.
  4. Você deverá ver o GNOME Desktop em execução na VM na janela do visualizador de VNC.

Baixar arquivos de instalação RT-STPS e IPOPP

Na Área de Trabalho do GNOME, acesse Aplicativos>Internet>Firefox para iniciar um navegador.

Faça logon no site DRL da NASA e baixe os arquivos de instalação RT-STPS e o script da ferramenta de download do IPOPP em downloads de software. Os arquivos baixados ficarão em ~/Downloads.

Observação

Usar o mesmo computador para baixar e executar downloader_DRL-IPOPP_4.1.sh.

Instalar RT-STPS

tar -xvzf ~/Downloads/RT-STPS_7.0.tar.gz --directory ~/
tar -xvzf ~/Downloads/RT-STPS_7.0_testdata.tar.gz --directory ~/
cd ~/rt-stps
./install.sh

Valide a instalação do RT-STPS processando os dados de teste fornecidos com a instalação:

cd ~/rt-stps
./bin/batch.sh config/jpss1.xml ./testdata/input/rt-stps_jpss1_testdata.dat

Verifique se os arquivos de saída existem na pasta de dados:

ls -la ~/data/

Isso conclui a instalação do RT-STPS.

Instalar o IPOPP

Execute o script da ferramenta de download do IPOPP para baixar os arquivos de instalação do IPOPP.

cd ~/Downloads
./downloader_DRL-IPOPP_4.1.sh
tar -xvzf ~/Downloads/DRL-IPOPP_4.1.tar.gz --directory ~/
cd ~/IPOPP
./install_ipopp.sh

Configurar e iniciar serviços IPOPP

Os serviços IPOPP são configurados usando sua GUI do Painel.

Acesse a Área de Trabalho da VM e inicie um novo terminal em Aplicativos>Utilitários>Terminal

Inicie o painel do IPOPP no terminal:

~/drl/tools/dashboard.sh

O IPOPP é iniciado no modo de monitoramento do processo. Alterne para o Modo de Configuração usando a opção de menu.

Habilite o seguinte na guia EOS:

  • gbad
  • MODISL1DB l0l1aqua
  • MODISL1DB l1atob
  • IMAPP

Volte para o modo Monitoramento de Processo usando a opção de menu.

Iniciar serviços IPOPP:

~/drl/tools/services.sh start
~/drl/tools/services.sh status

Isso conclui a instalação e a configuração do IPOPP.

Etapa 3: Criar um produto de nível 0 usando RT-STPS

Executar rt-stps no modo de lote para processar o arquivo .bin coletado na Etapa 1

cd ~/rt-stps
./bin/batch.sh ./config/aqua.xml ~/aquadata/raw-2022-05-29T0957-0700.bin

Esse comando produz arquivos de Conjunto de Dados de Produção de Nível 0 (.pds) no diretório ~/rt-stps/data.

Etapa 4: Criar produtos de nível mais alto usando IPOPP

Ingerir dados para processamento

Copie os arquivos de PDS gerados pelo RT-STPS na etapa anterior para o diretório de ingestão do IPOPP para processamento adicional.

cp ~/rt-stps/data/* ~/drl/data/dsm/ingest/.

Execute a ingestão de IPOPP para criar os produtos configurados no painel. 

~/drl/tools/ingest_ipopp.sh

Você pode monitorar o progresso no painel.

~/drl/tools/dashboard.sh

O IPOPP produzirá produtos de saída no seguinte diretório:

cd ~/drl/data/pub/gsfcdata/aqua/modis/

Próximas etapas

Para implantar facilmente os componentes downstream necessários para receber e processar dados espaciais de observação da Terra usando a Estação Terrestre do Azure Orbital, confira:

Para uma implementação de ponta a ponta que envolve extrair, carregar, transformar e analisar dados espacialmente usando bibliotecas geoespaciais e modelos de IA com o Azure Synapse Analytics, confira: