Руководство по обработке спутниковых данных Aqua с помощью средств, предоставляемых НАСА

  • Статья

Внимание

Эта статья ссылается на CentOS, дистрибутив Linux, который приближается к состоянию конца жизни (EOL). Пожалуйста, рассмотрите возможность использования и планирования соответствующим образом. Дополнительные сведения см. в руководстве centOS End Of Life.

Примечание.

НАСА не рекомендует поддерживать программное обеспечение DRL, используемое для обработки спутниковых изображений Aqua. См. сведения о текущем состоянии DRL. Шаги 2, 3 и 4 этого руководства больше не актуальны, но представлены только для информационных целей.

В этой статье представлено комплексное пошаговое руководство по использованию наземной станции Azure Orbital (AOGS) для записи и обработки спутниковых снимков. В ней представлены AOGS и ее основные понятия и показано, как планировать контакты. В этой статье также описан пример, в котором мы собираем и обрабатываем спутниковые данные НАСА Aqua на виртуальной машине Azure с помощью предоставляемых НАСА средств.

Aqua является полярным орбитальным космическим аппаратом, запущенным НАСА в 2002 году. Данные из всех научных инструментов на борту Aqua нисходящей связи с Землей, используя прямую трансляцию по X-полосе почти в режиме реального времени. Дополнительные сведения о Aqua можно найти на веб-сайте Aqua Project Science .

Используя AOGS, мы захватываем трансляцию Aqua, когда спутник находится в пределах линии видимости наземной станции путем планирования контакта. Контакт зарезервирован на наземной станции для связи со спутником. Во время контакта наземная станция ориентирует свою антенну к Aqua и захватывает прямые данные вещания. Захваченные данные отправляются на виртуальную машину Azure в виде потока данных и обрабатываются с помощью средства обработки телеметрии программного обеспечения (RT-STPS), предоставляемого лабораторией прямого чтения (DRL), которая создает продукт level-0. Этот продукт уровня 0 обрабатывается далее с помощью средства международной обработки планетарных наблюдений DRL (IPOPP) для производства продуктов более высокого уровня.

В этом руководстве мы рассмотрим следующие действия по сбору и обработке данных Aqua.

Дополнительные действия по настройке для записи телеметрии наземной станции включены в руководство по получению телеметрии в режиме реального времени с наземных станций.

Шаг 1. Использование AOGS для планирования контакта и сбора данных Aqua

Выполнение шагов, перечисленных в руководстве: данные downlink из общедоступного спутника NASA Aqua

Приведенный выше учебник содержит пошаговое руководство по планированию контакта с Aqua и сбору прямых широковещательных данных на виртуальной машине Azure.

Примечание.

В разделе "Подготовка виртуальной машины" к получению данных AQUA вниз используйте следующие значения:

  • Имя: receiver-vm
  • Операционная система: Linux (CentOS Linux 7 или более поздней версии)
  • Размер: Standard_D8s_v5 или более поздней версии
  • IP-адрес. Убедитесь, что виртуальная машина имеет доступ к Интернету для скачивания средств, имея один стандартный общедоступный IP-адрес

Совет

Общедоступный IP-адрес здесь предназначен только для подключения к Интернету, а не контактных данных. Дополнительные сведения см. в статье Исходящий доступ по умолчанию в Azure.

В конце этого шага необходимо сохранить необработанные прямые широковещательные данные в виде .bin файлов в папке ~/aquadatareceiver-vm.

Шаг 2. Установка средств DRL НАСА

Примечание.

Из-за потенциальных спорных ресурсов DRL рекомендует устанавливать RT-STPS и IPOPP на отдельных компьютерах. Но для этого руководства мы устанавливаем оба средства в том receiver-vm случае, если мы не запускаем их одновременно. Для рабочих нагрузок следуйте рекомендациям по размеру и изоляции в руководствах пользователей, доступных на веб-сайте DRL.

Увеличение размера диска ОС на виртуальной машине-приемника

Дисковое пространство по умолчанию, выделенное для диска ОС виртуальной машины Azure, недостаточно для установки средств DRL НАСА. Выполните приведенные ниже действия, чтобы увеличить размер диска ОС на receiver-vm 1 ТБ.

  1. Откройте портал.
  2. Перейдите к виртуальной машине.
  3. На странице "Обзор" нажмите кнопку "Остановить".
  4. На странице "Диски" выберите диск ОС.
  5. На панели "Диск" перейдите на страницу "Размер и производительность".
  6. Выберите SSD уровня "Премиум" (локально избыточное хранилище) в раскрывающемся списке SKU диска.
  7. Выберите уровень диска P30 (1024 ГБ).
  8. Выберите Сохранить.
  9. Вернитесь к области виртуальной машины .
  10. На странице "Обзор" нажмите кнопку "Пуск"

На виртуальной машине-получателе убедитесь, что корневая секция теперь доступна 1 ТБ

lsblk -o NAME,HCTL,SIZE,MOUNTPOINT

Это должно отобразить ~1 ТБ, выделенное корневой / точке подключения.

NAME    HCTL        SIZE MOUNTPOINT
sda     0:0:0:0       1T 
├─sda1              500M /boot
├─sda2             1023G /
├─sda14               4M 
└─sda15             495M /boot/efi

Установка рабочего стола и сервера VNC

Использование средств DRL НАСА требует поддержки запуска приложений графического интерфейса. Чтобы включить эту функцию, установите классические средства и vncserver на :receiver-vm

sudo yum install tigervnc-server
sudo yum groups install "GNOME Desktop"

Запустите сервер VNC:

vncserver

Введите пароль при появлении запроса.

Удаленный доступ к рабочему столу виртуальной машины

Перенаправьте порт vncserver (5901) через SSH на локальный компьютер:

ssh -L 5901:localhost:5901 azureuser@receiver-vm

Примечание.

Используйте любой общедоступный IP-адрес DNS-имени виртуальной машины, чтобы заменить приемник-виртуальную машину в этой команде.

  1. На локальном компьютере скачайте и установите Средство просмотра TightVNC.
  2. Запустите средство просмотра TightVNC и подключитесь к localhost:5901нему.
  3. Введите пароль vncserver, введенный на предыдущем шаге.
  4. В окне просмотра VNC должен отображаться рабочий стол GNOME, работающий на виртуальной машине.

Скачивание файлов установки RT-STPS и IPOPP

На рабочем столе GNOME перейдите к Приложениям>Internet>Firefox, чтобы запустить браузер.

Войдите на веб-сайт NASA DRL и скачайте файлы установки RT-STPS и скрипт загрузчика IPOPP в разделе загрузки программного обеспечения. Скачанные файлы будут помещаться в папку ~/Downloads.

Примечание.

Использование того же компьютера для скачивания и запуска downloader_DRL-IPOPP_4.1.sh.

Установка RT-STPS

tar -xvzf ~/Downloads/RT-STPS_7.0.tar.gz --directory ~/
tar -xvzf ~/Downloads/RT-STPS_7.0_testdata.tar.gz --directory ~/
cd ~/rt-stps
./install.sh

Проверьте установку RT-STPS, обрабатывая тестовые данные, предоставленные установкой:

cd ~/rt-stps
./bin/batch.sh config/jpss1.xml ./testdata/input/rt-stps_jpss1_testdata.dat

Убедитесь, что выходные файлы существуют в папке данных:

ls -la ~/data/

Это завершает установку RT-STPS.

Установка IPOPP

Запустите скрипт загрузчика IPOPP, чтобы скачать файлы установки IPOPP.

cd ~/Downloads
./downloader_DRL-IPOPP_4.1.sh
tar -xvzf ~/Downloads/DRL-IPOPP_4.1.tar.gz --directory ~/
cd ~/IPOPP
./install_ipopp.sh

Настройка и запуск служб IPOPP

Службы IPOPP настроены с помощью графического интерфейса панели мониторинга.

Перейдите к рабочему столу виртуальной машины и запустите новый терминал в терминале служебных программ>приложений>

Запустите панель мониторинга IPOPP из терминала:

~/drl/tools/dashboard.sh

IPOPP начинается в режиме мониторинга процессов. Переключитесь в режим конфигурации с помощью параметра меню.

Включите следующее на вкладке EOS :

  • gbad
  • MODISL1DB l0l1aqua
  • MODISL1DB l1atob
  • IMAPP

Вернитесь в режим мониторинга процесса с помощью параметра меню.

Запустите службы IPOPP:

~/drl/tools/services.sh start
~/drl/tools/services.sh status

Это завершает установку и настройку IPOPP.

Шаг 3. Создание продукта уровня 0 с помощью RT-STPS

Выполнение rt-stps в пакетном режиме для обработки файла, собранного .bin на шаге 1

cd ~/rt-stps
./bin/batch.sh ./config/aqua.xml ~/aquadata/raw-2022-05-29T0957-0700.bin

Эта команда создает файлы рабочего набора данных уровня 0 в.pds каталоге ~/rt-stps/data .

Шаг 4. Создание продуктов более высокого уровня с помощью IPOPP

Прием данных для обработки

Скопируйте файлы PDS, созданные RT-STPS на предыдущем шаге, в каталог приема IPPP для дальнейшей обработки.

cp ~/rt-stps/data/* ~/drl/data/dsm/ingest/.

Запустите прием IPOPP, чтобы создать продукты, настроенные на панели мониторинга. 

~/drl/tools/ingest_ipopp.sh

Ход выполнения можно просмотреть на панели мониторинга.

~/drl/tools/dashboard.sh

IPOPP будет производить выходные продукты в следующем каталоге:

cd ~/drl/data/pub/gsfcdata/aqua/modis/

Следующие шаги

Сведения о том, как легко развернуть подчиненные компоненты, необходимые для получения и обработки данных наблюдения за землей с помощью орбитальной станции Azure, см. в следующих статье:

Сквозная реализация, которая включает извлечение, загрузку, преобразование и анализ данных пробелов с помощью геопространственных библиотек и моделей ИИ с помощью Azure Synapse Analytics, см. в следующих статье: