Руководство по обработке спутниковых данных Aqua с помощью средств, предоставляемых НАСА
Внимание
Эта статья ссылается на CentOS, дистрибутив Linux, который приближается к состоянию конца жизни (EOL). Пожалуйста, рассмотрите возможность использования и планирования соответствующим образом. Дополнительные сведения см. в руководстве centOS End Of Life.
Примечание.
НАСА не рекомендует поддерживать программное обеспечение DRL, используемое для обработки спутниковых изображений Aqua. См. сведения о текущем состоянии DRL. Шаги 2, 3 и 4 этого руководства больше не актуальны, но представлены только для информационных целей.
В этой статье представлено комплексное пошаговое руководство по использованию наземной станции Azure Orbital (AOGS) для записи и обработки спутниковых снимков. В ней представлены AOGS и ее основные понятия и показано, как планировать контакты. В этой статье также описан пример, в котором мы собираем и обрабатываем спутниковые данные НАСА Aqua на виртуальной машине Azure с помощью предоставляемых НАСА средств.
Aqua является полярным орбитальным космическим аппаратом, запущенным НАСА в 2002 году. Данные из всех научных инструментов на борту Aqua нисходящей связи с Землей, используя прямую трансляцию по X-полосе почти в режиме реального времени. Дополнительные сведения о Aqua можно найти на веб-сайте Aqua Project Science .
Используя AOGS, мы захватываем трансляцию Aqua, когда спутник находится в пределах линии видимости наземной станции путем планирования контакта. Контакт зарезервирован на наземной станции для связи со спутником. Во время контакта наземная станция ориентирует свою антенну к Aqua и захватывает прямые данные вещания. Захваченные данные отправляются на виртуальную машину Azure в виде потока данных и обрабатываются с помощью средства обработки телеметрии программного обеспечения (RT-STPS), предоставляемого лабораторией прямого чтения (DRL), которая создает продукт level-0. Этот продукт уровня 0 обрабатывается далее с помощью средства международной обработки планетарных наблюдений DRL (IPOPP) для производства продуктов более высокого уровня.
В этом руководстве мы рассмотрим следующие действия по сбору и обработке данных Aqua.
Дополнительные действия по настройке для записи телеметрии наземной станции включены в руководство по получению телеметрии в режиме реального времени с наземных станций.
Шаг 1. Использование AOGS для планирования контакта и сбора данных Aqua
Выполнение шагов, перечисленных в руководстве: данные downlink из общедоступного спутника NASA Aqua
Приведенный выше учебник содержит пошаговое руководство по планированию контакта с Aqua и сбору прямых широковещательных данных на виртуальной машине Azure.
Примечание.
В разделе "Подготовка виртуальной машины" к получению данных AQUA вниз используйте следующие значения:
- Имя: receiver-vm
- Операционная система: Linux (CentOS Linux 7 или более поздней версии)
- Размер: Standard_D8s_v5 или более поздней версии
- IP-адрес. Убедитесь, что виртуальная машина имеет доступ к Интернету для скачивания средств, имея один стандартный общедоступный IP-адрес
Совет
Общедоступный IP-адрес здесь предназначен только для подключения к Интернету, а не контактных данных. Дополнительные сведения см. в статье Исходящий доступ по умолчанию в Azure.
В конце этого шага необходимо сохранить необработанные прямые широковещательные данные в виде .bin
файлов в папке ~/aquadata
receiver-vm
.
Шаг 2. Установка средств DRL НАСА
Примечание.
Из-за потенциальных спорных ресурсов DRL рекомендует устанавливать RT-STPS и IPOPP на отдельных компьютерах. Но для этого руководства мы устанавливаем оба средства в том receiver-vm
случае, если мы не запускаем их одновременно. Для рабочих нагрузок следуйте рекомендациям по размеру и изоляции в руководствах пользователей, доступных на веб-сайте DRL.
Увеличение размера диска ОС на виртуальной машине-приемника
Дисковое пространство по умолчанию, выделенное для диска ОС виртуальной машины Azure, недостаточно для установки средств DRL НАСА. Выполните приведенные ниже действия, чтобы увеличить размер диска ОС на receiver-vm
1 ТБ.
- Откройте портал.
- Перейдите к виртуальной машине.
- На странице "Обзор" нажмите кнопку "Остановить".
- На странице "Диски" выберите диск ОС.
- На панели "Диск" перейдите на страницу "Размер и производительность".
- Выберите SSD уровня "Премиум" (локально избыточное хранилище) в раскрывающемся списке SKU диска.
- Выберите уровень диска P30 (1024 ГБ).
- Выберите Сохранить.
- Вернитесь к области виртуальной машины .
- На странице "Обзор" нажмите кнопку "Пуск"
На виртуальной машине-получателе убедитесь, что корневая секция теперь доступна 1 ТБ
lsblk -o NAME,HCTL,SIZE,MOUNTPOINT
Это должно отобразить ~1 ТБ, выделенное корневой /
точке подключения.
NAME HCTL SIZE MOUNTPOINT
sda 0:0:0:0 1T
├─sda1 500M /boot
├─sda2 1023G /
├─sda14 4M
└─sda15 495M /boot/efi
Установка рабочего стола и сервера VNC
Использование средств DRL НАСА требует поддержки запуска приложений графического интерфейса. Чтобы включить эту функцию, установите классические средства и vncserver на :receiver-vm
sudo yum install tigervnc-server
sudo yum groups install "GNOME Desktop"
Запустите сервер VNC:
vncserver
Введите пароль при появлении запроса.
Удаленный доступ к рабочему столу виртуальной машины
Перенаправьте порт vncserver (5901) через SSH на локальный компьютер:
ssh -L 5901:localhost:5901 azureuser@receiver-vm
Примечание.
Используйте любой общедоступный IP-адрес DNS-имени виртуальной машины, чтобы заменить приемник-виртуальную машину в этой команде.
- На локальном компьютере скачайте и установите Средство просмотра TightVNC.
- Запустите средство просмотра TightVNC и подключитесь к
localhost:5901
нему. - Введите пароль vncserver, введенный на предыдущем шаге.
- В окне просмотра VNC должен отображаться рабочий стол GNOME, работающий на виртуальной машине.
Скачивание файлов установки RT-STPS и IPOPP
На рабочем столе GNOME перейдите к Приложениям>Internet>Firefox, чтобы запустить браузер.
Войдите на веб-сайт NASA DRL и скачайте файлы установки RT-STPS и скрипт загрузчика IPOPP в разделе загрузки программного обеспечения. Скачанные файлы будут помещаться в папку ~/Downloads.
Примечание.
Использование того же компьютера для скачивания и запуска downloader_DRL-IPOPP_4.1.sh.
Установка RT-STPS
tar -xvzf ~/Downloads/RT-STPS_7.0.tar.gz --directory ~/
tar -xvzf ~/Downloads/RT-STPS_7.0_testdata.tar.gz --directory ~/
cd ~/rt-stps
./install.sh
Проверьте установку RT-STPS, обрабатывая тестовые данные, предоставленные установкой:
cd ~/rt-stps
./bin/batch.sh config/jpss1.xml ./testdata/input/rt-stps_jpss1_testdata.dat
Убедитесь, что выходные файлы существуют в папке данных:
ls -la ~/data/
Это завершает установку RT-STPS.
Установка IPOPP
Запустите скрипт загрузчика IPOPP, чтобы скачать файлы установки IPOPP.
cd ~/Downloads
./downloader_DRL-IPOPP_4.1.sh
tar -xvzf ~/Downloads/DRL-IPOPP_4.1.tar.gz --directory ~/
cd ~/IPOPP
./install_ipopp.sh
Настройка и запуск служб IPOPP
Службы IPOPP настроены с помощью графического интерфейса панели мониторинга.
Перейдите к рабочему столу виртуальной машины и запустите новый терминал в терминале служебных программ>приложений>
Запустите панель мониторинга IPOPP из терминала:
~/drl/tools/dashboard.sh
IPOPP начинается в режиме мониторинга процессов. Переключитесь в режим конфигурации с помощью параметра меню.
Включите следующее на вкладке EOS :
- gbad
- MODISL1DB l0l1aqua
- MODISL1DB l1atob
- IMAPP
Вернитесь в режим мониторинга процесса с помощью параметра меню.
Запустите службы IPOPP:
~/drl/tools/services.sh start
~/drl/tools/services.sh status
Это завершает установку и настройку IPOPP.
Шаг 3. Создание продукта уровня 0 с помощью RT-STPS
Выполнение rt-stps в пакетном режиме для обработки файла, собранного .bin
на шаге 1
cd ~/rt-stps
./bin/batch.sh ./config/aqua.xml ~/aquadata/raw-2022-05-29T0957-0700.bin
Эта команда создает файлы рабочего набора данных уровня 0 в.pds
каталоге ~/rt-stps/data
.
Шаг 4. Создание продуктов более высокого уровня с помощью IPOPP
Прием данных для обработки
Скопируйте файлы PDS, созданные RT-STPS на предыдущем шаге, в каталог приема IPPP для дальнейшей обработки.
cp ~/rt-stps/data/* ~/drl/data/dsm/ingest/.
Запустите прием IPOPP, чтобы создать продукты, настроенные на панели мониторинга.
~/drl/tools/ingest_ipopp.sh
Ход выполнения можно просмотреть на панели мониторинга.
~/drl/tools/dashboard.sh
IPOPP будет производить выходные продукты в следующем каталоге:
cd ~/drl/data/pub/gsfcdata/aqua/modis/
Следующие шаги
Сведения о том, как легко развернуть подчиненные компоненты, необходимые для получения и обработки данных наблюдения за землей с помощью орбитальной станции Azure, см. в следующих статье:
Сквозная реализация, которая включает извлечение, загрузку, преобразование и анализ данных пробелов с помощью геопространственных библиотек и моделей ИИ с помощью Azure Synapse Analytics, см. в следующих статье: