Распределенные вычисления в облаке: MapReduce
MapReduce стал прорывом в обработке больших данных, набрал большую популярность и был значительно улучшен. Узнайте, как работает MapReduce.
Цели обучения
В этом модуле вы узнаете, как выполнять следующие задачи:
- Какая модель распределенного программирования лежит в основе MapReduce.
- Как MapReduce использует параллелизм данных.
- Какие входные и выходные данные связаны с задачами map и reduce.
- Что такое эластичность задач и почему она важна для эффективного планирования заданий.
- Как работают стратегии планирования задач map и reduce в Hadoop MapReduce.
- Из каких элементов состоит архитектура YARN и какова роль каждого элемента.
- Общие сведения о жизненном цикле задания MapReduce в YARN.
- Сравнение архитектур и распределителей ресурсов YARN и предыдущей версии Hadoop MapReduce.
- Чем планирование заданий и задач отличается в YARN и предыдущей версии Hadoop MapReduce.
В партнерстве с доктором Маждом Сакром (Majd Sakr) и Университетом Карнеги — Меллона.
Предварительные требования
- Понимание темы облачных вычислений, в том числе знакомство с моделями и некоторыми поставщиками облачных служб.
- Знание технологий, лежащих в основе облачных вычислений.
- Представление о том, как поставщики облачных служб управляют оплатой и выставлением счетов за использование облака.
- Знание понятия центров обработки данных и их назначения.
- Знания в области настройки, поддержки и подготовки центров обработки данных.
- Представление о том, как подготавливаются и измеряются облачные ресурсы.
- Знакомство с понятием виртуализации.
- Знание различных типов виртуализации.
- Представление о виртуализации ЦП.
- Представление о виртуализации памяти.
- Представление о виртуализации ввода-вывода.
- Знания различных типов данных и об их хранении
- Знакомство с распределенными файловыми системами и принципами их работы
- Знакомство с базами данных NoSQL и хранилищем объектов, а также с принципами их работы
- Представление о том, что такое распределенное программирование и почему оно подходит для облачной среды