Сводка

  • 2 мин
  • Очереди сообщений — это механизмы обмена данными, которые используются для обеспечения непрямого асинхронного обмена данными за счет секционирования и хранения сообщений в брокерах. Это позволяет легко выполнять горизонтальное масштабирование в слое обмена сообщениями.
  • Kafka — это многоканальная очередь сообщений, разработанная в LinkedIn. Потребители этой очереди могут подписываться на темы, а сообщения поступают в очередь в порядке их отправления.
  • Системы потоковой обработки работают с бесконечным, часто быстро изменяющимся набором входящих записей, таких как выходные данные очереди сообщений. Чтобы сократить задержки, для систем такого рода разработали набор простых правил.
  • Задания потоковой обработки могут выполняться без отслеживания состояния (применение предварительно установленных правил к входящим данным) или с отслеживанием состояния (применение постоянно меняющихся правил в зависимости от прошлых данных и текущего состояния).
  • Samza — это платформа потоковой обработки, разработанная в LinkedIn. По умолчанию Samza запускает контейнеры cgroups, распределенные по времени в YARN, и считывает данные из потока Kafka, позволяя программистам использовать настраиваемый API для определения задач потоковой передачи. Если требуется локальное состояние, используется внедренный экземпляр RocksDB.
  • Лямбда- и каппа-архитектуры — это два метода работы с конвейерами данных с различными требованиями к задержке.