Поделиться через

Обзор соединителей данных

  • Статья

Прием данных — это процесс, используемый для загрузки данных из одного или нескольких источников в базу данных KQL аналитики в режиме реального времени в Microsoft Fabric. После приема данные становятся доступными для запроса. Аналитика в режиме реального времени предоставляет несколько соединителей для приема данных.

В следующей таблице приведены сведения о доступных соединителях данных, средствах и интеграции.

Имя. Функция Поддерживает потоковую передачу? Тип Случаи использования
Apache Flink Проглатывание ✔️ Открытый исходный код Телеметрия
Apache Kafka Проглатывание ✔️ Открытый исходный код Журналы, телеметрия, временные ряды
Apache Log4J 2 Проглатывание ✔️ Открытый исходный код Журналы
Apache Spark Экспорт
Проглатывание		 Открытый исходный код Телеметрия
Apache Spark для Azure Synapse Analytics Экспорт
Проглатывание		 Собственные Телеметрия
Фабрика данных Azure Экспорт
Проглатывание		 Собственные Оркестрация данных
Центры событий Azure Проглатывание ✔️ Собственные Обмен сообщениями
Функции Azure Экспорт
Проглатывание		 Собственные Интеграция рабочих процессов
Azure Stream Analytics Проглатывание ✔️ Собственные Обработка событий
Fluent Bit Проглатывание ✔️ Открытый исходный код Журналы, метрики, трассировки
Logstash. Проглатывание Открытый исходный код Журналы
NLog Проглатывание ✔️ Открытый исходный код Данные телеметрии, журналы, метрики
Открытие телеметрии Проглатывание ✔️ Открытый исходный код Трассировки, метрики, журналы
Power Automate Экспорт
Проглатывание		 Собственные Оркестрация данных
Серилог Проглатывание ✔️ Открытый исходный код Журналы
Splunk Проглатывание Открытый исходный код Журналы
Универсальный сервер пересылки Splunk Проглатывание Открытый исходный код Журналы
Telegraf Проглатывание ✔️ Открытый исходный код Метрики, журналы

В следующей таблице перечислены доступные соединители и их возможности.

Apache Flink — это платформа и распределенный обработчик обработки для вычислений с отслеживанием состояния по несвязанным и привязанным потокам данных. Соединитель реализует приемник данных для перемещения данных в Azure Data Explorer и кластерах Flink. С помощью Azure Data Explorer и Apache Flink можно создавать быстрые и масштабируемые приложения, предназначенные для сценариев на основе данных. Например, машинное обучение (ML), извлечение-преобразование-загрузка (ETL) и Log Analytics.

Apache Kafka

Apache Kafka — это распределенная платформа потоковой передачи для создания конвейеров потоковой передачи в режиме реального времени, которые надежно перемещают данные между системами или приложениями. Kafka Connect — это инструмент для масштабируемой и надежной потоковой передачи данных между Apache Kafka и другими системами данных. Приемник Kafka служит соединителем из Kafka и не требует использования кода. Это золото сертифицировано Confluent - прошел комплексный обзор и тестирование качества, полноты компонентов, соответствия стандартам и производительности.

Apache Log4J 2

Log4J — это популярная платформа ведения журнала для приложений Java, поддерживаемых Apache Foundation. Log4j позволяет разработчикам управлять выходными инструкциями журнала с произвольной степенью детализации на основе имени средства ведения журнала, уровня ведения журнала и шаблона сообщения. Приемник Apache Log4J 2 позволяет передавать данные журнала в базу данных, где можно анализировать и визуализировать журналы в режиме реального времени.

Apache Spark

Apache Spark — это единый аналитический механизм для крупномасштабной обработки данных. Соединитель Spark — это открытый код проект, который может выполняться в любом кластере Spark. Он реализует источник данных и приемник данных для перемещения данных в кластеры Spark или из него. С помощью соединителя Apache Spark можно создавать быстрые и масштабируемые приложения, предназначенные для сценариев на основе данных. Например, машинное обучение (ML), извлечение-преобразование-загрузка (ETL) и Log Analytics. С помощью соединителя база данных становится допустимым хранилищем данных для стандартных операций источника и приемника Spark, таких как чтение, запись и записьStream.

Apache Spark для Azure Synapse Analytics

Apache Spark — это платформа параллельной обработки, которая поддерживает обработку в памяти для повышения производительности приложений аналитики больших данных. Apache Spark в Azure Synapse Analytics является одной из реализаций Apache Spark в облаке. Вы можете получить доступ к базе данных из Synapse Studio с помощью Apache Spark для Azure Synapse Analytics.

Azure Data Factory

Фабрика данных Azure (ADF) — это облачная служба интеграции данных, которая позволяет интегрировать разные хранилища данных и выполнять множество действий с данными.

Центры событий Azure

Центры событий Azure — это платформа потоковой передачи больших данных и служба приема событий. Вы можете настроить непрерывный прием из центров событий, управляемых клиентом.

Функции Azure

Функции Azure позволяют запускать бессерверный код в облаке по расписанию или в ответ на событие. С помощью входных и выходных привязок для Функции Azure можно интегрировать базу данных в рабочие процессы для приема данных и выполнения запросов к базе данных.

Azure Stream Analytics

Azure Stream Analytics — это аналитика в режиме реального времени и сложный механизм обработки событий, предназначенный для обработки больших объемов данных быстрой потоковой передачи из нескольких источников одновременно.

  • Функции: прием
  • Поддерживаемый тип приема: пакетная обработка, потоковая передача
  • Варианты использования: обработка событий
  • Документация. Получение данных из Azure Stream Analytics

Fluent Bit

Fluent Bit — это агент с открытым исходным кодом, который собирает журналы, метрики и трассировки из различных источников. Он позволяет фильтровать, изменять и агрегировать данные событий перед отправкой в хранилище.

Logstash

Подключаемый модуль Logstash позволяет обрабатывать события из Logstash в базу данных Azure Data Explorer для последующего анализа.

NLog

NLog — это гибкая и бесплатная платформа ведения журнала для различных платформ .NET, включая .NET standard. NLog позволяет записывать данные в несколько целевых объектов, таких как база данных, файл или консоль. С помощью NLog можно изменить конфигурацию ведения журнала во всплывающем режиме. Приемник NLog — это целевой объект для NLog, который позволяет отправлять сообщения журнала в базу данных. Подключаемый модуль предоставляет эффективный способ приемника журналов в кластер.

Открытие телеметрии

Соединитель OpenTelemetry поддерживает прием данных из многих получателей в базу данных. Он работает в качестве моста для приема данных, созданных открытой телеметрией в базе данных, путем настройки формата экспортированных данных в соответствии с вашими потребностями.

Power Automate

Power Automate — это служба оркестрации, используемая для автоматизации бизнес-процессов. Соединитель Power Automate (ранее Microsoft Flow) позволяет управлять потоками и расписаниями, отправлять уведомления и оповещения в рамках запланированной или триггерной задачи.

  • Функции: прием, экспорт
  • Поддерживаемый тип приема: пакетная обработка
  • Варианты использования: оркестрация данных
  • Документация. Соединитель Microsoft Power Automate

Серилог

Serilog — это популярная платформа ведения журнала для приложений .NET. Serilog позволяет разработчикам управлять выходными инструкциями журнала с произвольной степенью детализации на основе имени средства ведения журнала, уровня средства ведения журнала и шаблона сообщения. Приемник Serilog, также известный как добавление, передает данные журнала в базу данных, где можно анализировать и визуализировать журналы в режиме реального времени.

Splunk

Splunk Enterprise — это программная платформа, которая позволяет одновременно получать данные из многих источников. Надстройка Azure Data Explorer отправляет данные из Splunk в таблицу в кластере.

Универсальный сервер пересылки Splunk

Telegraf

Telegraf — это упрощенный агент с открытым кодом и минимальным объемом памяти для сбора, обработки и записи данных телеметрии, включая журналы, метрики и данные Интернета вещей. Telegraf поддерживает сотни подключаемых модулей ввода и вывода. Это средство широко используется и хорошо поддерживается сообществом разработчиков ПО с открытым кодом. Подключаемый модуль вывода служит соединителем из Telegraf и поддерживает прием данных из многих типов подключаемых модулей ввода в базу данных.