Общие сведения об интеграции

Многие соединители данных, средства и интеграции легко работают с платформой для приема, оркестрации, вывода и запроса данных. В этой статье представлен общий обзор доступных соединителей, инструментов и интеграции. Для каждого соединителя можно найти подробные сведения и ссылки на полную документацию.

Для страниц обзора для определенного типа интеграции выберите одну из следующих кнопок.

Интеграция данных

Интеграция запросов

Интеграция визуализации

Таблицы сравнения

В следующих таблицах приведены сведения о возможностях каждого элемента. Выберите вкладку, соответствующую соединителям или средствам и интеграции. Каждое имя элемента ссылается на его подробное описание.

В следующей таблице перечислены доступные соединители и их возможности.

Имя. Прием Экспорт (Export) Оркестрация Запрос
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Фабрика данных Azure ✔️ ✔️
Сетка событий Azure ✔️
Центры событий Azure ✔️
Функции Azure ✔️ ✔️
Центры Интернета вещей Azure ✔️
Azure Monitor ✔️
Azure Stream Analytics ✔️
Cribl Stream ✔️
Fluent Bit ✔️
JDBC ✔️
Логические приложения ✔️ ✔️ ✔️
Logstash. ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
Открытие телеметрии ✔️
Power Apps ✔️ ✔️
Мощная автоматизация ✔️ ✔️ ✔️
Серилог ✔️
Splunk ✔️
Универсальный сервер пересылки Splunk ✔️
Телеграф ✔️

Подробные описания

В следующих разделах приведены подробные описания соединителей, инструментов и интеграции. Выберите вкладку, соответствующую соединителям или средствам и интеграции.

Apache Kafka

Apache Kafka — это распределенная платформа потоковой передачи для создания конвейеров потоковой передачи в режиме реального времени, которые надежно перемещают данные между системами или приложениями. Kafka Connect — это инструмент для масштабируемой и надежной потоковой передачи данных между Apache Kafka и другими системами данных. Приемник Kafka служит соединителем из Kafka и не требует использования кода. Этот соединитель сертифицирован Confluent, что означает, что он проходит комплексный обзор и тестирование качества, полноты функций, соответствия стандартам и производительности.

Apache Flink — это платформа и распределенный обработчик обработки для вычислений с отслеживанием состояния по несвязанным и привязанным потокам данных. Соединитель реализует приемник данных для перемещения данных в Azure Data Explorer и кластерах Flink. С помощью Azure Data Explorer и Apache Flink можно создавать быстрые и масштабируемые приложения, предназначенные для сценариев на основе данных. Например, машинное обучение (ML), извлечение-преобразование-загрузка (ETL) и Log Analytics.

Apache Log4J 2

Log4J — это популярная платформа ведения журнала для приложений Java, поддерживаемых Apache Foundation. Разработчики Log4j могут управлять выходными инструкциями журнала с произвольной степенью детализации на основе имени средства ведения журнала, уровня ведения журнала и шаблона сообщения. С помощью приемника Apache Log4J 2 можно передавать данные журнала в базу данных, где можно анализировать и визуализировать журналы в режиме реального времени.

Apache Spark

Apache Spark — это единый аналитический механизм для крупномасштабной обработки данных. Соединитель Spark — это открытый код проект, который может выполняться в любом кластере Spark. Он реализует источник данных и приемник данных для перемещения данных в кластеры Spark или из него. С помощью соединителя Apache Spark можно создавать быстрые и масштабируемые приложения, предназначенные для сценариев на основе данных. Например, машинное обучение (ML), извлечение-преобразование-загрузка (ETL) и Log Analytics. С помощью коннектора ваша база данных становится допустимым хранилищем данных для стандартных операций источника и приёмника Spark, таких как чтение, запись и writeStream.

Apache Spark для Azure Synapse Analytics

Apache Spark — это платформа параллельной обработки, которая поддерживает обработку в памяти для повышения производительности приложений аналитики больших данных. Apache Spark в Azure Synapse Analytics является одной из реализаций Apache Spark в облаке. Доступ к базе данных из Synapse Studio можно получить с помощью Apache Spark для Azure Synapse Analytics.

Azure Cosmos DB (облачная база данных)

Azure Cosmos DB — это конвейер приема, который прослушивает канал изменений Cosmos DB и отправляет данные в базу данных.

Фабрика данных Azure

Фабрика данных Azure (ADF) — это облачная служба интеграции данных, которую можно использовать для интеграции различных хранилищ данных и выполнения действий по данным.

Сетку событий Azure

Обработка событий Event Grid — это конвейер, который прослушивает хранилище Azure и обновляет вашу базу данных для извлечения информации при возникновении подписанных событий. Вы можете сконфигурировать непрерывное поглощение из Azure Storage (Blob Storage и сервис ADLSv2), используя подписку на Azure Event Grid для уведомлений о создании или переименовании блоба и потоковой передачи уведомлений через Azure Event Hubs.

  • Функции: прием
  • Поддерживаемый тип приема: пакетная обработка, потоковая передача
  • Варианты использования: обработка событий
  • Документация.Подключение к данным сетки событий

Центры событий Azure

Центры событий Azure — это платформа потоковой передачи больших данных и служба приема событий. Вы можете настроить непрерывный прием из центров событий, управляемых клиентом.

Функции Azure

Функции Azure позволяет запускать бессерверный код в облаке по расписанию или в ответ на событие. Используя входные и выходные привязки для Функций Azure, вы можете интегрировать базу данных в рабочие процессы для приема данных и выполнения запросов к базе данных.

Центры Интернета вещей Azure

Центр Интернета вещей Azure — это управляемая служба, размещенная в облаке, которая действует как центральный узел сообщений для двунаправленной связи между вашим приложением Интернета вещей и устройствами, которыми оно управляет. Вы можете настроить непрерывный прием из управляемых клиентом Центр Интернета вещей, используя его центры событий, совместимые со встроенной конечной точкой сообщений устройства в облако.

Azure Monitor

Агент Azure Monitor может отправлять следующие данные виртуальной машины в Azure Data Explorer с помощью правила сбора данных:

  • Счетчики производительности
  • Журналы IIS
  • Журналы событий Windows
  • Журналы системы Linux
  • Пользовательские текстовые журналы
  • Пользовательские логи JSON

Дополнительные сведения см. в статье Сбор данных из виртуальных машин в Azure Data Explorer.

Azure Stream Analytics

Azure Stream Analytics — это аналитика в режиме реального времени и сложный механизм обработки событий, предназначенный для обработки больших объемов данных быстрой потоковой передачи из нескольких источников одновременно.

  • Функции: прием
  • Поддерживаемый тип приема: пакетная обработка, потоковая передача
  • Варианты использования: обработка событий
  • Документация.Прием данных из Azure Stream Analytics

Cribl Stream

Поток Cribl — это обработчик обработки, который безопасно собирает, обрабатывает и передает данные событий компьютера из любого источника. Он позволяет анализировать и обрабатывать эти данные для любого назначения для анализа.

  • Функции: прием
  • Поддерживаемый тип приема: пакетная обработка, потоковая передача
  • Варианты использования: обработка данных компьютера, включая журналы, метрики, данные инструментирования
  • Документация.Прием данных из Cribl Stream в Azure Data Explorer

Программное обеспечение Fluent Bit

Fluent Bit — это агент с открытым исходным кодом, который собирает журналы, метрики и трассировки из различных источников. Он позволяет фильтровать, изменять и агрегировать данные событий перед отправкой в хранилище.

JDBC

Java Database Connectivity (JDBC) — это API Java, используемый для подключения к базам данных и выполнения запросов. JDBC можно использовать для подключения к Azure Data Explorer.

Логические приложения

С помощью соединителя Microsoft Logic Apps можно автоматически выполнять запросы и команды в рамках запланированной или триггерной задачи.

  • Функции: прием, экспорт
  • Поддерживаемый тип приема: пакетная обработка
  • Варианты использования: оркестрация данных
  • Документация:Microsoft Logic Apps и Azure Data Explorer

Logstash

Подключаемый модуль Logstash позволяет обрабатывать события из Logstash в базу данных Azure Data Explorer для последующего анализа.

Matlab

MATLAB — это платформа программирования и числовых вычислений, используемая для анализа данных, разработки алгоритмов и создания моделей. Маркер авторизации можно получить в MATLAB для запроса данных в Azure Data Explorer.

NLog

NLog — это гибкая и бесплатная платформа ведения журнала для различных платформ .NET, включая .NET standard. NLog позволяет записывать данные в несколько целевых объектов, таких как база данных, файл или консоль. С помощью NLog можно изменить конфигурацию ведения журнала во время полета. Приемник NLog — это целевой объект для NLog, который позволяет отправлять сообщения журнала в базу данных. Подключаемый модуль предоставляет эффективный способ приемника журналов в кластер.

ODBC (Интерфейс открытой базы данных)

Открытое подключение к базе данных (ODBC) - широко распространенный интерфейс прикладного программирования (API) для доступа к базе данных. Azure Data Explorer совместим с подмножеством протокола связи SQL Server (MS-TDS). Эта совместимость позволяет использовать драйвер ODBC для SQL Server с Azure Data Explorer.

  • Функции: прием
  • Поддерживаемый тип приема: пакетная обработка, потоковая передача
  • Варианты использования: телеметрия, журналы, метрики
  • Документация.Подключение к Azure Data Explorer с помощью ODBC

Открытие телеметрии

Соединитель OpenTelemetry поддерживает прием данных из многих получателей в базу данных. Он работает в качестве моста для приема данных, созданных открытой телеметрией в базе данных, путем настройки формата экспортированных данных в соответствии с вашими потребностями.

Power Apps (Приложения Power)

Power Apps — это набор приложений, служб, соединителей и платформы данных, которая обеспечивает быструю среду разработки приложений для создания пользовательских приложений, которые подключаются к бизнес-данным. Соединитель Power Apps полезен, если у вас есть большая и растущая коллекция потоковых данных в Azure Data Explorer и хотите создать низкофункциональное приложение для использования этих данных.

Power Automate (платформа автоматизации рабочих процессов)

Power Automate — это служба оркестрации, используемая для автоматизации бизнес-процессов. Соединитель Power Automate (ранее Microsoft Flow) позволяет управлять потоками и расписаниями, отправлять уведомления и оповещения в рамках запланированной или триггерной задачи.

  • Функции: прием, экспорт
  • Поддерживаемый тип приема: пакетная обработка
  • Варианты использования: оркестрация данных
  • Документация.Соединитель Microsoft Power Automate

Серилог

Serilog — это популярная платформа ведения журнала для приложений .NET. С помощью Serilog разработчики могут управлять выводом инструкций журнала с произвольной степенью детализации на основе имени средства ведения журнала, уровня ведения журнала и шаблона сообщения. Приемник Serilog, также известный как добавление, передает данные журнала в базу данных, где можно анализировать и визуализировать журналы в режиме реального времени.

Splunk

Splunk Enterprise — это программная платформа, которая позволяет одновременно получать данные из многих источников. Надстройка Azure Data Explorer отправляет данные из Splunk в таблицу в кластере.

Универсальный сервер пересылки Splunk

Телеграф

Telegraf — это упрощенный агент с открытым исходным кодом с минимальным объемом памяти для сбора, обработки и записи данных телеметрии, включая журналы, метрики и данные Интернета вещей. Telegraf поддерживает сотни подключаемых модулей ввода и вывода. Это средство широко используется и хорошо поддерживается сообществом разработчиков ПО с открытым кодом. Подключаемый модуль вывода служит соединителем из Telegraf и поддерживает прием данных из многих типов подключаемых модулей ввода в базу данных.

Связанный контент

  • Last updated on