Пример ценообразования: копирование данных и преобразование с помощью Azure Databricks почасово
Область применения:
Фабрика данных Azure 
Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
В этом сценарии необходимо скопировать данные из AWS S3 в хранилище BLOB-объектов Azure и преобразовать данные с помощью Azure Databricks в почасовом расписании в течение 8 часов в день в течение 30 дней.
Цены, используемые в этом примере ниже, являются гипотетическими и не предназначены для того, чтобы подразумевать точные фактические цены. Затраты на чтение и запись и мониторинг не отображаются, так как обычно они являются незначительными и не влияют на общие затраты. Запуски действий также округляются до ближайших 1000 в оценках калькулятора цен.
Ознакомьтесь с калькулятором цен Azure для более конкретных сценариев и оцените будущие затраты на использование службы.
Настройка
Для выполнения сценария необходимо создать конвейер со следующими элементами.
- Одно действие копирования с входным набором данных для копирования данных из AWS S3 и набор выходных данных для данных хранилища Azure.
- Одно действие преобразования данных с помощью Azure Databricks.
- Один триггер расписания для выполнения конвейера каждый час. Если вы хотите запустить конвейер, его можно активировать немедленно или запланировать. Помимо самого конвейера каждый экземпляр триггера считается одним выполнением действия.
Оценка затрат
| Операций | Типы и единицы измерения |
|---|---|
| Выполнение конвейера | 3 Действия выполняются на выполнение (1 для запуска триггера, 2 для выполнения действия) = 720 операций, округляется, так как калькулятор позволяет увеличивать только 1000. |
| Предположение копирования данных: часы DIU на выполнение = 10 минут | 10 мин \ 60 мин * 4 Среда выполнения интеграции Azure (параметр DIU по умолчанию = 4) Дополнительные сведения об единицах интеграции данных и оптимизации производительности копирования см . в этой статье. |
| Выполнение допущения действия Databricks: внешние часы выполнения на выполнение = 10 мин | 10 мин \ 60 мин. Выполнение действия внешнего конвейера |
Пример калькулятора цен
Общая цена на сценарий за 30 дней: $41,01
Связанный контент
- Пример ценообразования: копирование данных из AWS S3 в хранилище BLOB-объектов Azure в течение 30 дней
- Пример ценообразования: копирование данных и преобразование с динамическими параметрами в течение 30 дней
- Пример ценообразования: запуск пакетов служб SSIS в среде выполнения интеграции Azure-SSIS
- Пример ценообразования: использование отладки потока данных сопоставления для обычного рабочего дня
- Пример ценообразования: преобразование данных в хранилище BLOB-объектов с помощью потоков данных сопоставления
- Пример ценообразования: интеграция данных в управляемой виртуальной сети Фабрика данных Azure
- Пример ценообразования: получение разностных данных из SAP ECC с помощью SAP CDC в потоках данных сопоставления