Поделиться через


Копирование данных из Shopify с помощью Фабрики данных Azure или Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье описывается, как с помощью действия копирования в Фабрике данных Azure и конвейерах Azure Synapse Analytics копировать данные из Shopify. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования.

Внимание

Соединитель Shopify версии 1.0 находится на этапе удаления. Рекомендуется обновить соединитель Shopify с версии 1.0 до версии 2.0.

Поддерживаемые возможности

Соединитель Shopify поддерживается для перечисленных ниже возможностей.

Поддерживаемые возможности IR
Действие копирования (источник/-) (1) (2)
Действие поиска (1) (2)

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников/приемников, см. в таблице Поддерживаемые хранилища данных.

Служба предоставляет встроенный драйвер для обеспечения подключения, поэтому вам не нужно вручную устанавливать какой-либо драйвер с помощью этого соединителя.

Соединитель поддерживает версии Windows в этой статье.

Свойство столбца billing_on было удалено из таблиц Recurring_Application_Charges и UsageCharge из-за официального отмены billing_on поля Shopify.

Замечание

Для версии 2.0 имена столбцов сохраняют структуру Shopify GraphQL, например data.customers.edges.node.createdAt. Для версии 1.0 имена столбцов используют упрощенные имена, например Created_At.

Начало работы

Для выполнения действия копирования с конвейером можно использовать один из следующих средств или пакетов SDK:

Создание связанной службы для Shopify с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу для Shopify с использованием пользовательского интерфейса портала Azure.

  1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

  2. Выполните поиск по запросу “Shopify” и выберите соединитель Shopify.

    Снимок экрана: соединитель Shopify.

  3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

    Снимок экрана: конфигурация связанной службы для Shopify.

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к соединителю Shopify.

Свойства связанной службы

Соединитель Shopify теперь поддерживает версию 2.0. Ознакомьтесь с этим разделом , чтобы обновить версию соединителя Shopify с версии 1.0. Чтобы узнать подробности о свойстве, см. соответствующие разделы.

Версия 2.0

Связанная служба Shopify поддерживает следующие свойства при применении версии 2.0:

Свойство Описание: Обязательное поле
type Для свойства type необходимо задать значение Shopify. Да
version Версия, которую вы указали. Значение равно 2.0. Да
host Конечная точка сервера Shopify (mystore.myshopify.com). Да
accessToken Маркер доступа для API, который может использоваться для доступа к данным Shopify. Срок действия маркера не ограничен, если используется автономный режим. Пометьте это поле как SecureString, чтобы безопасно хранить его, или добавьте ссылку на секрет, хранящийся в Azure Key Vault. Да

Пример:

{
    "name": "ShopifyLinkedService",
    "properties": {
        "type": "Shopify",
        "version": "2.0",
        "typeProperties": {
            "host" : "mystore.myshopify.com",
            "accessToken": {
                 "type": "SecureString",
                 "value": "<accessToken>"
            }
        }
    }
}

Версия 1.0

Связанная служба Shopify поддерживает следующие свойства при применении версии 1.0:

Свойство Описание: Обязательное поле
type Для свойства type необходимо задать значение Shopify. Да
host Конечная точка сервера Shopify (mystore.myshopify.com). Да
accessToken Маркер доступа для API, который может использоваться для доступа к данным Shopify. Срок действия маркера не ограничен, если используется автономный режим. Пометьте это поле как SecureString, чтобы безопасно хранить его, или добавьте ссылку на секрет, хранящийся в Azure Key Vault. Да
useEncryptedEndpoints Указывает, шифруются ли конечные точки источника данных с помощью протокола HTTPS. Значение по умолчанию — true. No
useHostVerification Указывает, следует ли требовать, чтобы имя узла в сертификате сервера совпадало с именем узла сервера при подключении по протоколу TLS. Значение по умолчанию — true. No
usePeerVerification Указывает, следует ли проверять удостоверение сервера при подключении по протоколу TLS. Значение по умолчанию — true. No

Пример:

{
    "name": "ShopifyLinkedService",
    "properties": {
        "type": "Shopify",
        "typeProperties": {
            "host" : "mystore.myshopify.com",
            "accessToken": {
                 "type": "SecureString",
                 "value": "<accessToken>"
            }
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе содержится список свойств, поддерживаемых набором данных Shopify.

Чтобы скопировать данные из Shopify, задайте для свойства type набора данных значение ShopifyObject. Поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
type Свойство type для набора данных должно иметь значение ShopifyObject Да
tableName Имя таблицы.

Для версии 2.0 имена таблиц сохраняют структуру Shopify GraphQL, например customers.

Для версии 1.0 имена таблиц используют упрощенные имена с префиксами, например "Shopify"."Customers".
Нет (если запрос указан в источнике активности)

Замечание

Столбец тегов нельзя считывать при указании tableName в наборе данных. Чтобы прочитать этот столбец, используйте query.

Пример

{
    "name": "ShopifyDataset",
    "properties": {
        "type": "ShopifyObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Shopify linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. В этом разделе содержится список свойств, поддерживаемых источником Shopify.

Shopify в качестве источника

Чтобы скопировать данные из Shopify, задайте для типа источника в действии копирования значение ShopifySource. В разделе source действия копирования поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
type Свойство type источника действия копирования должно иметь значение ShopifySource. Да
query Для версии 2.0 используйте запрос GraphQL для чтения данных. Дополнительные сведения об этом запросе см. в этой статье. Обратите внимание, что запрос на страницы поддерживается только для внешних таблиц, и каждая запись во внешней таблице может содержать до 250 записей внутренней таблицы.

Для версии 1.0 используйте настраиваемый SQL-запрос для чтения данных. Например: "SELECT * FROM "Products" WHERE Product_Id = '123'".
Нет (если для набора данных задано свойство tableName)

Пример:

"activities":[
    {
        "name": "CopyFromShopify",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Shopify input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ShopifySource"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Сопоставление типов данных для Shopify

При копировании данных из Shopify следующие сопоставления применяются из типов данных Shopify к внутренним типам данных, используемым службой. Чтобы узнать, как действие копирования сопоставляет исходную схему и типы данных с приемником, см. раздел Сопоставление схем и типов данных.

Тип данных Shopify Тип данных промежуточной службы (для версии 2.0) Тип данных промежуточной службы (для версии 1.0)
Boolean Boolean Boolean
Int Int Int
UnsignedInt64 UInt64 UInt64
Decimal Decimal Decimal
Плавать Double Double
String String String
Date Date Date
DateTime DateTime DateTime
Идентификатор String String
URL String String
Код страны String String
Другие пользовательские типы данных String String

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Жизненный цикл и обновление соединителя Shopify

В следующей таблице показаны этап выпуска и журналы изменений для различных версий соединителя Shopify:

Версия Этап выпуска Журнал изменений
Версия 1.0 Removed Неприменимо.
Версия 2.0 Общая доступность • Имена таблиц и столбцов сохраняют структуру GraphQL Shopify.

• Поддержка только запроса GraphQL.

useEncryptedEndpoints, useHostVerificationusePeerVerification не поддерживаются в связанной службе.

Обновление соединителя Shopify с версии 1.0 до версии 2.0

  1. На странице "Изменить связанную службу" выберите версию 2.0. Дополнительные сведения см. в свойствах связанной службы версии 2.0.
  2. Для версии 2.0 обратите внимание, что имена таблиц и столбцов сохраняют структуру Shopify GraphQL.
  3. Если вы используете SQL-запрос в источнике действия копирования или в активности поиска, которые ссылаются на связанную службу версии 1.0, необходимо преобразовать их в запросы GraphQL. Дополнительные сведения об этом запросе см. в этой статье

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия Copy, приведен в таблице Поддерживаемые хранилища данных и форматы.