Импорт и запрос данных с помощью надстройки Azure Databricks Excel

Это важно

Эта функция доступна в общедоступной предварительной версии.

Замечание

Надстройка Azure Databricks Excel недоступна в регионах Azure для государственных организаций или Azure China.

Надстройка Azure Databricks Excel соединяет ваше рабочее пространство Azure Databricks с Microsoft Excel, передавая управляемые данные Lakehouse напрямую в ваши таблицы.

На этой странице описывается, как использовать надстройку Azure Databricks Excel для импорта и анализа данных из Azure Databricks в Excel. Вы можете просматривать и импортировать таблицы Azure Databricks с помощью интуитивно понятного интерфейса, в котором не требуется знаний SQL. Хотя надстройка предлагает гибкость для выполнения пользовательских запросов SQL, это необязательно.

Необходимые условия

Выбор хранилища SQL

Выбор используемого хранилища SQL:

  1. В правом верхнем углу области надстройки Azure Databricks в Excel щелкните раскрывающееся меню.
  2. Выберите хранилище SQL, которое вы хотите использовать.

Импорт данных из Azure Databricks

Импортируйте данные из Azure Databricks в Excel, выбрав таблицу, написав SQL-запрос или импортируя сводную таблицу.

Замечание

Представления метрик каталога Unity можно импортировать с помощью сводных таблиц, SQL-запросов и пользовательских функций.

Создайте сводные таблицы

Чтобы создать сводную таблицу из таблиц и представлений каталога Unity в Excel:

  1. В области надстройки Azure Databricks Excel на вкладке импорта New выберите Select data в качестве метода Import.

  2. В разделе "Каталог" выберите таблицу, из которой нужно создать сводную таблицу, и нажмите кнопку "Выбрать".

  3. Установите флажок "Сводные данные ".

  4. Настройте строку, столбец и значение , перетащив каждое поле в правильную область.

  5. (Необязательно) Добавление фильтра. Дополнительные сведения о фильтрах см. в разделе "Фильтрация импортированных данных".

  6. (Необязательно) Чтобы просмотреть пример импорта, нажмите кнопку "Предварительный просмотр".

  7. (Необязательно) Задайте ограничение строки для импорта.

  8. Импортируйте результаты. Выберите один из следующих вариантов:

    • Щелкните Сохранение и импорт, чтобы сохранить запрос для повторного использования в книге Excel и импортировать результаты.
    • Щелкните стрелку вниз, а затем нажмите кнопку "Импорт результатов ", чтобы импортировать результаты без сохранения запроса. Используйте этот параметр, если вы хотите продолжить редактирование импорта.

    Замечание

    Сводные таблицы можно импортировать только на новый лист.

При работе с метриками каталога Unity в сводных таблицах может отображаться Sum(measure) в результатах. Это ожидаемое поведение и не происходит дополнительной статистической обработки. Excel требует, чтобы значения имели функцию агрегирования, но поскольку данные содержат уникальные значения, агрегирование не происходит.

Выбор таблиц

Данные импортируются как объект таблица Excel. Вы можете переместить таблицу или переименовать лист, а надстройка Excel обновляет данные в новом расположении.

Чтобы импортировать данные из таблицы Azure Databricks, сделайте следующее:

  1. В области надстройки Azure Databricks Excel на вкладке импорта New выберите Select data в качестве метода Import.
  2. Выберите таблицу для импорта из обозревателя каталогов. Каталог можно фильтровать по владельцу, состоянию сертификации и другим свойствам с помощью значка Ползунка.
  3. Щелкните Выбрать.
  4. В разделе "Столбцы" щелкните стрелку вниз и отмените выбор столбцов, которые вы не хотите импортировать, или оставьте все столбцы выбранными для импорта всей таблицы.
  5. (Необязательно) Добавление фильтра. Дополнительные сведения о фильтрах см. в разделе "Фильтрация импортированных данных".
  6. (Необязательно) Чтобы просмотреть пример импорта, нажмите кнопку "Предварительный просмотр".
  7. (Необязательно) Задайте ограничение строки, чтобы ограничить количество импортированных строк.
  8. (Необязательно) Чтобы определить импортированные данные, введите имя импорта.
  9. В разделе "Назначение вывода" выберите импорт данных на новый лист или текущий лист. Если вы импортируете на текущий лист, данные начинаются с введенной ссылки на ячейку (по умолчанию A1).
  10. Импортируйте результаты. Выберите один из следующих вариантов.
    • Щелкните Сохранение и импорт, чтобы сохранить запрос для повторного использования в книге Excel и импортировать результаты.
    • Щелкните стрелку вниз, а затем нажмите кнопку "Импорт результатов ", чтобы импортировать результаты без сохранения запроса. Используйте этот параметр, если вы хотите продолжить редактирование импорта.

Написание запросов SQL

Метод импорта написание SQL поддерживает функции и хранимые процедуры SQL.

Чтобы запустить пользовательские sql-запросы к рабочей области Azure Databricks, сделайте следующее:

  1. В области надстройки Azure Databricks Excel на вкладке импорта New import выберите Write SQL в качестве метода Import.

  2. Введите имя запроса, чтобы определить его позже.

  3. Напишите новый запрос или используйте существующий запрос из рабочей области Azure Databricks.

    • Напишите SQL-запрос в редакторе. Вы можете запросить любую таблицу в каталоге Unity, к которым у вас есть разрешения на доступ.

      • Щелкните значок данных. Обозреватель каталогов для просмотра схем и таблиц.
    • Чтобы использовать запрос из рабочей области Azure Databricks или существующего запроса в Excel, щелкните Folder icon. папку. Если вы используете существующий запрос из рабочей области Azure Databricks, изменения, внесенные в Excel, не отражаются на Azure Databricks.

      Замечание

      Запросы должны быть явно сохранены в Azure Databricks с помощью кнопки Save в правом верхнем углу редактора запросов, прежде чем они появятся в Excel.

  4. (Необязательно) Чтобы добавить параметры запроса, нажмите кнопку +Добавить рядом с параметрами. Щелкните параметр и введите имя параметра и значение параметра.

    • Для значения параметра можно ввести определенное значение или щелкнуть поле и кнопку со стрелкой, чтобы указать ссылку на ячейку. Выберите ячейку или диапазон ячеек и щелкните стрелку, чтобы автоматически заполнить значение параметра.
  5. В разделе "Назначение вывода" выберите импорт данных на новый лист или текущий лист. Если вы импортируете на текущий лист, данные начинаются с введенной ссылки на ячейку (по умолчанию A1).

  6. Чтобы просмотреть результаты запроса, нажмите кнопку "Выполнить".

  7. Импортируйте результаты. Выберите один из следующих вариантов:

    • Щелкните Сохранение и импорт, чтобы сохранить запрос для повторного использования в книге Excel и импортировать результаты.
    • Щелкните стрелку вниз, а затем нажмите кнопку "Импорт результатов ", чтобы импортировать результаты без сохранения запроса. Используйте этот параметр, если вы хотите продолжить редактирование импорта.

Можно также использовать пользовательские функции для добавления параметров запроса. См. Write SQL.

Фильтрация импортированных данных

При импорте данных, выбрав таблицу или создав сводную таблицу, можно применить фильтры, чтобы сузить результаты.

Строковые фильтры нечувствительны к регистру и применяются каскадно. При применении более одного фильтра доступные значения для каждого фильтра зависят от выбора в предыдущих фильтрах. Например, если фильтровать по стране и добавить фильтр по городу, фильтр городов показывает только города внутри выбранной страны.

Чтобы задать фильтры, щелкните + рядом с фильтрами, выберите столбец, к которому нужно применить фильтр, а затем введите условие фильтра. Для фильтров, требующих значения, можно выполнить одно из следующих действий:

  • Введите значение .
  • Чтобы сгенерировать список до 5 000 различных значений фильтров, можно использовать:
    1. Нажмите кнопку " Значения", а затем "Получить значения фильтра".
    2. Щелкните стрелку вниз и выберите одно или несколько значений из списка.
  • Чтобы использовать ссылку на ячейку:
    1. Щелкните Ячейки.
    2. Выберите ячейку или диапазон ячеек.
    3. Щелкните курсор значок щелчка курсора.

В следующей таблице описываются все доступные фильтры и ожидаемые входные данные.

Фильтр Ожидаемые входные данные Описание
IS NULL Нет Находит строки, в которых значение столбца равно NULL.
IS NOT NULL Нет Находит строки, в которых значение столбца не равно NULL.
EQUALS Одно число или текстовая строка Находит строки, где значение столбца точно соответствует указанному значению.
NOT EQUALS Одно число или текстовая строка Находит строки, в которых значение столбца не соответствует указанному значению.
STARTS WITH Одна текстовая строка Находит строки, в которых начинается значение столбца с указанного текста.
ENDS WITH Одна текстовая строка Находит строки, в которых значение столбца заканчивается указанным текстом.
CONTAINS Одна текстовая строка Находит строки, в которых значение столбца содержит указанный текст в любом месте строки.

Вычисляемые поля

Вычисленное поле — это столбец, полученный из существующих данных, таких как profit вычисленные из revenue и cost. Надстройка Excel не поддерживает создание вычисленных полей с помощью метода импорта данных Select. Чтобы добавить вычисленное поле, используйте один из следующих методов:

  • Write SQL: используйте метод импорта Write SQL для вычисления вычисляемых столбцов с помощью любого выражения SQL. См. Написание SQL-запросов.
  • Genie One: Попросите Genie One вернуть ваши данные с нужными рассчитанными столбцами, затем импортируйте результаты. См. Использовать Genie One в Microsoft Excel.

Databricks рекомендует использовать Genie One для вычисляемых полей.

Использование пользовательских функций Azure Databricks в Excel

Надстройка Excel предоставляет пользовательские функции, которые можно использовать в формулах Excel для импорта данных из Azure Databricks.

Выбор таблицы

Функция DATABRICKS.Table импортирует данные из таблицы каталога Unity.

Синтаксис

=DATABRICKS.Table(catalog_name.schema_name.table_name, [column1, ...], [limit])

Параметры:

  • catalog_name.schema_name.table_name (обязательно): полностью квалифицированное имя таблицы.
  • columns (необязательно): массив имен столбцов для импорта. Опустить этот параметр для импорта всех столбцов.
  • limit (необязательно): максимальное количество строк для импорта. Опустите этот параметр для импорта всех строк до ограничения в 10 МБ.

Example:

=DATABRICKS.Table("main.default.customers", {"customer_id", "customer_name"}, 100)

Эта формула импортирует столбцы customer_id и customer_name из таблицы main.default.customers, ограничено 100 строками.

Написать SQL

Функция DATABRICKS.SQL запускает SQL-запрос, использующий параметры запроса и возвращающий результаты.

Синтаксис

Укажите параметры с помощью значений.

=DATABRICKS.SQL("query_text", {parameter1_name, parameter1_value; ...})

Укажите параметры с помощью диапазона ячеек. Определите параметры имени и значения в ячейках, которые находятся в одной строке.

=DATABRICKS.SQL("query_text", {param_name_cell: param_value_cell; ...})

Параметры:

  • query_text (обязательно): выполнение SQL-запроса.
  • parameters (обязательно): сопоставление значений параметров для замены в запрос.

Example:

=DATABRICKS.SQL("SELECT * FROM samples.bakehouse.sales_suppliers WHERE longitude > :long_param AND latitude > :lat_param LIMIT 10", {"long_param",20; "lat_param",10})

=DATABRICKS.SQL("SELECT * FROM samples.bakehouse.sales_suppliers WHERE city = :city", M4:N4)

Эта формула выполняет запрос, который фильтрует данные о продажах по longitude и latitude, используя указанные значения параметров.

Управление запросами

Управление существующими импортами на странице "Импорт".

Изменение существующего импорта

Изменение существующего импорта:

  1. В области надстройки Azure Databricks в Excel перейдите на вкладку Imports.
  2. Найдите импорт, который требуется изменить.
  3. Щелкните меню с тремя точками рядом с импортом.
  4. Нажмите кнопку "Изменить", чтобы изменить импорт.

Обновление данных

Надстройка Excel не обновляет данные автоматически. Способ обновления данных зависит от того, как вы их импортировали. Данные, импортированные с помощью метода импорта (выберите таблицу, напишите SQL-запрос или создайте сводную таблицу) обновляется на вкладке "Импорт". Данные, импортированные с помощью пользовательской функции, необходимо пересчитывать.

Обновите импорт с помощью последних значений из Azure Databricks. Надстройка снова запускает исходный запрос или выбор таблицы и обновляет лист с свежими данными:

  • Чтобы обновить один импорт:
    1. В области надстройки Azure Databricks в Excel перейдите на вкладку Imports.
    2. Щелкните значок обновления рядом с импортом, который вы хотите обновить.
  • Чтобы обновить все импорты, выполните приведенные далее действия.
    1. Щелкните Refresh All в области дополнения Azure Databricks.

Это важно

При обновлении данных надстройка Excel очищает все существующие данные в указанной таблице и перезагружает новейшие данные из Azure Databricks. Все настраиваемые столбцы, добавленные в таблицу, удаляются во время процесса обновления.

Данные, импортированные из пользовательских функций, например DATABRICKS.Table и DATABRICKS.SQLне обновляются при повторном открытии книги. Чтобы обновить данные, импортированные из пользовательских функций, войдите в надстройку Azure Databricks, а затем либо пересчитайте книгу, либо измените значение, на которое ссылается пользовательская функция.

Последствия совместного использования

При совместном использовании книги Excel, которая содержит данные из Azure Databricks, рассмотрите следующие последствия для доступа к данным и безопасности:

Видимость импортированных данных

Когда получатель обновляет импорт, надстройка использует разрешения каталога Unity получателя. Если у них нет доступа к базовым данным, обновление завершается ошибкой.

Для книг, в которых конфиденциальность данных является проблемой, можно использовать следующее решение:

  1. Создайте рабочую книгу со всеми необходимыми формулами и импортируемыми данными.
  2. Удалите импортированные данные из листа.
  3. Поделитесь книгой с получателем.
  4. Пусть получатель обновит данные.

Получатель видит только данные, к которых у них есть доступ на основе разрешений каталога Unity.

Доступ к рабочим областям и ресурсам данных

  • Пользователи без доступа к объектам каталога Unity, на которые ссылается книга, не могут обновлять данные. Чтобы обновить данные, пользователи должны иметь разрешения на чтение базовых таблиц и представлений в каталоге Unity.
  • Пользователи должны иметь доступ к базовой таблице в Azure Databricks для изменения существующих импортов.

Видимость запросов

Пользователи с доступом к книге редактирования могут просматривать запросы, используемые для создания данных с помощью надстройки Azure Databricks, даже если у них нет доступа к базовым данным в каталоге Unity.

Альтернатива сохранению в качестве шаблона

Надстройка Azure Databricks Excel не поддерживает сохранение книги в качестве шаблона, но вы можете предоставить общий доступ к книге, чтобы другие пользователи могли видеть импортированные запросы. См. раздел Последствия совместного использования для получения информации об аспектах доступа к данным и безопасности.

В качестве обходного решения для совместного использования книги в качестве шаблона выполните одно из следующих действий:

  • Поделиться локальным файлом с другим пользователем. Получатель может переименовать файл и просмотреть сохраненные запросы.
  • В SharePoint поделитесь книгой с другим пользователем. Когда другой пользователь скачивает файл, сохраненные импорты сохраняются.

Ограничения

  • Пользовательские функции: для пользовательских функций результаты запросов ограничены 25 МиБ из-за ограничений API выполнения SQL.
  • Загрузка данных: Загрузка данных может завершиться ошибкой, если любая ячейка в рабочей книге находится в режиме редактирования.
  • Excel ограничение строки рабочего стола: Excel Desktop поддерживает не более 1 048 576 строк на лист.
  • ограничение размера файла Excel для Интернета: Excel для Интернета поддерживает максимальный размер файла книги примерно в 25 МБ для просмотра и редактирования.