Получение потоковой передачи данных в Lakehouse и доступ с помощью конечной точки SQL
В этом кратком руководстве объясняется, как создать определение задания Spark, которое содержит код Python со структурированной потоковой передачей Spark для получения данных в lakehouse, а затем их обслуживания через конечную точку SQL. После выполнения этого краткого руководства вы получите определение задания Spark, которое выполняется непрерывно, а конечная точка SQL может просматривать входящие данные.
Важно!
Microsoft Fabric в настоящее время находится на этапе предварительной версии. Эти сведения относятся к предварительной версии продукта, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении предоставленной здесь информации.
Создание скрипта Python
Используйте следующий код Python, который использует структурированную потоковую передачу Spark для получения данных в таблице Lakehouse.
Сохраните скрипт как файл Python (PY) на локальном компьютере.
Создание lakehouse
Чтобы создать lakehouse, выполните следующие действия.
В Microsoft Fabric выберите интерфейс Synapse Инжиниринг данных.
Перейдите в нужную рабочую область или при необходимости создайте новую.
Чтобы создать lakehouse, щелкните значок Lakehouse в разделе Создать в области main.
Введите имя lakehouse и нажмите кнопку Создать.
Создание определения задания Spark
Чтобы создать определение задания Spark, выполните следующие действия.
В той же рабочей области, в которой вы создали lakehouse, щелкните значок Создать в меню слева.
В разделе "Инжиниринг данных" выберите Определение задания Spark.
Введите имя определения задания Spark и выберите Создать.
Выберите Отправить и выберите файл Python, созданный на предыдущем шаге.
В разделе Справочник по Lakehouse выберите созданный объект Lakehouse.
Настройка политики повторных попыток для определения задания Spark
Чтобы задать политику повторных попыток для определения задания Spark, выполните следующие действия.
В верхнем меню выберите значок Параметры .
Откройте вкладку Оптимизация и установите триггер политики повторных попытоквключено.
Определите максимальное число повторных попыток или проверка Разрешить неограниченное количество попыток.
Укажите время между каждой попыткой повтора и нажмите кнопку Применить.
Выполнение и мониторинг определения задания Spark
В верхнем меню выберите значок Выполнить .
Проверьте, успешно ли отправлено и запущено ли определение задания Spark .
Просмотр данных с помощью конечной точки SQL
В представлении рабочей области выберите lakehouse.
В правом углу выберите Lakehouse и конечная точка SQL.
В представлении конечной точки SQL в разделе Таблицы выберите таблицу, которая используется скриптом для получения данных. Затем можно просмотреть данные из конечной точки SQL.