Использование записных книжек Microsoft Fabric

Записная книжка Microsoft Fabric — это основной элемент кода для разработки заданий Apache Spark и экспериментов машинного обучения. Это веб-интерактивная поверхность, используемая специалистами по обработке и анализу данных, для написания кода с помощью расширенных визуализаций и текста Markdown. Инженеры данных записывают код для приема данных, подготовки данных и преобразования данных. Специалисты по обработке и анализу данных также используют записные книжки для создания решений машинного обучения, включая создание экспериментов и моделей, отслеживание моделей и развертывание.

Записная книжка Fabric позволяет:

• Начните работать без усилий по настройке.
• Легко изучить и обработать данные с интуитивно понятным интерфейсом с низким кодом.
• Обеспечьте безопасность данных благодаря встроенным функциям безопасности предприятия.
• Анализ данных в необработанных форматах (CSV, txt, JSON и т. д.), обработанных форматов файлов (parquet, Delta Lake и т. д.), с помощью мощных возможностей Spark.
• Повысьте продуктивность труда с расширенными возможностями разработки и встроенной визуализацией данных.

В этой статье описывается, как использовать записные книжки в области обработки и анализа данных.

Контекст безопасности запущенной записной книжки

Выполнение записной книжки можно активировать тремя разными способами в Fabric с полной гибкостью в соответствии с различными сценариями:

• Интерактивное выполнение: пользователь вручную активирует выполнение с помощью различных записей пользовательского интерфейса или вызова REST API. Выполнение будет выполняться в контексте безопасности текущего пользователя.
• Запуск в качестве действия конвейера: выполнение активируется из конвейера Fabric Data Factory. Подробные шаги см. в Активности блокнота. Выполнение будет выполняться в контексте последнего измененного пользователя конвейера.
• Планировщик: выполнение активируется из плана планировщика. Выполнение будет выполняться в контексте безопасности пользователя, который настраивает или обновляет план планировщика.

Гибкость этих вариантов выполнения с различным контекстом безопасности позволяет соответствовать разным сценариям и требованиям, но также требует учитывать контекст безопасности при разработке и разработке записной книжки, в противном случае может привести к неожиданному поведению и даже некоторым проблемам безопасности.

При первом создании записной книжки отображается предупреждение о риске выполнения кода без просмотра.

Ниже приведены некоторые рекомендации, которые помогут избежать проблем с безопасностью.

• Прежде чем вручную запустить записную книжку, откройте настройки записной книжки и проверьте раздел "Подробности" на панели "О программе" для получения информации об обновлениях, убедитесь, что вас устраивают последние изменения.
• Перед добавлением действия записной книжки в конвейер откройте параметры записной книжки и проверьте раздел 'Подробности' на панели 'О программе' для проверки изменений. Убедитесь, что вас устраивают последние изменения. Если вы не уверены в последнем изменении, откройте записную книжку, чтобы просмотреть изменения, прежде чем добавить его в конвейер.
• Перед обновлением плана планировщика откройте настройки записной книжки и проверьте раздел "Сведения" на панели "О программе" для проверки обновлений, убедитесь, что вас устраивают последние изменения. Если вы не уверены в последнем изменении, лучше откройте ноутбук, чтобы просмотреть изменение перед обновлением планировщика.
• Отделите рабочую область на разной стадии (разработка, тестирование, прод) и управляйте доступом на разных этапах, чтобы избежать проблемы с безопасностью. Добавьте только пользователя, которому вы доверяете, на этапе prod.

Создание записных книжек

Вы можете создать новую записную книжку или импортировать существующую записную книжку.

Создание записной книжки

Как и в других стандартных процессах создания элементов Fabric, вы можете легко создать новую записную книжку с домашней страницы Fabric Инжиниринг данных, через опцию Новый в рабочей области или через Центр создания.

Импорт существующих записных книжек

Можно импортировать одну или несколько существующих записных книжек с локального компьютера через опцию на панели инструментов рабочей области. Записные книжки Fabric распознают стандартные файлы Jupyter Notebook .ipynb и исходные файлы, такие как .py, .scalaи .sql, и создают соответствующие элементы записной книжки.

Экспорт блокнота

Записную книжку можно экспортировать в другие стандартные форматы. Блокнот Synapse можно экспортировать в:

Сохранение записной книжки

В Fabric записная книжка по умолчанию автоматически сохраняется после открытия и редактирования записной книжки; Вам не нужно беспокоиться о потере изменений кода. Можно также использовать сохранение копии, чтобы клонировать другую копию в текущей рабочей области или в другую рабочую область.

Если вы предпочитаете сохранить записную книжку вручную, можно переключиться на параметр сохранения вручную , чтобы иметь локальную ветвь элемента записной книжки, а затем использовать команду "Сохранить " или CTRL+s для сохранения изменений.

Вы также можете переключиться в режим сохранения вручную, нажав кнопку "Изменить -> Сохранить параметры -> Вручную". Чтобы активировать локальную ветвь записной книжки, сохраните её вручную, выбрав «Сохранить» или используя сочетание клавиш Ctrl+s.

Подключение lakehouses и записных книжек

Записные книжки Fabric теперь поддерживают тесное взаимодействие с lakehouses; вы можете легко добавить новый или существующий lakehouse из обозревателя Lakehouse.

Вы можете перейти к разным лейкхаусам в обозревателе Lakehouse и установить один лейкхаус в качестве лейкхауса по умолчанию, прикрепив его. Затем ваша конфигурация по умолчанию подключается к рабочему каталогу среды выполнения, и вы можете читать или записывать данные в Lakehouse по умолчанию с помощью локального пути.

Примечание.

Необходимо перезапустить сеанс после закрепления нового лейкхауса или переименования лейкхауса по умолчанию.

Добавить или удалить lakehouse

Выбор иконки X рядом с именем lakehouse удаляет его из вкладки записной книжки, но элемент lakehouse по-прежнему существует в рабочей области.

Выберите "Добавить lakehouse", чтобы добавить в записную книжку ещё один lakehouse, либо добавив существующий, либо создав новый.

Изучение файла lakehouse

Папки и файлы в разделе Таблицы и Файлы представления Lake отображаются в области содержимого между списком лейкхауса и содержимым записной книжки. Выберите разные папки в разделе "Таблицы и файлы ", чтобы обновить область содержимого.

Операции с папкой и файлами

Если выбрать файл (.csv,.parquet,.txt,.jpg,.pngи т. д.) с помощью правой кнопки мыши, можно использовать API Spark или Pandas для загрузки данных. Новая ячейка кода создается и вставляется под ячейкой фокуса.

Можно легко скопировать путь с другим форматом из выбранного файла или папки и использовать соответствующий путь в коде.

Ресурсы ноутбука

Обозреватель ресурсов записной книжки предоставляет файловую систему подобную Unix, которая поможет вам управлять папками и файлами. Он предлагает пространство файловой системы для записи, в котором можно хранить небольшие файлы, такие как модули кода, семантические модели и изображения. Вы можете легко получить доступ к ним с кодом в записной книжке, как если бы вы работали с локальной файловой системой.

Примечание.

• Максимальный объем хранилищ ресурсов для встроенной папки и папки среды составляет 500 МБ, причем размер одного файла может достигать 100 МБ. Они позволяют в общей сложности до 100 экземпляров файлов и папок.
• При использовании notebookutils.notebook.run() используйте команду notebookutils.nbResPath для доступа к целевому ресурсу блокнота. Относительный путь builtin/ всегда указывает на встроенную папку корневой записной книжки.

Встроенная папка ресурсов

Встроенная папка ресурсов — это системная папка, уникальная для каждой записной книжки. Рекомендуется использовать встроенную папку ресурсов для хранения всех данных, используемых в текущей записной книжке. Ниже приведены основные возможности ресурсов записной книжки.

• Вы можете использовать распространенные операции, такие как создание, удаление, загрузка, перетаскивание, переименование, дублирование и поиск по пользовательскому интерфейсу.
• Относительные пути, такие как builtin/YourData.txt, можно использовать для быстрого изучения. Этот notebookutils.nbResPath метод помогает составить полный путь.
• Вы можете легко переместить проверенные данные в лейкхаус с помощью параметра "Записать в lakehouse". Платформа встраивает полезные фрагменты кода для распространенных типов файлов, чтобы быстро начать работу.
• Эти ресурсы также доступны для использования в случае запуска записной книжки справочникаnotebookutils.notebook.run().

Папка ресурсов среды

Папка ресурсов среды — это общий репозиторий, предназначенный для упрощения совместной работы в нескольких записных книжках.

• Вы можете найти вкладку "Ресурсы " в среде и иметь полные операции для управления файлами ресурсов здесь. Эти файлы могут быть доступны для использования в нескольких записных книжках после присоединения любой из этих записных книжек к текущей среде.

  

• На странице "Записная книжка" можно легко найти вторую корневую папку в разделе "Ресурсы", унаследованные от подключенной среды.

  

• Вы можете также работать с файлами и папками так же, как с папкой встроенных ресурсов.

• Путь к ресурсу среды автоматически подключается к кластеру записной книжки. Для доступа к ресурсам окружения можно использовать относительный путь /env.

Примечание.

Чтение и запись с относительным путем не работает в сеансе высокой степени параллельности.

Редактор файлов

Редактор файлов позволяет просматривать и изменять файлы непосредственно в папке ресурсов записной книжки и папке ресурсов среды в записной книжке. Поддерживаемые типы файлов включают CSV, TXT, HTML, YML, PY, SQL и многое другое. С помощью редактора файлов вы можете легко получить доступ к файлам и изменить их в записной книжке, он поддерживает выделение ключевых слов и предоставляет необходимую языковую службу при открытии и редактировании файлов кода, таких как .py и .sql.

• Вы можете получить доступ к этой функции с помощью команды "Просмотреть и изменить" в меню файла. Двойной щелчок по файлу позволяет быстрее открыть его.

  

• Изменение содержимого в редакторе файлов необходимо сохранить вручную, нажав кнопку Сохранить или сочетание клавиш: CTRL+Sредактор файлов не поддерживает автосохранение.

• Режим записной книжки также влияет на редактор файлов. Файлы можно просматривать только в режиме записной книжки без разрешения на редактирование.

Примечание.

Ниже приведены некоторые ограничения для редактора файлов.

• Ограничение размера файла составляет 1 МБ.
• Эти типы файлов не поддерживаются для просмотра и редактирования: .xlsx и .parquet.

Совместная работа в ноутбуке

Записная книжка Fabric — это элемент совместной работы, поддерживающий редактирование нескольких пользователей одной записной книжки.

При открытии записной книжки по умолчанию вы вводите режим совместного редактирования и автоматически сохраняется каждая редактируемая записная книжка. Если ваши коллеги одновременно открывают одну и ту же записную книжку, вы увидите их профиль, вывод выполнения, индикатор курсора, индикатор выбора и след редактирования. С помощью функций совместной работы можно легко выполнить программирование пар, удаленную отладку и сценарии обучения.

Совместное использование записной книжки

Совместное использование записной книжки — это удобный способ совместной работы с участниками группы. Авторизованные роли рабочей области могут просматривать или изменять или запускать записные книжки по умолчанию. Записную книжку можно предоставить с указанными разрешениями.

1. Выберите "Общий доступ " на панели инструментов записной книжки.

   

2. Выберите соответствующую категорию пользователей , которые могут просматривать эту записную книжку. Вы можете выбрать разрешения "Общий доступ", "Изменить" или "Выполнить" для получателей.

   

3. После нажатия кнопки "Применить" можно отправить записную книжку напрямую или скопировать ссылку на других пользователей. Затем получатели могут открыть записную книжку с доступом, соответствующим их уровню разрешений.

   

4. Чтобы дополнительно управлять разрешениями записной книжки, выберите список>элементов рабочей области "Дополнительные параметры" и выберите пункт "Управление разрешениями". На этом экране можно обновить существующий доступ к записной книжке и разрешения.

   

Комментарий ячейки кода

Комментарии — это еще одна полезная функция для сценариев совместной работы. В настоящее время Fabric поддерживает добавление комментариев на уровне ячеек.

1. Нажмите кнопку "Примечания" на панели инструментов записной книжки или индикатора комментариев ячеек, чтобы открыть панель "Комментарии".

   

2. Выберите код в ячейке кода, выберите "Создать " в области "Примечания ", добавьте примечания, а затем нажмите кнопку "Опубликовать комментарий ", чтобы сохранить.

   

3. Если они вам нужны, найдите параметры "Изменить комментарий", "Закрыть обсуждение" и "Удалить обсуждение", выбрав опцию "Дополнительно" рядом с вашим комментарием.

Упоминание других в комментарии

"Тег" относится к упоминанию и уведомлению пользователя в потоке комментариев, что повышает эффективность совместной работы по конкретным вопросам.

1. Выберите раздел кода в ячейке и создайте поток комментариев.

2. Введите имя пользователя и выберите правильный из списка предложений, если вы хотите упомянуть кого-то в обсуждении определенного раздела.

3. Поделитесь своими аналитическими сведениями и опубликуйте их.

4. Уведомление по электронной почте активируется, и пользователь нажимает на ссылку Открыть Примечания, чтобы быстро найти эту ячейку.

5. Кроме того, авторизуйте и настройте разрешения для пользователей при добавлении в теги тех, у кого нет доступа, обеспечивая надлежащее управление активами кода.

Примечание.

Для элемента комментария помеченный пользователь больше не получит уведомление электронной почты, если вы обновляете комментарий в течение одного часа. Он отправляет уведомление по электронной почте новому отмеченному пользователю.

История версий

Это важно

Эта функция доступна в предварительной версии.

История версий позволяет легко версионировать изменения в актуальной тетради. Она поддерживает отслеживание истории и управление блокнотами с надежными встроенными возможностями управления версиями, что особенно полезно для совместной работы с несколькими участниками в одном блокноте.

1. Доступ к журналу версий из глобальной панели инструментов записной книжки.

   

2. Блокнот поддерживает два способа создания контрольных точек.

   • Ручная контрольная точка: Вы можете вручную создать новую версию, чтобы записать вехи разработки, что обеспечивает гибкость в управлении версиями вашей записной книжки.

     

   • Системная контрольная точка: эти контрольные точки создаются автоматически каждые 5 минут на основе интервала времени редактирования системой записной книжки, обеспечивая согласованное сохранение и версию вашей работы. Записи об изменениях можно найти от всех участников в списке временной шкалы контрольных точек системы.

3. Вы можете щелкнуть по контрольной точке, чтобы открыть представление различий (). Оно выделяет различия между выбранной контрольной точкой и текущей актуальной версией, включая различия в содержимом ячеек, выходных данных ячеек и метаданных. Версией этой контрольной точки можно управлять отдельно в меню "дополнительные параметры" .

   

4. Вы можете управлять версией из раскрывающегося меню контрольной точки. Если вы хотите сохранить предыдущую версию, нажмите восстановление из контрольной точки, чтобы перезаписать текущий журнал, или используйте сохранить как копию, чтобы клонировать его в новый журнал.

   

Примечание.

• Известное ограничение: Когда несколько участников совместной работы редактируют, если один из них нажимает кнопку «Восстановить» и затем возвращается в записную книжку, записная книжка не будет немедленно восстановлена из точки восстановления. Строка сообщений запрашивает просмотр изменений. Чтобы завершить восстановление, нажмите кнопку "Просмотр изменений " и нажмите кнопку "Сохранить сохраненную версию ".
• Срок действия системных контрольных точек истекает после 1 года.

Переключатель режима ноутбука

Записные книжки Fabric поддерживают четыре режима, которые можно легко переключать: режим разработки, режим только запуска, режим редактирования и режим просмотра . Каждый режим сопоставляется с определенным сочетанием разрешений. При предоставлении доступа к записной книжке другим участникам команды, вы можете предоставить им соответствующие разрешения. Они могут видеть лучший доступный режим записной книжки в соответствии с их разрешением, и они могут переключаться между режимом, на который они имеют разрешение.

• Режим разработки: чтение, выполнение, требуется разрешение на запись.
• Только режим выполнения: Требуются разрешения на чтение и выполнение.
• Режим редактирования: требуется разрешение на чтение, запись.
• Режим просмотра: требуется разрешение на чтение.

Связанный контент

• Создание и выполнение записных книжек