Использование Genie Code для разработки конвейеров

Это важно

Эта функция доступна в общедоступной предварительной версии.

На этой странице представлен Genie Code для разработки конвейеров, где агент данных ИИ доступен при выборе режима агента в Genie Code. Разработан специально для декларативного конвейера Spark Lakeflow (SDP) и редактора конвейеров Lakeflow, он изучает данные, создает и выполняет код конвейера, а также устраняет ошибки из одного запроса.

Что такое Genie Code для разработки конвейеров?

Genie Code в режиме агента является автономным партнером, который может автоматизировать весь многофакторный рабочий процесс проектирования данных в SDP и редакторе Конвейеров Lakeflow.

По сравнению с режимом чата Genie Code режим агента имеет расширенные возможности: планирование решения, получение соответствующих ресурсов, выполнение кода, использование выходных данных конвейера для улучшения результатов, автоматическое исправление ошибок и многое другое.

Код Genie в режиме агента может планировать и создавать целые конвейерные цепочки от начала до конца или ускорять процесс работы с уже существующей. Агент работает с вами, чтобы утвердить свои планы и подтвердить дальнейшие действия, прежде чем продолжить. При вашем разрешении Genie Code может использовать средства для выполнения таких задач, как поиск в таблицах, редактирование исходного файла SQL или Python, чтение наборов данных конвейера и выполнение обновлений конвейера.

Доступ и действия Genie Code управляются разрешениями пользователя. Он может получить доступ только к данным, к которым у вас есть доступ и выполнять операции, для которых у вас есть разрешения.

Замечание

Если включить режим агента в Genie Code, Genie Code адаптирует свои возможности на основе функций, которые вы сейчас используете в Databricks. Например, в редакторе Lakeflow Pipelines Genie Code фокусируется на редактировании конвейеров данных и задачах обработки данных. В записных книжках и редакторе SQL Genie Code поддерживает изучение и анализ данных. Дополнительные сведения см. в разделе "Код Genie" для обработки и анализа данных .

Требования

Чтобы использовать Genie Code для обработки данных, вашей рабочей среде потребуется следующее:

• Функции ИИ, управляемые партнером, включены как для учетной записи, так и для рабочей области. См. функции ИИ, поддерживаемые партнерами.
• Рабочая область должна находиться в поддерживаемом регионе. Genie Code — это назначенная служба, которая использует геозоны для управления местонахождением данных. См. географическую доступность функций Genie Code.

Использование Genie Code для разработки конвейеров

Чтобы использовать агентические возможности Genie Code для разработки конвейеров:

1. В редакторе Конвейеров Lakeflow откройте боковую панель Genie Code, щелкнув Код Genie в правом верхнем углу рабочей области.

2. В правом нижнем углу выберите агент. В этом режиме агента Genie Code можно переключаться на возможности разработки агентных данных Genie Code.

3. Введите запрос на код Genie. Например, вы можете задать вопросы о конвейере, например "описать этот конвейер". Вы также можете попросить его добавить новые наборы данных, например "создать silver_sales_data в новом файле, который считывает bronze_sales_data и очищает данные и добавляет полезные ожидания качества".

   Замечание

   Genie Code учитывает разрешения пользователя в каталоге Unity, поэтому может получить доступ только к тем источникам данных и потокам обработки, которые вам доступны.

4. Так как Genie Code создает свой ответ, он часто приостанавливается, чтобы получить входные данные:

   • Для более сложных задач Genie Code может создать пошаговый план и задать уточняющие вопросы. Ответьте на его уточняющие вопросы, чтобы помочь ему улучшить свой план.

   • Когда Genie Code должен запускать код или обновлять пайплайн, он запрашивает ваше утверждение, прежде чем продолжить. Разрешить или отклонить запрос. Вы также можете выбрать Разрешить в этой цепочке (ссылаясь на цепочку беседы Genie Code) или Всегда разрешать.

     Это важно

     Код Genie в режиме агента может создавать и выполнять код в конвейере. Хотя он имеет ограничения, чтобы предотвратить опасные действия, все равно существует риск. Его следует использовать только с данными, которыми вы доверяете, и перед запуском кода следует просмотреть код.

   • Так как Genie Code продолжает работу, вам может потребоваться выбрать "Продолжить " или "Отклонить". Просмотрите существующую работу, а затем нажмите кнопку "Продолжить ", чтобы продолжить дальнейшие действия или отклонить ее, чтобы сообщить ей о чем-то другом.

   • Чтобы остановить код Genie во время работы, щелкните красный

Genie Code может создавать новые файлы, создавать текст, запросы и код, запускать файлы или конвейеры и получать доступ к выходным наборам данных для интерпретации результатов.

Замечание

Чтобы Genie Code продолжал свою работу и предпринял следующие шаги, необходимо оставаться на текущей вкладке, на которой он работает.

Подсказка

Вы можете добавить инструкции для использования кода Genie в большинстве ответов. Например, если у вас есть соглашения о коде, которые вы хотите использовать, или предпочитаемые библиотеки, можно добавить эти рекомендации в инструкции по Genie Code. Вы также можете создавать навыки, чтобы расширить возможности Кода Genie с помощью специализированных умений для задач вашего домена. Дополнительные сведения и другие советы см. в советах по улучшению ответов Genie Code.

Capabilities

В режиме агента Код Genie может помочь в большинстве задач разработки конвейеров. Ключевые возможности:

• Обнаружение данных. Код Genie может выполнять поиск таблиц в рабочей области, чтобы помочь вам найти необходимые данные для задачи.
• Изменения потока данных: Genie Code может создавать и изменять несколько файлов одновременно. Он информирует вас о том, какие файлы изменяются, и показывает различия в коде в каждом файле, чтобы вы могли просматривать изменения по отдельности или все вместе, когда закончите.
• Выполнение конвейера: Код Genie может запускать отдельные файлы; выполнять тестовый или основной запуск конвейера; или выполнить полное обновление. Когда Genie Code хочет продолжить, он запрашивает подтверждение перед этим.
• Понимание и улучшение поведения конвейера. Код Genie может проверять наборы данных и выходные данные конвейера, чтобы понять, что конвейер выполняет сквозно и почему. Например, он может суммировать преобразования, отслеживать потоки данных в подчиненные таблицы и выделять непредвиденные изменения в счетчиках строк или схемах. При возникновении потенциальных проблем с качеством данных Genie Code поможет вам подумать о их причинах и предложить, где и как их устранить в конвейере.

Эти возможности поддерживают распространенные варианты использования, такие как:

• Создание нового конвейера: Genie Code может помочь во всех шагах по созданию конвейера архитектуры медальона, от приема данных до стандартизации и очистки данных, преобразования и анализа данных.
• Объясните конвейер: Код Genie может анализировать и объяснить существующий конвейер, чтобы быстро увеличить масштаб.
• Исправление проблем: При возникновении ошибок Код Genie может помочь в диагностике и устранении проблем, обрабатывая несколько файлов, пока проблема не будет решена.

Примеры

Попробуйте начать с этих запросов:

• "Создание и запуск конвейера медальонной архитектуры для обнаружения мошенничества, используя таблицы транзакций и клиентов в my_catalog.my_schema."
• "Объясните каждый шаг этого конвейера".
• Исправьте сбой в этом конвейере.

Дальнейшие шаги

• Дополнительные сведения о вспомогательных функциях ИИ Databricks
• Получите советы по улучшению ответов Genie Code
• Используйте Код Genie для науки о данных для поиска и исследования данных
• Использование Кода Genie для разработки панелей мониторинга
• Изучите Lakeflow Pipelines Editor