Использование кода Genie для обработки и анализа данных

Genie Code — это ИИ-помощник для анализа данных для разработчиков в записных книжках Azure Databricks и редакторе SQL. Он анализирует данные, генерирует и запускает код, а также исправляет ошибки по одному запросу, только после вашего подтверждения перед выполнением.

Для нагрузок глубокого обучения на базе GPU в ноутбуках, подключённых к AI Runtime, см. раздел «Использовать код Genie с AI Runtime».

Что такое Код Genie для обработки и анализа данных?

Genie Code может автоматизировать весь многофакторный рабочий процесс обработки и анализа данных в записных книжках Databricks и редакторе SQL.

Genie Code планирует решения, извлекает нужные ресурсы, запускает код, использует результаты выполнения ячеек для улучшения результатов и автоматически исправляет ошибки.

Genie Code может планировать и создавать код для запуска в записных книжках или запросах для выполнения в редакторе SQL. Genie Code работает с вами, чтобы утвердить свои планы и подтвердить следующие шаги, прежде чем продолжить. При вашем утверждении Genie Code может использовать инструменты для выполнения таких задач, как поиск таблиц, редактирование записной книжки, запуск ячеек и чтение выходных данных ячеек.

Доступ и действия Genie Code управляются разрешениями пользователя. Он может получить доступ только к данным, к которым у вас есть доступ и выполнять операции, для которых у вас есть разрешения.

Требования

Чтобы использовать возможности обработки и анализа агентных данных Genie Code, рабочей области потребуется следующее:

• Функции ИИ, управляемые партнером, включены как для учетной записи, так и для рабочей области. См. функции ИИ, поддерживаемые партнерами.
• Рабочая область должна находиться в поддерживаемом регионе. Genie Code — это назначенная служба, которая использует геозоны для управления местонахождением данных. См. географическую доступность функций Genie Code.

Использование кода Genie для обработки и анализа данных

Чтобы использовать Код Genie для задач обработки и анализа данных:

1. В записной книжке Databricks или редакторе SQL откройте боковую панель Genie Code.

2. Введите запрос на код Genie. Например, "Анализируйте @sales_transactions из samples.bakehouse, чтобы определить самый продаваемый продукт".

   Подсказка

   Ссылайтесь на определенные таблицы с помощью @table_name. Агент будет использовать такую таблицу и все связанные метаданные для формирования своего ответа. Агент учитывает разрешения каталога Unity пользователя, поэтому он может получить доступ только к данным, к которым у вас есть доступ.

3. Так как Genie Code создает свой ответ, он часто приостанавливается, чтобы получить входные данные:

   • Для более сложных задач Genie Code может создать пошаговый план и задать уточняющие вопросы. Ответьте на его уточняющие вопросы, чтобы помочь ему улучшить свой план.

   • Когда Genie Code требуется запустить код, он запрашивает ваше одобрение перед продолжением. Нажмите кнопку "Разрешить " или "Пропустить" или установите режим утверждения для автоматического утверждения , чтобы пропустить будущие запросы. См. Подтверждение действий инструмента.

     Это важно

     Genie Code может создавать и запускать код в записной книжке. Хотя он имеет ограничения, чтобы предотвратить опасные действия, все равно существует риск. Используйте его только с кодом и данными, которыми вы доверяете.

   • Так как Genie Code продолжает работу, вам может потребоваться выбрать "Продолжить " или "Отклонить". Просмотрите существующую работу Genie Code, а затем нажмите кнопку "Продолжить ", чтобы продолжить дальнейшие действия или отклонить ее, чтобы попытаться попробовать что-то другое.

   • Чтобы остановить код Genie во время работы, щелкните красный

Genie Code может создавать новые ячейки записной книжки (или запросы), создавать текст и код, запускать ячейки записной книжки и получать доступ к выходным данным ячейки для интерпретации результатов.

Замечание

Код Genie требует, чтобы текущая вкладка оставалась открытой для выполнения многошаговых задач.

Подсказка

Вы можете добавить инструкции для Genie Code, чтобы использовать их в большинстве ответов. Например, если у вас есть соглашения о коде или предпочитаемые библиотеки, можно добавить эти рекомендации в инструкции по Genie Code. Вы также можете создавать навыки, чтобы расширить возможности Кода Genie с помощью специализированных умений для задач вашего домена. Дополнительные сведения и другие советы см. в советах по улучшению ответов Genie Code.

Случаи использования

Genie Code расширяет возможности, такие как поиск данных, интерпретация выходных данных и выполнение действий ячейки.

Genie Code может помочь в сложных задачах обработки и анализа данных, включая анализ данных, прогнозирование и машинное обучение. Вы даже можете создать записную книжку для анализа данных с нуля с помощью Genie Code. Для улучшения результатов предоставьте агенту контекст, ссылаясь на таблицы, конвейеры, записные книжки, запросы и файлы @<resource_name>. Вы также можете щелкнуть значок "At". для того, чтобы вручную выбрать контекст для предоставления. Каждый ссылочный ресурс сохраняется в контексте чата.

Попробуйте начать с этих запросов:

• Обнаружение данных:
  • Какая таблица содержит данные транзакций пекарни?
  • "Я хочу увидеть данные о погоде на дату 2025-01-01 в городе Лос-Анджелес, ЦС".
  • "Найдите таблицу, содержащую данные о такси в Нью-Йорке и показать мне первые 10 строк".
• Анализ аналитических данных:
  • "Помогите мне проанализировать строку JSON в столбце A".
  • "Создание визуализации данных из этой таблицы".
  • "Интерпретация этой линейчатой диаграммы".
  • "Описание @sales_transactions набора данных. Выполните некоторые EDA, чтобы помочь мне понять статистику столбцов и визуализировать распределение значений. Подумайте, как ученый по обработке и анализу данных".
  • Проанализируйте @workload_insights, чтобы найти пять лучших клиентов по выручке за прошлую неделю для рабочих нагрузок Databricks SQL. Затем изобразите, сколько пользователей у этих клиентов было для Databricks SQL каждую неделю за последние 6 недель.
• Прогнозирование:
  • "Используя @incidents набор данных, создайте прогноз ежедневного числа инцидентов в течение следующих 2 недель. Когда вы закончите, предоставьте мне таблицу данных и интерактивную диаграмму, чтобы отобразить результаты".
  • Используя набор данных @website_traffic, прогнозируйте количество ежедневных посетителей на ближайший месяц. Выделите все сезонные шаблоны".
  • "Создайте прогноз спроса на продукт в течение следующих 6 месяцев из @inventory набора данных, включая доверительный интервал".
• Машинное обучение:
  • "Выполните некоторые разработки данных и функции для подготовки этого набора данных для обучения модели".
  • Обучите модель классификации на наборе данных @customer_data для прогнозирования оттока. Оцените модель, используя метрику точности и AUC.
  • "Выполните настройку гиперпараметров в модели регрессии с помощью @housing_prices набора данных для улучшения ошибки прогнозирования".
  • "Создайте модель кластеризации в @sales_leads наборе данных, чтобы определить сегменты клиентов и предоставить сводку по характеристикам каждого кластера".

• Глубокое обучение на GPU:
  • «Обнови этот блокнот для распределённого обучения на всех восьми графических процессорах H100 в AI Runtime.»
  • «Расследуйте этот сбой памяти GPU и порекомендуйте следующий шаг, основанный на доказательствах.»
  • Диагностируйте и устраните ошибку среды или зависимостей в этом блокноте.

• Организация записной книжки:
  • "Создайте новую ячейку, которая суммирует результаты из этой записной книжки".
  • "Присвойте этой записной книжке соответствующее имя".

Анализ аналитических данных

Используйте Genie Code для проведения исследовательского анализа данных на наборе данных. Например, попробуйте попросить его помочь вам создать новый ноутбук для анализа набора данных samples.bakehouse.sales_transactions.

На пустой вкладке записной книжки откройте панель Genie Code и введите следующий запрос: «Опишите набор данных, @sales_transactions.» Я хочу провести некоторый анализ данных (EDA), чтобы понять статистику по столбцам и визуализировать распределение значений.

Агент создает план для ответа на запрос и может задавать уточняющие вопросы. После вашего утверждения, он создает новые ячейки записной книжки, содержащие код для изучения данных и текст, объясняющий процесс и выводы.