Użyj kodu Genie do opracowywania pipeline'ów

Ważne

Ta funkcja jest dostępna w publicznej wersji testowej.

Na tej stronie przedstawiono kod Genie na potrzeby opracowywania potoków, agenta danych sztucznej inteligencji dostępnego przez wybranie trybu agenta w kodzie Genie. Zaprojektowana specjalnie dla deklaratywnych potoków Lakeflow Spark (SDP) i edytora Lakeflow Pipelines, bada dane, generuje i uruchamia kod potoku oraz naprawia błędy, wszystko z jednego monitu.

Co to jest kod Genie na potrzeby opracowywania potoków?

Genie Code w trybie agenta to autonomiczny partner, który może zautomatyzować kompleksowe wieloetapowe procesy inżynierii danych w ramach SDP oraz edytora potoków lakeflow.

W porównaniu z trybem czatu Genie Code tryb agenta ma rozszerzone możliwości: planowanie rozwiązania, pobieranie odpowiednich zasobów, uruchamianie kodu, używanie danych wyjściowych potoku do poprawy wyników, automatyczne naprawianie błędów i nie tylko.

Kod Genie w trybie agenta może planować i generować całe potoki od podstaw lub przyspieszyć pracę nad istniejącym potokiem. Agent współpracuje z Tobą, aby zatwierdzić jego plany i potwierdzić kolejne kroki przed kontynuowaniem. Dzięki zatwierdzeniu, Genie Code może używać narzędzi do wykonywania zadań, takich jak przeszukiwanie tabel, edytowanie pliku źródłowego SQL lub Pythona, uruchamianie aktualizacji potoku i odczytywanie zestawów danych potoku.

Dostęp i akcje genie Code podlegają uprawnieniam użytkownika. Może ona uzyskiwać dostęp tylko do danych, do których masz dostęp i wykonywać operacje, dla których masz uprawnienia.

Uwaga / Notatka

Po włączeniu trybu agenta w Genie Code, Genie Code dostosowuje swoje możliwości na podstawie funkcji, które są obecnie używane w Databricks. Na przykład w Edytorze potoków Lakeflow Genie Code koncentruje się na zadaniach edytowania potoku i związanych z inżynierią danych. W notesach i edytorze SQL kod Genie Code obsługuje eksplorację i analizę danych. Aby uzyskać więcej informacji, zobacz Use Genie Code for data science (Używanie kodu Genie Na potrzeby nauki o danych ).

Requirements

Aby użyć kodu Genie na potrzeby inżynierii danych, obszar roboczy wymaga następujących elementów:

• Funkcje sztucznej inteligencji obsługiwane przez partnerów są włączone zarówno dla konta, jak i obszaru roboczego. Zobacz Funkcje sztucznej inteligencji obsługiwane przez partnerów.
• Podgląd trybu agenta kodu Genie włączony. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.

Używanie kodu Genie na potrzeby opracowywania potoków

Aby użyć możliwości agenta Genie Code na potrzeby rozwoju potoków:

1. W Edytorze Lakeflow Pipelines, otwórz panel boczny Genie Code, klikając Genie Code znajduje się w prawym górnym rogu obszaru roboczego.

2. W prawym dolnym rogu wybierz pozycję Agent. Przełącza to tryb agenta Genie Code, umożliwiając korzystanie z jego zaawansowanych możliwości inżynierii danych w trybie agentowym.

3. Wprowadź komendę dla kodu Genie. Możesz na przykład zadać pytania dotyczące potoku, takie jak "opisz ten potok". Możesz również poprosić o dodanie nowych zestawów danych, na przykład "utwórz silver_sales_data w nowym pliku, który odczytuje dane z bronze_sales_data i czyści dane i dodaje przydatne oczekiwania dotyczące jakości".

   Uwaga / Notatka

   Kod Genie szanuje uprawnienia użytkownika w Unity Catalog, dzięki czemu może uzyskać dostęp tylko do tych danych i źródeł potoku, do których masz dostęp.

4. Ponieważ kod Genie generuje swoją odpowiedź, często wstrzymuje pobieranie danych wejściowych:

   • W przypadku bardziej złożonych zadań kod Genie może utworzyć plan krok po kroku i zadać wyjaśnienie pytań. Odpowiedz na jego pytania wyjaśniające, aby pomóc mu ulepszyć jego plan.

   • Gdy Genie Code musi uruchomić kod lub zaktualizować pipeline, przed kontynuowaniem prosi Cię o zatwierdzenie. Zezwalaj na żądanie lub odrzucaj je. Możesz również wybrać opcję Zezwalaj w tym wątku (odwołując się do wątku konwersacji Genie Code) lub Zawsze zezwalaj.

     Ważne

     Kod Genie Code w trybie agenta może generować i realizować kod w ciągu technologicznym. Chociaż ma bariery ochronne, aby zapobiec niebezpiecznym działaniom, nadal istnieje ryzyko. Należy używać go tylko z zaufanymi danymi. Przed jego uruchomieniem należy przejrzeć kod.

   • Gdy kod Genie kontynuuje swoją pracę, może zostać wyświetlony monit o wybranie pozycji Kontynuuj lub Odrzuć. Przejrzyj istniejącą pracę, a następnie wybierz pozycję Kontynuuj , aby zezwolić na kontynuowanie kolejnych kroków lub Pozycję Odrzuć , aby poinformować go o wypróbowaniu czegoś innego.

   • Aby zatrzymać kod Genie podczas jego działania, kliknij czerwoną

Genie Code może tworzyć nowe pliki, generować tekst, zapytania i kod, uruchamiać pliki lub potoki i uzyskiwać dostęp do wyjściowych zestawów danych w celu zinterpretowania wyników.

Uwaga / Notatka

Aby Genie Code kontynuował swoją pracę i podjął kolejne kroki, musisz pozostać na bieżącej karcie, w której działa.

Wskazówka

Możesz dodać instrukcje dotyczące kodu Genie do użycia w większości odpowiedzi. Jeśli na przykład masz konwencje kodu, których chcesz użyć lub preferowane biblioteki, możesz dodać te wytyczne do instrukcji dotyczących kodu Genie. Możesz również tworzyć umiejętności, aby rozszerzyć kod Genie o wyspecjalizowane możliwości dla zadań specyficznych dla domeny. Aby uzyskać więcej szczegółów i innych wskazówek, zobacz Porady dotyczące ulepszania odpowiedzi na kod Genie.

Capabilities

W trybie agenta kod Genie może pomóc w przypadku większości zadań tworzenia potoków. Kluczowe możliwości to:

• Odnajdywanie danych: Kod Genie może wyszukiwać tabele w obszarze roboczym, aby ułatwić znalezienie wymaganych danych dla zadania.
• Edytowanie kodu potoku: Kod Genie może jednocześnie tworzyć i edytować wiele plików. Informuje o zmienianych plikach i pokazuje różnice kodu w każdym pliku, dzięki czemu można przeglądać zmiany pojedynczo lub wszystkie razem na końcu.
• Wykonywanie potoku: Kod Genie może uruchamiać pojedyncze pliki, uruchamiać potok w trybie symulacji, wykonywać potok lub przeprowadzić całkowite odświeżanie. Gdy program Genie Code chce kontynuować, przed wykonaniem tego żądania zostanie wyświetlony monit o potwierdzenie.
• Zrozumienie i ulepszenie zachowania potoku danych: Kod Genie może sprawdzać zestawy danych i dane wyjściowe potoku danych, aby ułatwić zrozumienie, co potok danych wykonuje całościowo i dlaczego. Może na przykład podsumowywać przekształcenia, śledzić przepływ danych do tabel podrzędnych i wyróżniać nieoczekiwane zmiany liczby wierszy lub schematów. Gdy wystąpią potencjalne problemy z jakością danych, kod Genie może pomóc w analizie ich przyczyn oraz zasugerować, gdzie i jak można je rozwiązać w pipelinie.

Te możliwości obsługują typowe przypadki użycia, takie jak:

• Tworzenie nowego pipeline: Kod Genie może pomóc we wszystkich krokach tworzenia nowego pipeline architektury medalionu, od pozyskiwania danych, standaryzacji i czyszczenia danych, oraz przekształcania i analizowania danych.
• Wyjaśnienie potoku: Kod Genie może analizować i wyjaśniać istniejący potok, aby ułatwić szybkie zwiększenie skali.
• Rozwiązywanie problemów: jeśli występują błędy, kod Genie może pomóc zdiagnozować i rozwiązać problemy, iterując przez wiele plików do momentu rozwiązania problemu.

Przykłady

Spróbuj wykonać następujące polecenia, aby rozpocząć:

• "Skompiluj i uruchom potok architektury medalonu na potrzeby wykrywania oszustw przy użyciu transakcji tabeli i klientów w programie my_catalog.my_schema".
• Wyjaśnij każdy krok tego rurociągu.
• Napraw awarię w tej linii przetwarzania.

Dalsze kroki

• Dowiedz się więcej o funkcjach pomocniczych sztucznej inteligencji usługi Databricks
• Zapoznaj się z poradami dotyczącymi ulepszania odpowiedzi kodu Genie
• Używanie kodu Genie na potrzeby nauki o danych na potrzeby odnajdywania i eksploracji danych
• Używanie kodu Genie na potrzeby tworzenia pulpitu nawigacyjnego
• Eksplorowanie Edytora Potoków Lakeflow