Dela via


Använda datateknikagenten

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion.

Den här sidan introducerar datateknikagenten som lägger till funktioner i Databricks Assistant. Om du vill använda datateknikagenten väljer du Agentläge i assistenten.

Data Engineering-agenten är särskilt utformad för Lakeflow Spark deklarativa pipelines (SDP) och Lakeflow Pipelines Editor; den utforskar data, genererar och kör pipelinekod samt rättar fel, allt från en enda prompt.

Vad är datateknikagenten?

Data Engineering Agent är en kraftfull funktion i Databricks Assistant Agent Mode som omvandlar assistenten till en autonom partner som kan automatisera hela arbetsflöden för datateknik i flera steg i SDP och Lakeflow Pipelines Editor.

Använd datateknikagenten.

Jämfört med chattläget Assistent har agentläget utökat funktionerna: planera en lösning, hämta relevanta tillgångar, köra kod, använda pipelineutdata för att förbättra resultaten, åtgärda fel automatiskt och mycket mer.

Data Engineering Agent kan planera och generera hela pipelines från början till slutpunkt, eller påskynda arbetet med en befintlig pipeline. Agenten samarbetar med dig för att godkänna planerna och bekräfta dess nästa steg innan du fortsätter. Med ditt godkännande kan Data Engineering Agent använda verktyg för att utföra uppgifter som att söka i tabeller, redigera en SQL- eller Python-källfil, köra pipelineuppdateringar och läsa pipelinedatauppsättningar.

Datateknikagentens åtkomst och åtgärder styrs av användarens behörigheter. Den kan bara komma åt data som du har åtkomst till och utföra åtgärder som du har behörighet för.

Anmärkning

När du aktiverar agentläget i assistenten anpassar assistenten sina funktioner baserat på de funktioner som du använder i Databricks. I Lakeflow Pipelines-redigeraren fokuserar assistenten till exempel på pipelineredigering och datateknikuppgifter. I notebook-filer och SQL-redigeraren stöder assistenten datautforskning och analys. Mer information finns i Data Science Agent .

Kravspecifikation

Om du vill använda datateknikagenten behöver din arbetsyta följande:

Använda datateknikagenten

Så här använder du datateknikagenten:

  1. Öppna panelen Assistent i Lakeflow Pipelines-redigeraren genom att klicka på avatarassistentikonen.Assistent i det övre högra hörnet på arbetsytan.

  2. I det nedre högra hörnet väljer du Agent. Detta växlar i assistentens agentläge så att du kan interagera med datateknikagenten.

  3. Ange en fråga för agenten. Du kan till exempel ställa frågor om din pipeline, till exempel "beskriv den här pipelinen". Du kan också be den att lägga till nya datauppsättningar, till exempel "skapa silver_sales_data i en ny fil som läser från bronze_sales_data och rensar data och lägger till användbara kvalitetsförväntningar".

    Anmärkning

    Agenten respekterar användarens Unity Catalog-behörigheter, så att den bara kan komma åt data och pipelinekällan som du har åtkomst till.

  4. När agenten genererar sitt svar pausas den ofta för att hämta dina indata:

    • För mer komplexa uppgifter kan agenten skapa en stegvis plan och ställa klargörande frågor. Svara på agentens klargörande frågor för att hjälpa den att förbättra sin plan.

    • När agenten behöver köra kod eller uppdatera en pipeline ber den om ditt godkännande innan du fortsätter. Tillåt eller avvisa dess begäran. Du kan också välja Tillåt i den här tråden (refererar till konversationstråden Assistent) eller Tillåt alltid.

      Viktigt!

      Data Engineering Agent kan generera och köra kod i din pipeline. Även om den har skyddsräcken för att förhindra farliga åtgärder, finns det fortfarande risk. Du bör bara använda den med data som du litar på, och du bör granska koden innan du kör den.

    • När agenten fortsätter sitt arbete kan du uppmanas att välja Fortsätt eller Avvisa. Granska agentens befintliga arbete och välj sedan Fortsätt för att tillåta att agenten fortsätter till nästa steg eller Avvisa för att be den att prova något annat.

    • Om du vill stoppa agenten medan den fungerar klickar du på den röda stoppikonen..

Agenten kan skapa nya filer, generera text, frågor och kod, köra filer eller pipelines och komma åt utdatauppsättningarna för att tolka resultatet.

Anmärkning

För att datateknikagenten ska kunna fortsätta sitt arbete och vidta nästa steg måste du hålla dig på den aktuella fliken som agenten arbetar i.

Tips/Råd

Du kan lägga till instruktioner för agenten som ska användas i de flesta svar. Om du till exempel har kodkonventioner som du vill använda eller önskade bibliotek att använda kan du lägga till dessa riktlinjer i instruktionerna för agenten. Du kan också skapa kunskaper för att utöka agenten med specialiserade funktioner för dina domänspecifika uppgifter. Mer information och andra tips finns i Anpassa och förbättra Databricks Assistant-svar.

Capabilities

Data Engineering Agent kan hjälpa till med de flesta pipelineutvecklingsuppgifter. Exempel på viktiga funktioner:

  • Dataidentifiering: Agenten kan söka i tabeller på arbetsytan för att hitta nödvändiga data för en uppgift.
  • Redigering av pipelinekod: Agenten kan skapa och redigera flera filer i taget. Det håller dig informerad om vilka filer som ändras och visar koddiffet i varje fil, så att du kan granska ändringarna individuellt eller alla tillsammans i slutet.
  • Pipelinekörning: Agenten kan köra enskilda filer, torrköra/köra pipelinen eller göra en fullständig uppdatering. När agenten vill fortsätta ber den om din bekräftelse innan den gör det.
  • Förstå och förbättra pipelinebeteendet: Agenten kan inspektera datauppsättningar och pipelineutdata som hjälper dig att förstå vad en pipeline gör från slutpunkt till slutpunkt och varför. Den kan till exempel sammanfatta transformeringar, spåra hur data flödar till underordnade tabeller och markera oväntade ändringar i radantal eller scheman. När det uppstår potentiella problem med datakvaliteten kan agenten hjälpa dig att resonera kring deras orsak och föreslå var och hur de ska åtgärdas i pipelinen.

De här funktionerna stöder vanliga användningsfall, till exempel:

  • Redigera en ny pipeline: Datateknikagenten kan hjälpa till med alla steg för att skapa en ny pipeline för medallionarkitektur, från att mata in data, standardisera och rensa data, till att transformera och analysera data.
  • Förklara en pipeline: Agenten kan analysera och förklara en befintlig pipeline för att hjälpa dig att snabbt komma igång.
  • Åtgärda problem: När du har fel kan agenten hjälpa till att diagnostisera och åtgärda problemen och iterera genom flera filer tills problemet har lösts.

Examples

Prova följande uppmaningar för att komma igång:

  • "Skapa och kör en pipeline för medaljongarkitektur för identifiering av bedrägerier med hjälp av tabelltransaktioner och kunder i my_catalog.my_schema."
  • "Förklara varje steg i den här pipelinen."
  • "Åtgärda felet i den här pipelinen."

Nästa steg