De Data Engineering-agent gebruiken

Belangrijk

Deze functie bevindt zich in openbare preview-versie.

Op deze pagina wordt de Data Engineering-agent geïntroduceerd die mogelijkheden toevoegt aan de Databricks Assistant. Als u de Data Engineering-agent wilt gebruiken, selecteert u de agentmodus in de assistent.

De Data Engineering-agent is speciaal ontworpen voor Lakeflow Spark Declarative Pipelines (SDP) en de Lakeflow Pipelines Editor, het verkent gegevens, genereert en voert pijplijncode uit en lost fouten op, allemaal vanuit één prompt.

Wat is de Data Engineering Agent?

De Data Engineering Agent is een krachtige functie in de Databricks Assistant-agentmodus waarmee de assistent wordt getransformeerd tot een autonome partner waarmee volledige data engineeringwerkstromen in meerdere stappen in SDP en de Lakeflow Pipelines Editor kunnen worden geautomatiseerd.

Vergeleken met de assistentchatmodus heeft de agentmodus uitgebreide mogelijkheden: een oplossing plannen, relevante assets ophalen, code uitvoeren, pijplijnuitvoer gebruiken om resultaten te verbeteren, fouten automatisch op te lossen en meer.

De Data Engineering-agent kan volledige pijplijnen volledig van begin tot eind plannen en genereren, of versnellen het werken aan een bestaande pijplijn. De agent werkt met u mee om de plannen goed te keuren en de volgende stappen te bevestigen voordat u doorgaat. Met uw goedkeuring kan de Data Engineering Agent hulpprogramma's gebruiken om taken uit te voeren, zoals tabellen doorzoeken, een SQL- of Python-bronbestand bewerken, pijplijnupdates uitvoeren en pijplijngegevenssets lezen.

De toegang en acties van de Data Engineering-agent worden beheerd door de machtigingen van de gebruiker. Het heeft alleen toegang tot gegevens waartoe u toegang hebt en bewerkingen uitvoert waarvoor u machtigingen hebt.

Opmerking

Wanneer u de agentmodus inschakelt in de Assistent, past de Assistent de mogelijkheden aan op basis van de functies die u momenteel gebruikt in Databricks. In de Lakeflow Pipelines Editor richt de assistent zich bijvoorbeeld op pijplijnbewerkings- en data engineering-taken. In notebooks en de SQL-editor ondersteunt de assistent gegevensverkenning en -analyse. Zie Data Science Agent voor meer informatie.

Requirements

Als u de Data Engineering-agent wilt gebruiken, heeft uw werkruimte het volgende nodig:

• Door partners aangedreven AI-functies die zijn ingeschakeld voor zowel het account als de werkruimte. Zie ai-functies die door partners worden aangedreven.
• Preview van Databricks Assistant-agentmodus ingeschakeld. Zie Azure Databricks-previews beheren.

De Data Engineering-agent gebruiken

De Data Engineering-agent gebruiken:

1. Open vanuit Lakeflow Pipelines Editor het zijpaneel Assistent door op het te klikken.Assistent in de rechterbovenhoek van uw werkruimte.

2. Selecteer Agent in de rechterbenedenhoek. Hiermee schakelt u de agentmodus van de assistent in, zodat u kunt communiceren met de Data Engineering-agent.

3. Voer een prompt in voor de agent. U kunt deze bijvoorbeeld vragen stellen over uw pijplijn, zoals 'deze pijplijn beschrijven'. U kunt ook vragen om nieuwe gegevenssets toe te voegen, bijvoorbeeld 'maak silver_sales_data in een nieuw bestand dat uit bronze_sales_data leest en de gegevens opschoont en nuttige kwaliteitswachtingen toevoegt'.

   Opmerking

   De agent respecteert de Unity Catalog-machtigingen van de gebruiker, zodat deze alleen toegang heeft tot de gegevens- en pijplijnbron waartoe u toegang hebt.

4. Terwijl de agent het antwoord genereert, wordt het vaak onderbroken om uw invoer op te halen:

   • Voor complexere taken kan de agent een stapsgewijs plan maken en vragen stellen. Beantwoord de verduidelijkende vragen van de agent om het plan te verfijnen.

   • Wanneer de agent code moet uitvoeren of een pijplijn moet bijwerken, wordt u gevraagd om goedkeuring voordat u doorgaat. De aanvraag toestaan of weigeren . U kunt ook Toestaan selecteren in deze thread (naar de gespreksthread Assistent) of Altijd toestaan.

     Belangrijk

     De Data Engineering-agent kan code genereren en uitvoeren in uw pijplijn. Hoewel het kader heeft om gevaarlijke acties te voorkomen, is er nog steeds risico. U moet deze alleen gebruiken met gegevens die u vertrouwt en u moet code controleren voordat u deze uitvoert.

   • Wanneer de agent doorgaat met het werk, wordt u mogelijk gevraagd om Doorgaan of Weigeren te selecteren. Controleer het bestaande werk van de agent en selecteer Vervolgens Doorgaan om de agent door te laten gaan naar de volgende stappen of weigeren om te laten weten dat deze iets anders moet proberen.

   • Als u de agent wilt stoppen terwijl deze werkt, klikt u op het rode .

De agent kan nieuwe bestanden maken, tekst, query's en code genereren, de bestanden of pijplijnen uitvoeren en toegang krijgen tot de uitvoergegevenssets om de resultaten te interpreteren.

Opmerking

Om de Data Engineering-agent verder te laten werken en de volgende stappen uit te voeren, moet u op het huidige tabblad blijven waar de agent werkt.

Aanbeveling

U kunt instructies toevoegen voor de agent om te gebruiken bij de meeste antwoorden. Als u bijvoorbeeld codeconventies hebt die u wilt gebruiken of bibliotheken van voorkeur wilt gebruiken, kunt u deze richtlijnen toevoegen aan instructies voor de agent. U kunt ook vaardigheden maken om de agent uit te breiden met gespecialiseerde mogelijkheden voor uw domeinspecifieke taken. Zie De antwoorden van Databricks Assistant aanpassen en verbeteren voor meer informatie en andere tips.

Capabilities

De Data Engineering Agent kan helpen bij de meeste pijplijnontwikkelingstaken. Tot de belangrijkste mogelijkheden behoren:

• Gegevensdetectie: De agent kan tabellen in de werkruimte doorzoeken om u te helpen de vereiste gegevens voor een taak te vinden.
• Bewerkingen van pijplijncode: de agent kan meerdere bestanden tegelijk maken en bewerken. Het houdt u op de hoogte van de bestanden die worden gewijzigd en toont u de codeverschil in elk bestand, zodat u de wijzigingen afzonderlijk of allemaal aan het einde kunt bekijken.
• Pijplijnuitvoering: De agent kan afzonderlijke bestanden uitvoeren, de pijplijn in een testrun uitvoeren, of een volledige vernieuwing doorvoeren. Wanneer de agent wil doorgaan, wordt u gevraagd om uw bevestiging voordat u dit doet.
• Inzicht in en verbetering van het gedrag van pijplijnen: de agent kan gegevenssets en pijplijnuitvoer inspecteren om inzicht te krijgen in wat een pijplijn end-to-end doet en waarom. Het kan bijvoorbeeld transformaties samenvatten, traceren hoe gegevens naar downstreamtabellen stromen en onverwachte wijzigingen in het aantal rijen of schema's markeren. Wanneer er potentiële problemen met de gegevenskwaliteit worden weergegeven, kan de agent u helpen om te redeneren over de oorzaak en voorstellen waar en hoe u deze in de pijplijn kunt oplossen.

Deze mogelijkheden bieden ondersteuning voor veelvoorkomende gebruiksvoorbeelden, zoals:

• Ontwikkelen van een nieuwe pijplijn: De Data Engineering Agent kan helpen bij alle stappen van het creëren van een nieuwe medaillonarchitectuurpijplijn, van het opnemen van gegevens tot het standaardiseren en opschonen van de gegevens, en het transformeren en analyseren van de gegevens.
• Een pijplijn uitleggen: de agent kan een bestaande pijplijn analyseren en uitleggen, zodat u snel verder kunt gaan.
• Problemen oplossen: wanneer u fouten hebt, kan de agent helpen bij het vaststellen en oplossen van de problemen, door meerdere bestanden te doorlopen totdat het probleem is opgelost.

Voorbeelden

Probeer de volgende aanwijzingen om aan de slag te gaan:

• Bouw en voer een pijplijn voor de medaillonarchitectuur uit voor fraudedetectie met behulp van de tabellen transactions en customers in my_catalog.my_schema.
• "Leg elke stap van deze pijplijn uit."
• 'De fout in deze pijplijn oplossen'.

Volgende stappen

• Meer informatie over ondersteunende functies van Databricks AI
• Tips voor het aanpassen en verbeteren van antwoorden van Databricks Assistant
• De Data Science Agent gebruiken voor gegevensdetectie en -verkenning
• De Lakeflow Pipelines-editor verkennen