Genie Code gebruiken voor pijplijnontwikkeling

Belangrijk

Deze functie bevindt zich in openbare preview-versie.

Op deze pagina maakt u kennis met Genie Code voor pijplijnontwikkeling, een AI-gegevensagent die beschikbaar is door de agentmodus te selecteren in Genie Code. Speciaal ontworpen voor Lakeflow Spark Declarative Pipelines (SDP) en de Lakeflow Pipelines Editor, worden gegevens verkend, pijplijncode gegenereerd en uitgevoerd, en worden fouten opgelost, allemaal vanaf één prompt.

Wat is Genie Code voor pijplijnontwikkeling?

Genie Code in agentmodus is een autonome partner die volledige data engineering-werkstromen in meerdere stappen kan automatiseren in SDP en de Lakeflow Pipelines Editor.

Vergeleken met de chatmodus van Genie Code beschikt de agentmodus over uitgebreide mogelijkheden: een oplossing plannen, relevante assets ophalen, code uitvoeren, pijplijnuitvoer gebruiken om resultaten te verbeteren, fouten automatisch op te lossen en meer.

Genie Code in de agentmodus kan volledige pijplijnen helemaal zelf plannen en genereren, of versnellen het werken aan een bestaande pijplijn. De agent werkt met u mee om de plannen goed te keuren en de volgende stappen te bevestigen voordat u doorgaat. Met uw goedkeuring kan Genie Code hulpprogramma's gebruiken om taken uit te voeren, zoals het doorzoeken van tabellen, het bewerken van een SQL- of Python-bronbestand, het uitvoeren van pijplijnupdates en het lezen van pijplijngegevenssets.

De toegang en acties van Genie Code worden beheerd door de machtigingen van de gebruiker. Het heeft alleen toegang tot gegevens waartoe u toegang hebt en bewerkingen uitvoert waarvoor u machtigingen hebt.

Opmerking

Wanneer u de agentmodus inschakelt in Genie Code, past Genie Code de mogelijkheden aan op basis van de functies die u momenteel gebruikt in Databricks. In de Lakeflow Pipelines Editor richt Genie Code zich bijvoorbeeld op pijplijnbewerkings- en data engineering-taken. In notebooks en de SQL-editor ondersteunt Genie Code gegevensverkenning en -analyse. Zie Genie Code gebruiken voor data science voor meer informatie.

Requirements

Als u Genie Code wilt gebruiken voor data engineering, heeft uw werkruimte het volgende nodig:

• AI-functies aangedreven door partners, beschikbaar voor zowel het account als de werkruimte. Zie ai-functies die door partners worden aangedreven.
• De preview-versie van de Genie Code Agent-modus is ingeschakeld. Zie Azure Databricks-previews beheren.

Genie Code gebruiken voor pijplijnontwikkeling

De agentische mogelijkheden van Genie Code gebruiken voor pijplijnontwikkeling:

1. Open het zijpaneel van Genie Code vanuit Lakeflow Pipelines Editor door op te klikken.Genie Code in de rechterbovenhoek van uw werkruimte.

2. Selecteer Agent in de rechterbenedenhoek. Hiermee schakelt u de agentmodus van Genie Code in, zodat u de mogelijkheden voor agentische data engineering van Genie Code kunt gebruiken.

3. Voer een prompt in voor Genie Code. U kunt deze bijvoorbeeld vragen stellen over uw pijplijn, zoals 'deze pijplijn beschrijven'. U kunt ook vragen om nieuwe gegevenssets toe te voegen, bijvoorbeeld 'maak silver_sales_data in een nieuw bestand dat uit bronze_sales_data leest en de gegevens opschoont en nuttige kwaliteitswachtingen toevoegt'.

   Opmerking

   Genie Code respecteert de Unity Catalog-machtigingen van de gebruiker, zodat deze alleen toegang heeft tot de gegevens- en pijplijnbron waartoe u toegang hebt.

4. Terwijl Genie Code het antwoord genereert, wordt het vaak onderbroken om uw invoer op te halen:

   • Voor complexere taken kan Genie Code een stapsgewijs plan maken en vragen stellen. Beantwoord de verduidelijkende vragen om het plan te verfijnen.

   • Wanneer Genie Code code moet uitvoeren of een pijplijn moet bijwerken, wordt u om goedkeuring gevraagd voordat u doorgaat. De aanvraag toestaan of weigeren . U kunt ook Toestaan selecteren in deze thread (verwijzend naar Genie Code-gespreksthread) of Altijd toestaan.

     Belangrijk

     Genie Code in agentmodus kan code genereren en uitvoeren in uw pijplijn. Hoewel het vangrails heeft om gevaarlijke acties te voorkomen, is er nog steeds risico. U moet deze alleen gebruiken met gegevens die u vertrouwt en u moet code controleren voordat u deze uitvoert.

   • Als Genie Code verdergaat met het werk, wordt u mogelijk gevraagd om Doorgaan of Weigeren te selecteren. Controleer het bestaande werk en selecteer Vervolgens Doorgaan om door te gaan met de volgende stappen of Weigeren om te laten weten dat het iets anders moet proberen.

   • Als u Genie Code wilt stoppen terwijl deze werkt, klikt u op het rode .

Genie Code kan nieuwe bestanden maken, tekst, query's en code genereren, de bestanden of pijplijnen uitvoeren en toegang krijgen tot de uitvoergegevenssets om de resultaten te interpreteren.

Opmerking

Om Genie Code verder te laten werken en de volgende stappen uit te voeren, moet u op het huidige tabblad blijven waar het werkt.

Aanbeveling

U kunt instructies voor de Genie Code toevoegen voor gebruik in de meeste antwoorden. Als u bijvoorbeeld codeconventies hebt die u wilt gebruiken, of voorkeursbibliotheken, kunt u deze richtlijnen toevoegen aan instructies voor Genie Code. U kunt ook vaardigheden maken om Genie Code uit te breiden met gespecialiseerde mogelijkheden voor uw domeinspecifieke taken. Zie Tips voor het verbeteren van Genie Code-antwoorden voor meer informatie en andere tips.

Capabilities

In de agentmodus kan Genie Code helpen bij de meeste pijplijnontwikkelingstaken. Tot de belangrijkste mogelijkheden behoren:

• Gegevensdetectie: Genie Code kan tabellen in de werkruimte doorzoeken om u te helpen de vereiste gegevens voor een taak te vinden.
• Bewerkingen van pijplijncode: Genie Code kan meerdere bestanden tegelijk maken en bewerken. Het houdt u op de hoogte van de bestanden die worden gewijzigd en toont u de codeverschil in elk bestand, zodat u de wijzigingen afzonderlijk of allemaal aan het einde kunt bekijken.
• Pijplijnuitvoering: Genie Code kan afzonderlijke bestanden uitvoeren, de pijplijn testuitvoeren/uitvoeren, of een volledige vernieuwing uitvoeren. Wanneer Genie Code wil doorgaan, wordt u gevraagd om uw bevestiging voordat u dit doet.
• Inzicht in en verbetering van het gedrag van pijplijnen: Genie Code kan gegevenssets en pijplijnuitvoer inspecteren om te begrijpen wat een pijplijn end-to-end doet en waarom. Het kan bijvoorbeeld transformaties samenvatten, traceren hoe gegevens naar downstreamtabellen stromen en onverwachte wijzigingen in het aantal rijen of schema's markeren. Wanneer er potentiële problemen met de gegevenskwaliteit worden weergegeven, kan Genie Code u helpen bij het redeneren van hun oorzaak en voorstellen waar en hoe u deze in de pijplijn kunt oplossen.

Deze mogelijkheden bieden ondersteuning voor veelvoorkomende gebruiksvoorbeelden, zoals:

• Het ontwerpen van een nieuwe pijplijn: Genie Code kan helpen bij alle stappen in het creëren van een nieuwe medaillon architectuur pijplijn, van het opnemen van gegevens, tot het standaardiseren en opschonen van de gegevens, tot het transformeren en analyseren van de gegevens.
• Een pijplijn uitleggen: Genie Code kan een bestaande pijplijn analyseren en uitleggen, zodat u snel kunt opschieten.
• Problemen oplossen: Als u fouten hebt, kan Genie Code helpen bij het diagnosticeren en oplossen van de problemen, door meerdere bestanden te herhalen totdat het probleem is opgelost.

Voorbeelden

Probeer de volgende aanwijzingen om aan de slag te gaan:

• Bouw en voer een pijplijn voor de medaillonarchitectuur uit voor fraudedetectie met behulp van de tabellen transactions en customers in my_catalog.my_schema.
• "Leg elke stap van deze pijplijn uit."
• 'De fout in deze pijplijn oplossen'.

Volgende stappen

• Meer informatie over ondersteunende functies van Databricks AI
• Tips om Genie Code-reacties te verbeteren
• Genie Code gebruiken voor gegevenswetenschap, voor gegevensdetectie en -verkenning
• Genie Code gebruiken voor het ontwerpen van dashboards
• De Lakeflow Pipelines-editor verkennen