Delen via

Data-engineering met Databricks

Databricks biedt Lakeflow, een end-to-end oplossing voor data engineering waarmee data engineers, softwareontwikkelaars, SQL-ontwikkelaars, analisten en gegevenswetenschappers hoogwaardige gegevens kunnen leveren voor downstreamanalyses, AI en operationele toepassingen. Lakeflow is een uniforme oplossing voor opname, transformatie en indeling van uw gegevens, en omvat Lakeflow Connect, Lakeflow Spark-declaratieve pijplijnen en Lakeflow-taken.

Lakeflow Connect

Lakeflow Connect vereenvoudigt gegevensopname met connectors voor populaire bedrijfstoepassingen, databases, cloudopslag, berichtenbussen en lokale bestanden. Zie Lakeflow Connect.

Eigenschap Beschrijving
Beheerde connectors Beheerde connectors bieden een eenvoudige gebruikersinterface en een op configuratie gebaseerde opnameservice met minimale operationele overhead, zonder dat u de onderliggende pijplijn-API's en infrastructuur hoeft te gebruiken.
Standaardconnectors Standaardconnectors bieden de mogelijkheid om toegang te krijgen tot gegevens uit een breder scala aan gegevensbronnen vanuit uw pijplijnen of andere query's.

Lakeflow Spark-declaratieve pijplijnen (SDP)

Lakeflow Spark-declaratieve pijplijnen, of SDP, is een declaratief framework dat de complexiteit van het bouwen en beheren van efficiënte batch- en streaminggegevenspijplijnen verlaagt. Lakeflow SDP breidt uit en werkt samen met Apache Spark-declaratieve pijplijnen, terwijl deze wordt uitgevoerd op de voor prestaties geoptimaliseerde Databricks Runtime. SDP orkestreert automatisch de uitvoering van dataflows, sinks, streamingtabellen en gematerialiseerde weergaven door ze te encapsuleren en als een pijplijn uit te voeren. Zie declaratieve pijplijnen van Lakeflow Spark.

Eigenschap Beschrijving
Stromen Gegevensstromen verwerken informatie in pijplijnen. De stromen-API maakt gebruik van dezelfde DataFrame-API als Apache Spark en Structured Streaming. Een gegevensstroom kan schrijven naar streamingtabellen en sinks, zoals een Kafka-onderwerp, met behulp van streaming-semantiek, of naar een gematerialiseerde weergave schrijven met behulp van batch-semantiek.
Streamingtabellen Een streamingtabel is een Delta-tabel met extra ondersteuning voor streaming of incrementele gegevensverwerking. Het fungeert als een doel voor een of meer stromen in pijplijnen.
gematerialiseerde weergaven Een gematerialiseerde weergave is een weergave met gecachte resultaten voor snellere toegang. Een gerealiseerde weergave fungeert als een doel voor pijplijnen.
Wasbakken Pijplijnen ondersteunen externe gegevenssinks als doelen. Deze sinks kunnen streamingservices voor gebeurtenissen bevatten, zoals Apache Kafka of Azure Event Hubs, externe tabellen die worden beheerd door Unity Catalog of aangepaste sinks die zijn gedefinieerd in Python.

Lakeflow Banen

Lakeflow Jobs bieden betrouwbare coördinatie en productiemonitoring voor elke gegevens- en AI-werklast. Een taak kan bestaan uit een of meer taken die notebooks, pijplijnen, beheerde connectors, SQL-query's, machine learning-training en modelimplementatie en -deductie uitvoeren. Taken ondersteunen ook aangepaste controlestroomlogica, zoals vertakkingen met if/else-instructies en loops met for each instructies. Zie Lakeflow Jobs.

Eigenschap Beschrijving
Banen Taken zijn de primaire bron voor orkestratie. Ze vertegenwoordigen een proces dat u op geplande basis wilt uitvoeren.
taken Een specifieke werkeenheid binnen een taak. Er zijn verschillende taaktypen die u een scala aan opties bieden die binnen een taak kunnen worden uitgevoerd.
Besturing in processen Met controlestroomtaken kunt u bepalen of u andere taken wilt uitvoeren of de volgorde van taken die moeten worden uitgevoerd.

Databricks Runtime voor Apache Spark

Databricks Runtime is een betrouwbare en prestatiegeoptimeerde rekenomgeving voor het uitvoeren van Spark-workloads, waaronder batch- en streamingbewerkingen. Databricks Runtime biedt Photon, een krachtige systeemeigen query-engine van Databricks die vectorisatie gebruikt, en verschillende infrastructuuroptimalisaties, zoals autoscaling. U kunt uw Spark- en Structured Streaming-workloads uitvoeren op de Databricks Runtime door uw Spark-programma's te bouwen als notebooks, JAR's of Python-wielen. Zie Databricks Runtime voor Apache Spark.

Eigenschap Beschrijving
Apache Spark op Databricks Spark vormt het hart van het Databricks Data Intelligence Platform.
Gestructureerd streamen Structured Streaming is de nagenoeg realtime verwerkingsengine van Spark voor streaming-gegevens.

Wat is er gebeurd met Delta Live Tables (DLT)?

Als u bekend bent met Delta Live Tables (DLT), raadpleegt u Wat is er gebeurd met Delta Live Tables (DLT)?.

Aanvullende bronnen

  • Last updated on