Dela via

Fabric Runtime 2.0 (förhandsversion)

Viktigt!

Den här funktionen är i förhandsversion.

Fabric Runtime levererar sömlös integrering i Microsoft Fabric-ekosystemet och erbjuder en robust miljö för datateknik och datavetenskapsprojekt som drivs av Apache Spark.

Den här artikeln introducerar offentlig förhandsversion av Fabric Runtime 2.0, den senaste körmiljön som är utformad för stordataberäkningar för Microsoft Fabric. Den belyser de viktigaste funktionerna och komponenterna som gör den här versionen till ett viktigt steg framåt för skalbar analys och avancerade arbetsbelastningar.

Fabric Runtime 2.0 innehåller följande komponenter och uppgraderingar som är utformade för att förbättra dina databehandlingsfunktioner:

  • Apache Spark 4.0
  • Operativsystem: Azure Linux 3.0 (Mariner 3.0)
  • Java: 21
  • Scala: 2.13
  • Python: 3.12
  • Delta lake: 4.0
  • R: 4.5.2

Tips/Råd

Fabric Runtime 2.0 har stöd för den interna körningsmotorn, vilket avsevärt kan förbättra prestandan utan mer kostnader. Du kan aktivera den inbyggda exekveringsmotorn på miljönivå så att alla jobb och notebook-filer automatiskt ärver de förbättrade prestandaförmågorna.

Aktivera Runtime 2.0

Du kan aktivera Runtime 2.0 på antingen arbetsytenivå eller miljöobjektnivå. Använd arbetsyteinställningen för att tillämpa Runtime 2.0 som standard för alla Spark-arbetsbelastningar på din arbetsyta. Du kan också skapa ett miljöobjekt med Runtime 2.0 som ska användas med specifika notebook-filer eller Spark-jobbdefinitioner, vilket åsidosätter standardinställningen för arbetsytan.

Aktivera Runtime 2.0 i arbetsyteinställningar

Så här anger du Runtime 2.0 som standard för hela arbetsytan:

  1. Gå till sidan Inställningar för arbetsyta i din Fabric-arbetsyta.

    Skärmbild som visar var du väljer körningsversion för arbetsyteinställningar.

  2. Välj fliken Datateknik/vetenskap och välj sedan Spark-inställningar.

  3. Välj fliken Miljö.

  4. Under listrutan Körningsversion väljer du 2.0 Offentlig förhandsversion (Spark 4.0, Delta 4.0) och sparar ändringarna.

  5. Runtime 2.0 har ställts in som standardkörning för din arbetsyta.

Aktivera Runtime 2.0 i ett miljöobjekt

För att använda Runtime 2.0 med specifika anteckningsböcker eller Spark-jobbdefinitioner:

  1. Skapa ett nytt miljöobjekt eller öppna ett befintligt objekt.

  2. Under listrutan Körning väljer du 2.0 Offentlig förhandsversion (Spark 4.0, Delta 4.0)Save och Publish dina ändringar.

    Skärmbild som visar var du väljer körningsversion för miljöobjekt.

  3. Sedan kan du använda det här miljöobjektet med ditt Notebook eller Spark Job Definition.

Nu kan du börja experimentera med de senaste förbättringarna och funktionerna som introducerades i Fabric Runtime 2.0 (Spark 4.0 och Delta Lake 4.0).

Anmärkning

WASB-protokollet för GPv2(General Purpose v2) Azure Storage-konton är inaktuellt. Du bör använda det senaste ABFS-protokollet i stället för att läsa från och skriva till GPv2-lagringskonton.

Offentlig förhandsversion

Den offentliga förhandsversionen av Fabric Runtime 2.0 ger dig åtkomst till nya funktioner och API:er från både Spark 4.0 och Delta Lake 4.0. Med förhandsversionen kan du använda de senaste Spark- och Delta-baserade förbättringarna direkt samt säkerställa en smidig beredskap och övergång för förbättrade och förbättrade ändringar som nyare Java-, Scala- och Python-versioner.

Tips/Råd

För uppdaterad information, en detaljerad lista över ändringar och specifika versionsanteckningar för Fabric-körtider, kontrollera och prenumerera på utgåvor och uppdateringar av Spark-körtider.

Viktiga höjdpunkter

Apache Spark 4.0

Apache Spark 4.0 markerar en viktig milstolpe som den första versionen i 4.x-serien, som förkroppsligar den samlade ansträngningen i den livliga communityn med öppen källkod.

I den här versionen är Spark SQL avsevärt berikat med kraftfulla nya funktioner som är utformade för att öka uttryckskraften och mångsidigheten för SQL-arbetsbelastningar, till exempel stöd för VARIANT-datatyp, användardefinierade SQL-funktioner, sessionsvariabler, pipe-syntax och strängsortering. PySpark ser ett kontinuerligt engagemang för både dess funktionella bredd och den övergripande utvecklarupplevelsen, vilket ger ett inbyggt api för plottning, ett nytt API för Python-datakälla, stöd för Python-UDF:er och enhetlig profilering för PySpark-UDF:er, tillsammans med många andra förbättringar. Strukturerad strömning utvecklas med viktiga tilläggsfunktioner som ger bättre kontroll och enklare felsökning, särskilt införandet av det godtyckliga tillstånds-API v2 för mer flexibel tillståndshantering och State Data Source för enklare felsökning.

Du kan kontrollera hela listan och detaljerade ändringar här: https://spark.apache.org/releases/spark-release-4-0-0.html.

Anmärkning

I Spark 4.0 är SparkR inaktuellt och kan tas bort i en framtida version.

Delta lake 4.0

Delta Lake 4.0 markerar ett gemensamt åtagande att göra Delta Lake samverkande mellan format, enklare att arbeta med och mer högpresterande. Delta 4.0 är en milstolpeversion fullspäckad med kraftfulla nya funktioner, prestandaoptimeringar och grundläggande förbättringar för framtiden för öppna datasjöhus.

Du kan kontrollera hela listan och detaljerade ändringar som introduceras med Delta Lake 3.3 och 4.0 här: https://github.com/delta-io/delta/releases/tag/v3.3.0. https://github.com/delta-io/delta/releases/tag/v4.0.0.

Viktigt!

Delta Lake 4.0-specifika funktioner är experimentella och fungerar bara med Spark-upplevelser, till exempel notebook-filer och Spark-jobbdefinitioner. Om du behöver använda samma Delta Lake-tabeller i flera Microsoft Fabric-arbetsbelastningar ska du inte aktivera dessa funktioner. Mer information om vilka protokollversioner och funktioner som är kompatibla för alla Microsoft Fabric-upplevelser finns i Delta Lake-tabellformatets samverkan.

Relaterat innehåll

  • Last updated on