Udostępnij za pośrednictwem

Środowisko uruchomieniowe sieci szkieletowej 1.3 (publiczna wersja zapoznawcza)

  • Artykuł

Środowisko uruchomieniowe sieci szkieletowej oferuje bezproblemową integrację z platformą Azure. Zapewnia zaawansowane środowisko zarówno dla projektów inżynierii danych, jak i nauki o danych korzystających z platformy Apache Spark. Ten artykuł zawiera omówienie podstawowych funkcji i składników środowiska Fabric Runtime 1.3, najnowszego środowiska uruchomieniowego do obliczeń danych big data.

Środowisko Fabric Runtime 1.3 zawiera następujące składniki i uaktualnienia zaprojektowane w celu zwiększenia możliwości przetwarzania danych:

  • Apache Spark 3.5
  • System operacyjny: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Lake: 3.1
  • R: 4.3.3

Uwaga

Środowisko Fabric Runtime 1.3 jest obecnie na etapie publicznej wersji zapoznawczej. Integracje z programem VSCode i funkcją Scalanie niskiego poziomu nie są obsługiwane w publicznej wersji zapoznawczej.

Skorzystaj z poniższych instrukcji, aby zintegrować środowisko uruchomieniowe 1.3 z obszarem roboczym i korzystać z jego nowych funkcji:

  1. Przejdź do karty Ustawienia obszaru roboczego w obszarze roboczym Sieć szkieletowa.
  2. Przejdź do karty inżynierowie danych/nauki i wybierz pozycję Ustawienia platformy Spark.
  3. Wybierz kartę Środowisko.
  4. Na liście rozwijanej Wersje środowiska uruchomieniowego wybierz pozycję 1.3 Publiczna wersja zapoznawcza (Spark 3.5, Delta 3.1) i zapisz zmiany. Ta akcja ustawia 1.3 jako domyślne środowisko uruchomieniowe dla obszaru roboczego.

Zrzut ekranu przedstawiający miejsce wybierania wersji środowiska uruchomieniowego.

Teraz możesz rozpocząć pracę z najnowszymi ulepszeniami i funkcjami wprowadzonymi w środowisku uruchomieniowym sieci Szkieletowej 1.3 (Spark 3.5 i Delta Lake 3.1).

Napiwek

Aby uzyskać aktualne informacje, szczegółową listę zmian i konkretne informacje o wersji dla środowisk uruchomieniowych sieci Szkieletowej, sprawdź i subskrybuj wersje i aktualizacje środowiska uruchomieniowego platformy Spark.

Najważniejsze aspekty

Apache Spark 3.5

Apache Spark 3.5.0 to szósta wersja z serii 3.x. Ta wersja jest produktem rozbudowanej współpracy w społeczności open source, zajmując się ponad 1300 problemami zarejestrowanymi w programie Jira.

W tej wersji istnieje uaktualnienie w zgodności ze strukturą przesyłania strumieniowego. Ponadto ta wersja rozszerza funkcjonalność programu PySpark i SQL. Dodaje ona funkcje, takie jak klauzula identyfikatora SQL, nazwane argumenty w wywołaniach funkcji SQL i włączenie funkcji SQL dla przybliżonych agregacji funkcji HyperLogLog. Inne nowe możliwości obejmują również funkcje tabeli zdefiniowane przez użytkownika w języku Python, uproszczenie trenowania rozproszonego za pośrednictwem deepSpeed oraz nowe funkcje przesyłania strumieniowego ze strukturą, takie jak propagacja znaku wodnego i operacja dropDuplicatesWithinWatermark .

Pełną listę i szczegółowe zmiany można sprawdzić tutaj: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Usługa Delta Lake 3.1 oznacza zbiorowe zobowiązanie do współpracy usługi Delta Lake w różnych formatach, łatwiejsze do pracy i bardziej wydajne. Platforma Delta Spark 3.1.0 jest oparta na platformie Apache Spark™ 3.5. Nazwa artefaktu maven platformy Delta Spark została zmieniona z delta-core na delta-spark.

Pełną listę i szczegółowe zmiany można sprawdzić tutaj: https://docs.delta.io/3.1.0/index.html.

Uwaga

Podziel się swoją opinią na temat środowiska Fabric Runtime na platformie Pomysły. Pamiętaj, aby wspomnieć o etapie wersji i wydania, do którego się odwołujesz. Cenimy opinie społeczności i ustalamy priorytety ulepszeń na podstawie głosów, upewniając się, że spełniamy potrzeby użytkowników.

Powiązana zawartość