Apa yang baru dan direncanakan untuk Synapse Rekayasa Data di Microsoft Fabric
Penting
Rencana rilis menjelaskan fungsionalitas yang mungkin atau mungkin belum dirilis. Garis waktu pengiriman dan fungsionalitas yang diproyeksikan dapat berubah atau mungkin tidak dikirim. Lihat kebijakan Microsoft untuk informasi selengkapnya.
Synapse Rekayasa Data memberdayakan teknisi data untuk dapat mengubah data mereka dalam skala besar menggunakan Spark dan membangun arsitektur lakehouse mereka.
Lakehouse untuk semua data organisasi Anda: Lakehouse menggabungkan yang terbaik dari data lake dan gudang data dalam satu pengalaman. Ini memungkinkan pengguna untuk menyerap, menyiapkan, dan berbagi data organisasi dalam format terbuka di lake. Nantinya Anda dapat mengaksesnya melalui beberapa mesin seperti Spark, T-SQL, dan Power BI. Ini menyediakan berbagai opsi integrasi data seperti aliran data dan alur, pintasan ke sumber data eksternal, dan kemampuan berbagi produk data.
Mesin Spark berkinerja & runtime: Rekayasa Data Synapse memberi pelanggan runtime Spark yang dioptimalkan dengan versi terbaru Spark, Delta, dan Python.. Ini menggunakan Delta Lake sebagai format tabel umum untuk semua mesin, memungkinkan berbagi dan pelaporan data yang mudah tanpa pergerakan data. Runtime dilengkapi dengan pengoptimalan Spark, meningkatkan performa kueri Anda tanpa konfigurasi apa pun. Ini juga menawarkan kumpulan pemula dan mode konkurensi tinggi untuk mempercepat dan menggunakan kembali sesi Spark Anda, menghemat waktu dan biaya Anda.
Admin & konfigurasi Spark: Admin ruang kerja dengan izin yang sesuai dapat membuat dan mengonfigurasi kumpulan kustom untuk mengoptimalkan performa dan biaya beban kerja Spark mereka. Pembuat dapat mengonfigurasi lingkungan untuk menginstal pustaka, memilih versi runtime, dan mengatur properti Spark untuk notebook dan pekerjaan Spark mereka.
Pengalaman Pengembang: Pengembang dapat menggunakan notebook, pekerjaan Spark, atau IDE pilihan mereka untuk menulis dan menjalankan kode Spark di Fabric. Mereka dapat mengakses data lakehouse secara asli, berkolaborasi dengan orang lain, menginstal pustaka, melacak riwayat, melakukan pemantauan sebaris, dan mendapatkan rekomendasi dari penasihat Spark. Mereka juga dapat menggunakan Data Wrangler untuk menyiapkan data dengan mudah dengan UI kode rendah.
Integrasi Platform: Semua item rekayasa data Synapse, termasuk notebook, pekerjaan Spark, lingkungan, dan lakehouse, terintegrasi secara mendalam ke dalam platform Fabric (kemampuan manajemen informasi perusahaan, silsilah data, label sensitivitas, dan dukungan).
Area investasi
| Fitur | Estimasi garis waktu rilis |
|---|---|
| Konkurensi tinggi dalam alur | Q3 2024 |
| Visual Studio Code untuk Web - dukungan penelusuran kesalahan | Q3 2024 |
| Ekstensi Inti VSCode untuk Fabric | Q3 2024 |
| Ekstensi Satelit VSCode untuk Fungsi Data Pengguna di Fabric | Q3 2024 |
| Kemampuan untuk mengurutkan dan memfilter tabel dan folder di Lakehouse | Q4 2024 |
| API pemantauan publik | Q4 2024 |
| Keamanan data Lakehouse | Q4 2024 |
| Dukungan skema dan ruang kerja di namespace layanan di Lakehouse | Dikirim (Q3 2024) |
| Konektor Spark untuk Gudang Data Fabric | Dikirim (Q2 2024) |
| Mesin Eksekusi Asli Spark | Dikirim (Q2 2024) |
| Membuat dan melampirkan lingkungan | Dikirim (Q2 2024) |
| Microsoft Fabric API untuk GraphQL | Dikirim (Q2 2024) |
| Antrean Pekerjaan untuk Pekerjaan Buku Catatan | Dikirim (Q2 2024) |
| Penerimaan Pekerjaan Optimis untuk Fabric Spark | Dikirim (Q2 2024) |
| Spark autotune | Dikirim (Q1 2024) |
Konkurensi tinggi dalam alur
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Ketersediaan umum
Selain konkurensi tinggi dalam notebook, kami juga akan mengaktifkan konkurensi tinggi dalam alur. Kemampuan ini akan memungkinkan Anda menjalankan beberapa buku catatan dalam alur dengan satu sesi.
Visual Studio Code untuk Web - dukungan penelusuran kesalahan
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Visual Studio Code untuk Web saat ini didukung dalam Pratinjau untuk skenario penulisan dan eksekusi. Kami menambahkan ke daftar kemampuan untuk men-debug kode menggunakan ekstensi ini untuk notebook.
Ekstensi Inti VSCode untuk Fabric
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Core VSCode Extension for Fabric akan memberikan dukungan pengembang umum untuk layanan Fabric.
Ekstensi Satelit VSCode untuk Fungsi Data Pengguna di Fabric
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Ekstensi Satelit VSCode untuk Fungsi Data Pengguna akan menyediakan dukungan pengembang (pengeditan, pembuatan, penelusuran kesalahan, penerbitan) untuk Fungsi Data Pengguna di Fabric.
Kemampuan untuk mengurutkan dan memfilter tabel dan folder di Lakehouse
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Ketersediaan umum
Fitur ini memungkinkan pelanggan untuk mengurutkan dan memfilter tabel dan folder mereka di Lakehouse dengan beberapa metode yang berbeda, termasuk abjad, tanggal yang dibuat, dan banyak lagi.
API pemantauan publik
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Ketersediaan umum
API pemantauan publik akan memungkinkan Anda untuk secara terprogram mengambil status pekerjaan Spark, ringkasan pekerjaan, dan log driver dan eksekutor yang sesuai.
Keamanan data Lakehouse
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Anda akan memiliki kemampuan untuk menerapkan keamanan file, folder, dan tabel (atau tingkat objek) di lakehouse. Anda juga dapat mengontrol siapa yang dapat mengakses data di lakehouse, dan tingkat izin yang mereka miliki. Misalnya, Anda dapat memberikan izin baca pada file, folder, dan tabel. Setelah izin diterapkan, izin tersebut secara otomatis disinkronkan di semua mesin. Yang berarti, izin tersebut konsisten di seluruh mesin Spark, SQL, Power BI, dan eksternal.
Fitur yang dikirim
Dukungan skema dan ruang kerja di namespace layanan di Lakehouse
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Ini akan memungkinkan untuk menata tabel menggunakan skema dan data kueri di seluruh ruang kerja.
Konektor Spark untuk Gudang Data Fabric
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Konektor Spark untuk Fabric DW (Gudang Data) memberdayakan pengembang Spark atau ilmuwan data untuk mengakses dan mengerjakan data dari Fabric Data Warehouse dengan API Spark yang disederhanakan, yang secara harfiah hanya berfungsi dengan satu baris kode. Ini menawarkan kemampuan untuk mengkueri data, secara paralel, dari gudang data Fabric sehingga menskalakan dengan meningkatkan volume data dan menghormati model keamanan (OLS/RLS/CLS) yang ditentukan pada tingkat gudang data saat mengakses tabel atau tampilan. Rilis pertama ini akan mendukung pembacaan data saja dan dukungan untuk menulis data kembali akan segera hadir.
Mesin Eksekusi Asli Spark
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Mesin eksekusi asli adalah peningkatan groundbreaking untuk eksekusi pekerjaan Apache Spark di Microsoft Fabric. Mesin vektorisasi ini mengoptimalkan performa dan efisiensi kueri Spark Anda dengan menjalankannya langsung pada infrastruktur lakehouse Anda. Integrasi tanpa hambatan mesin berarti tidak memerlukan modifikasi kode dan menghindari penguncian vendor. Ini mendukung API Apache Spark dan kompatibel dengan Runtime 1.2 (Spark 3.4), dan berfungsi dengan format Parquet dan Delta. Terlepas dari lokasi data Anda di OneLake, atau jika Anda mengakses data melalui pintasan, mesin eksekusi asli memaksimalkan efisiensi dan performa
Membuat dan melampirkan lingkungan
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Untuk mengkustomisasi pengalaman Spark Anda pada tingkat yang lebih terperinci, Anda dapat membuat dan melampirkan lingkungan ke buku catatan dan pekerjaan Spark Anda. Di lingkungan, Anda dapat menginstal pustaka, mengonfigurasi kumpulan baru, mengatur properti Spark, dan mengunggah skrip ke sistem file. Ini memberi Anda lebih banyak fleksibilitas dan kontrol atas beban kerja Spark Anda, tanpa memengaruhi pengaturan default ruang kerja. Sebagai bagian dari GA, kami melakukan berbagai peningkatan pada lingkungan termasuk dukungan API dan integrasi CI/CD.
Microsoft Fabric API untuk GraphQL
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
API untuk GraphQL akan memungkinkan teknisi data Fabric, ilmuwan, arsitek solusi data untuk dengan mudah mengekspos dan mengintegrasikan data Fabric, untuk aplikasi analitik yang lebih responsif, berkinerja dan kaya, memanfaatkan kekuatan dan fleksibilitas GraphQL.
Antrean Pekerjaan untuk Pekerjaan Buku Catatan
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Fitur ini memungkinkan Spark Notebooks terjadwal untuk diantrekan ketika penggunaan Spark berada pada jumlah maksimum pekerjaan yang dapat dijalankan secara paralel dan kemudian dijalankan setelah penggunaan turun kembali di bawah jumlah maksimum pekerjaan paralel yang diizinkan.
Penerimaan Pekerjaan Optimis untuk Fabric Spark
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Dengan Penerimaan Pekerjaan Optimis, Fabric Spark hanya mencadangkan jumlah minimum inti yang perlu dimulai oleh pekerjaan, berdasarkan jumlah minimum simpul yang dapat diturunkan skala pekerjaannya. Hal ini memungkinkan lebih banyak pekerjaan untuk diakui jika ada cukup sumber daya untuk memenuhi persyaratan minimum. Jika pekerjaan perlu ditingkatkan nanti, permintaan peningkatan skala disetujui atau ditolak berdasarkan inti yang tersedia dalam kapasitas.
Spark autotune
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Autotune menggunakan pembelajaran mesin untuk menganalisis eksekusi pekerjaan Spark Anda sebelumnya secara otomatis dan menyetel konfigurasi untuk mengoptimalkan performa. Ini mengonfigurasi bagaimana data Anda dipartisi, digabungkan, dan dibaca oleh Spark. Dengan cara ini akan secara signifikan meningkatkan performa. Kami telah melihat pekerjaan pelanggan berjalan 2x lebih cepat dengan kemampuan ini.