Menjalankan skrip U-SQL di komputer lokal Anda
Penting
Azure Data Lake Analytics pensiun pada 29 Februari 2024. Pelajari lebih lanjut dengan pengumuman ini.
Untuk analitik data, organisasi Anda dapat menggunakan Azure Synapse Analytics atau Microsoft Fabric.
Ketika mengembangkan skrip U-SQL, Anda dapat menghemat waktu dan biaya dengan menjalankan skrip secara lokal. Azure Data Lake Tools for Visual Studio mendukung menjalankan skrip U-SQL di komputer lokal Anda.
Konsep dasar untuk eksekusi lokal
Bagan berikut menunjukkan komponen untuk dijalankan secara lokal dan bagaimana komponen ini dipetakan untuk eksekusi cloud.
| Komponen | Eksekusi lokal | Eksekusi cloud |
|---|---|---|
| Penyimpanan | Folder akar data lokal | Akun Default Azure Data Lake Store |
| Compute | Mesin eksekusi lokal U-SQL | Layanan Azure Data Lake Analytics |
| Menjalankan lingkungan | Direktori kerja pada komputer lokal | Kluster Azure Data Lake Analytics |
Bagian berikut memberikan informasi selengkapnya tentang komponen yang dijalankan secara lokal.
Folder akar data lokal
Folder akar data lokal adalah penyimpanan lokal untuk akun komputasi lokal. Folder apa pun dalam sistem file lokal pada komputer lokal Anda dapat menjadi folder akar data lokal. Hal ini sama dengan akun Default Azure Data Lake Store dari akun Azure Data Lake Analytics. Beralih ke folder akar data yang berbeda sama seperti beralih ke akun penyimpanan default yang berbeda.
Folder akar data digunakan sebagai berikut:
- Simpan metadata. Contohnya adalah database, tabel, fungsi bernilai tabel, dan assembly.
- Cari jalur input dan output yang didefinisikan sebagai jalur relatif dalam skrip U-SQL. Dengan menggunakan jalur relatif, lebih mudah untuk menyebarkan skrip U-SQL Anda ke Azure.
Mesin eksekusi lokal U-SQL
Mesin eksekusi lokal U-SQL adalah akun komputasi lokal untuk pekerjaan U-SQL. Pengguna dapat menjalankan pekerjaan U-SQL secara lokal melalui Azure Data Lake Tools for Visual Studio. Jalur lokal juga didukung melalui baris perintah SDK U-SQL Azure Data Lake dan antarmuka pemrograman. Pelajari selengkapnya tentang SDK U-SQL Azure Data Lake.
Direktori kerja
Saat menjalankan skrip U-SQL, folder direktori kerja diperlukan untuk menyimpan hasil kompilasi, log eksekusi, dan melakukan fungsi lainnya. Di Azure Data Lake Tools for Visual Studio, direktori kerja adalah direktori kerja proyek U-SQL. Hal ini terletak di bagian <U-SQL project root path>/bin/debug>. Direktori kerja dihapus setiap kali eksekusi baru dipicu.
Eksekusi lokal di Microsoft Visual Studio
Azure Data Lake Tools for Visual Studio memiliki mesin eksekusi lokal bawaan. Alat-alat ini menampilkan mesin sebagai akun komputasi lokal. Untuk menjalankan skrip U-SQL secara lokal, pilih akun Mesin lokal atau Proyek lokal di menu drop-down margin editor skrip. Lalu pilih Kirim.
Eksekusi lokal dengan akun Komputer lokal
Akun Komputer lokal adalah akun komputasi lokal bersama dengan satu folder akar data lokal sebagai akun penyimpanan lokal. Secara default, folder akar data terletak di C:\Users<username>\AppData\Local\USQLDataRoot. Hal ini juga dapat dikonfigurasi melalui Alat>Data Lake>Opsi dan Pengaturan.
Proyek U-SQL diperlukan untuk eksekusi lokal. Direktori kerja proyek U-SQL digunakan untuk direktori kerja U-SQL yang dijalankan secara lokal. Hasil kompilasi, log eksekusi, dan file terkait eksekusi pekerjaan lainnya dibuat dan disimpan di bagian folder direktori kerja selama eksekusi lokal. Setiap kali menjalankan ulang skrip, semua file di direktori kerja dihapus dan dibuat ulang.
Eksekusi lokal dengan akun Proyek lokal
Akun Proyek lokal adalah akun komputasi lokal yang diisolasi proyek untuk setiap proyek dengan folder akar data lokal yang terisolasi. Setiap proyek U-SQL aktif yang dibuka di Penjelajah Solusi di Visual Studio memiliki akun (Local-project: <project name>) yang sesuai. Akun terdaftar di Penjelajah Server di Visual Studio dan margin editor skrip U-SQL.
Akun Proyek lokal menyediakan lingkungan pengembangan yang bersih dan terisolasi. Akun Komputer lokal memiliki folder akar data lokal bersama yang menyimpan metadata serta data input dan output untuk semua pekerjaan lokal. Tetapi akun Proyek lokal membuat folder akar data lokal sementara di bagian direktori kerja proyek U-SQL setiap kali skrip U-SQL dijalankan. Folder akar data sementara ini dihapus ketika terjadi pembangunan ulang atau eksekusi ulang.
Proyek U-SQL mengelola lingkungan eksekusi lokal yang diisolasi melalui referensi proyek dan properti. Anda dapat mengonfigurasi sumber data input untuk skrip U-SQL di lingkungan proyek dan database yang direferensikan.
Mengelola sumber data input untuk akun Proyek lokal
Proyek U-SQL membuat folder akar data lokal dan menyiapkan data untuk akun Proyek lokal. Folder akar data sementara dihapus dan dibuat ulang di bagian direktori kerja proyek U-SQL setiap kali pembangunan kembali dan eksekusi lokal terjadi. Semua sumber data yang dikonfigurasi oleh proyek U-SQL disalin ke folder akar data lokal sementara ini sebelum eksekusi lokal berjalan.
Anda dapat mengonfigurasi folder akar sumber data Anda. Klik kanan Proyek U-SQL>Properti>Sumber Data Uji. Saat Anda menjalankan skrip U-SQL di akun Proyek lokal, semua file dan subfolder di folder Sumber Data Uji disalin ke folder akar data lokal sementara. File di bagian subfolder disertakan. Setelah pekerjaan lokal berjalan, hasil output juga dapat ditemukan di bagian folder akar data lokal sementara di direktori kerja proyek. Semua output ini dihapus dan dibersihkan ketika proyek dibangun kembali dan dibersihkan.
Mengelola lingkungan database yang direferensikan untuk akun Proyek lokal
Jika menggunakan kueri U-SQL atau kueri dengan objek database U-SQL, Anda harus membuat lingkungan database yang siap secara lokal sebelum menjalankan skrip U-SQL secara lokal. Untuk akun Proyek lokal, dependensi database U-SQL dapat dikelola oleh referensi proyek U-SQL. Anda dapat menambahkan referensi proyek database U-SQL ke proyek U-SQL. Sebelum menjalankan skrip U-SQL di akun Proyek lokal, semua database yang direferensikan disebarkan ke folder akar data lokal sementara. Dan untuk setiap eksekusi, folder akar data sementara akan dibersihkan sebagai lingkungan terisolasi yang segar.
Lihat artikel terkait ini:
- Pelajari cara mengelola definisi dan referensi database U-SQL dalam proyek database U-SQL.
Perbedaan antara akun Komputer lokal dan Proyek lokal
Akun Komputer lokal mensimulasikan akun Azure Data Lake Analytics di komputer lokal pengguna. Hal ini berbagi pengalaman yang sama dengan akun Azure Data Lake Analytics. Akun Proyek lokal menyediakan lingkungan pengembangan lokal yang ramah pengguna. Lingkungan ini membantu pengguna menerapkan referensi database dan memasukkan data sebelum mereka menjalankan skrip secara lokal. Akun Komputer lokal menyediakan lingkungan permanen bersama yang dapat diakses melalui semua proyek. Akun Proyek lokal menyediakan lingkungan pengembangan yang terisolasi untuk setiap proyek. Hal ini di-refresh untuk setiap eksekusi. Akun Proyek lokal menawarkan pengalaman pengembangan yang lebih cepat dengan menerapkan perubahan baru dengan cepat.
Perbedaan lainnya antara akun Komputer lokal dan Proyek lokal ditampilkan dalam tabel berikut:
| Sudut perbedaan | Komputer lokal | Proyek lokal |
|---|---|---|
| Akses lokal | Dapat diakses semua proyek. | Hanya proyek sesuai yang dapat mengakses akun ini. |
| Folder akar data lokal | Folder lokal permanen. Dikonfigurasi melalui Alat>Data Lake>Opsi dan Pengaturan. | Folder sementara yang dibuat untuk setiap eksekusi lokal di bagian direktori kerja proyek U-SQL. Folder akan dibersihkan ketika pembangunan ulang atau eksekusi ulang terjadi. |
| Menginput data untuk skrip U-SQL | Jalur relatif di bagian folder akar data lokal permanen. | Tetapkan melalui properti proyek U-SQL>Sumber Data Uji. Semua file dan subfolder disalin ke folder akar data sementara sebelum dijalankan secara lokal. |
| Data output untuk skrip U-SQL | Jalur relatif di bagian folder akar data lokal permanen. | Output ke folder akar data sementara. Folder akan dibersihkan ketika pembangunan ulang atau eksekusi ulang dijalankan. |
| Penyebaran database yang direferensikan | Database yang direferensikan tidak disebarkan secara otomatis saat berjalan di akun Komputer lokal. Hal ini juga berlaku untuk mengirim ke akun Azure Data Lake Analytics. | Database yang direferensikan disebarkan ke akun Proyek lokal secara otomatis sebelum dijalankan secara lokal. Semua lingkungan database dibersihkan dan disebarkan ketika pembangunan atau eksekusi ulang dijalankan. |
Eksekusi lokal dengan SDK U-SQL
Anda dapat menjalankan skrip U-SQL secara lokal di Visual Studio dan juga menggunakan SDK U-SQL Azure Data Lake untuk menjalankan skrip U-SQL secara lokal dengan antarmuka baris perintah dan pemrograman. Melalui antarmuka ini, Anda dapat mengotomatiskan eksekusi dan pengujian lokal U-SQL.
Pelajari selengkapnya tentang SDK U-SQL Azure Data Lake.