Menyiapkan lab untuk analitik big data di Azure Lab Services menggunakan penyebaran Docker HortonWorks Data Platform
Catatan
Artikel ini mereferensikan fitur yang tersedia dalam paket lab, yang menggantikan akun lab.
Artikel ini menjelaskan cara menyiapkan lab untuk mengajarkan kelas analitik data besar. Kelas analitik big data mengajarkan pengguna cara menangani data dalam volume besar. Ini juga mengajarkan mereka untuk menerapkan algoritma pembelajaran mesin dan statistik untuk mendapatkan wawasan data. Tujuan utamanya adalah untuk mempelajari cara menggunakan alat analitik data, seperti paket perangkat lunak sumber terbuka Apache Hadoop. Paket perangkat lunak ini menyediakan alat untuk menyimpan, mengelola, dan memproses big data.
Di lab ini, pengguna lab bekerja dengan hadoop versi komersial populer yang disediakan oleh Cloudera, yang disebut Hortonworks Data Platform (HDP). Secara khusus, pengguna lab menggunakan HDP Sandbox 3.0.1 yang merupakan versi platform yang disederhanakan dan mudah digunakan. HDP Sandbox 3.0.1 juga gratis dan ditujukan untuk pembelajaran dan eksperimen. Meskipun kelas ini dapat menggunakan komputer virtual (VM) Windows atau Linux dengan HDP Sandbox yang disebarkan. Artikel ini memperlihatkan kepada Anda cara menggunakan Windows.
Aspek menarik lainnya adalah Anda menyebarkan HDP Sandbox pada VM lab menggunakan kontainer Docker . Setiap kontainer Docker menyediakan lingkungan terisolasinya sendiri agar aplikasi perangkat lunak dapat berjalan di dalamnya. Secara konseptual, kontainer Docker seperti VM bertingkat dan dapat digunakan untuk menyebarkan dan menjalankan berbagai aplikasi perangkat lunak dengan mudah berdasarkan citra kontainer yang disediakan di Docker Hub. Skrip penyebaran Cloudera untuk HDP Sandbox otomatis menarik citra HDP Sandbox 3.0.1 Docker dari Docker Hub dan menjalankan dua kontainer Docker:
- sandbox-hdp
- sandbox-proxy
Prasyarat
Untuk menyiapkan lab ini, Anda memerlukan akses ke langganan Azure. Diskusikan dengan administrator organisasi Anda untuk melihat apakah Anda bisa mendapatkan akses ke langganan Azure yang sudah ada. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai.
Konfigurasi lab
Pengaturan paket lab
Setelah memiliki langganan Azure, Anda dapat membuat paket lab di Azure Lab Services. Untuk informasi selengkapnya tentang membuat paket lab baru, lihat Mulai Cepat: Menyiapkan sumber daya untuk membuat lab. Anda juga dapat menggunakan paket lab yang ada.
Lab ini menggunakan gambar Marketplace Azure Windows 10 Pro sebagai gambar VM dasar. Anda harus terlebih dahulu mengaktifkan gambar ini dalam paket lab Anda. Ini memungkinkan pembuat lab kemudian memilih gambar sebagai gambar dasar untuk lab mereka.
Ikuti langkah-langkah ini untuk mengaktifkan gambar Marketplace Azure ini yang tersedia untuk pembuat lab. Pilih salah satu gambar Marketplace Azure Windows 10.
Pengaturan lab
Buat lab untuk rencana lab Anda. Untuk petunjuk tentang cara membuat lab, lihat Tutorial: Menyiapkan lab. Gunakan pengaturan berikut saat membuat lab.
| Pengaturan lab | Nilai/petunjuk |
|---|---|
| Ukuran Komputer Virtual | Sedang (Virtualisasi Berlapis). Ini adalah ukuran VM yang paling cocok untuk database hubungan, penembolokan dalam memori, dan analitik. Ukurannya juga mendukung virtualisasi berlapis. |
| Citra Komputer Virtual | Windows 10 Pro |
Catatan
Gunakan ukuran VM Medium (Nested Virtualization) karena HDP Sandbox menggunakan Docker memerlukan Windows Hyper-V dengan virtualisasi berlapis dan setidaknya 10 GB RAM.
Konfigurasi komputer templat
Untuk menyiapkan komputer templat:
- Menginstal Docker
- Menerapkan Kotak Pasir HDP
- Menggunakan PowerShell dan Windows Task Scheduler untuk memulai kontainer Docker secara otomatis
Menginstal Docker
Langkah-langkah di bagian ini didasarkan pada petunjuk Cloudera untuk menyebarkan dengan kontainer Docker.
Untuk menggunakan kontainer Docker, Anda harus mamasang Docker Desktop terlebih dahulu di VM template:
Ikuti langkah-langkah di bagian Prasyarat memasang Docker untuk Windows.
Penting
Pastikan opsi konfigurasi Gunakan kontainer Windows sebagai pengganti kontainer Linux dibiarkan tidak dicentang.
Pastikan Kontainer Windows dan fitur Hyper-V diaktifkan.
Ikuti langkah-langkah di bagian Memori untuk Windows untuk mengonfigurasi konfigurasi memori Docker.
Peringatan
Jika Anda secara tidak sengaja memeriksa opsi Gunakan kontainer Windows sebagai pengganti kontainer Linux saat memasang Docker, Anda tidak akan melihat pengaturan konfigurasi memori. Untuk memperbaikinya, Anda dapat beralih menggunakan kontainer Linux dengan mengklik ikon Docker di baki Sistem Windows, saat menu Docker Desktop terbuka, pilih Beralih ke kontainer Linux.
Menerapkan Kotak Pasir HDP
Selanjutnya, sebarkan HDP Sandbox lalu akses HDP Sandbox menggunakan browser.
Pastikan Anda telah menginstal Git Bash seperti yang tercantum di bagian Prasyarat panduan. Disarankan untuk menyelesaikan langkah-langkah berikutnya.
Dengan menggunakan Panduan Penyebaran dan Pemasangan Cloudera untuk Docker, selesaikan langkah-langkah di bagian berikut:
- Menerapkan Kotak Pasir HDP
- Memverifikasi HDP Sandbox
Peringatan
Saat Mengunduh file .zip terbaru untuk HDP, pastikan Anda tidak menyimpan file .zip di jalur direktori yang menyertakan spasi kosong.
Catatan
Jika menerima pengecualian selama penyebaran yang menyatakan bahwa Drive belum dibagikan, Anda perlu membagikan drive C dengan Docker agar kontainer Linux HDP dapat mengakses file Windows lokal. Untuk memperbaikinya, klik ikon Docker di baki Sistem Windows untuk membuka menu Docker Desktop dan pilih Pengaturan. Saat dialog Pengaturan Docker terbuka, pilih Berbagi File Sumber Daya > dan periksa drive C. Kemudian, Anda dapat mengulangi langkah-langkah untuk menyebarkan HDP Sandbox.
Saat kontainer Docker untuk HDP Sandbox disebarkan dan berjalan, Anda dapat mengakses lingkungan dengan meluncurkan browser Anda. Ikuti instruksi Cloudera untuk membuka Halaman Selamat Datang Sandbox dan meluncurkan Dasbor HDP.
Catatan
Petunjuk ini mengasumsikan bahwa Anda telah terlebih dahulu memetakan alamat IP lokal lingkungan kotak pasir ke sandbox-hdp.hortonworks.com dalam file host di VM template Anda. Jika Anda tidak melakukan pemetaan ini, Anda dapat mengakses halaman Selamat Datang Kotak Pasir dengan menavigasi ke
http://localhost:8080.
Secara otomatis memulai kontainer Docker saat pengguna lab masuk
Untuk memberikan pengalaman yang mudah digunakan bagi pengguna lab, buat skrip PowerShell yang secara otomatis:
- Memulai kontainer HDP Sandbox Docker saat pengguna lab memulai dan terhubung ke VM lab mereka.
- Meluncurkan browser dan menavigasi ke halaman Selamat Datang Kotak Pasir.
Gunakan Windows Task Scheduler untuk menjalankan skrip ini secara otomatis saat pengguna lab masuk ke VM mereka. Untuk menyiapkan Penjadwal Tugas, ikuti langkah-langkah berikut: Pembuatan skrip Big Data Analytics.
Perkiraan biaya
Bagian ini menyediakan perkiraan biaya untuk menjalankan kelas ini untuk 25 pengguna lab. Ada 20 jam waktu kelas yang dijadwalkan. Selain itu, setiap pengguna mendapatkan kuota 10 jam untuk pekerjaan rumah atau penugasan di luar waktu kelas terjadwal. Ukuran komputer virtual yang kami pilih adalah Sedang (Virtualisasi Berlapis), yaitu 55 unit lab.
- 25 pengguna lab × (20 jam terjadwal + 10 jam kuota) × 55 unit lab
Penting
Perkiraan biaya hanya sebagai contoh. Untuk informasi harga saat ini, lihat Harga Azure Lab Services.
Kesimpulan
Artikel ini memandu Anda melalui langkah-langkah yang diperlukan untuk membuat lab untuk kelas analitik big data. Kelas analitik big data menggunakan Platform Data Hortonworks yang disebarkan dengan Docker. Penyiapan untuk jenis kelas ini mungkin digunakan untuk kelas analitik data serupa. Penyiapan ini mungkin juga berlaku untuk jenis kelas lain yang menggunakan Docker untuk penyebaran.
Langkah berikutnya
Gambar templat sekarang dapat diterbitkan ke lab. Untuk informasi selengkapnya, lihat Menerbitkan templat VM.
Saat Anda menyiapkan lab, lihat artikel berikut ini:
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk