HDInsight di AKS - Pertanyaan yang sering diajukan
Artikel ini membahas beberapa pertanyaan umum tentang Azure HDInsight di AKS.
Catatan
Kami akan menghentikan Azure HDInsight di AKS pada 31 Januari 2025. Sebelum 31 Januari 2025, Anda harus memigrasikan beban kerja anda ke Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian tiba-tiba beban kerja Anda. Kluster yang tersisa pada langganan Anda akan dihentikan dan dihapus dari host.
Hanya dukungan dasar yang akan tersedia hingga tanggal penghentian.
Penting
Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.
Umum
Apa itu HDInsight di AKS?
HDInsight di AKS adalah versi HDInsight baru, yang menyediakan layanan kluster terkelola siap perusahaan dengan proyek analitik sumber terbuka yang muncul seperti Apache Flink (untuk Streaming), Trino (untuk analitik adhoc dan BI), dan Apache Spark. Untuk informasi selengkapnya, lihat Gambaran Umum.
Bentuk kluster apa yang didukung HDInsight pada AKS?
HDInsight di AKS mendukung Trino, Apache Flink, dan Apache Spark untuk memulai. Namun, bentuk kluster lain seperti Kafka, Apache Hive, dll., berada di peta strategi.
Bagaimana cara memulai HDInsight di AKS?
Untuk memulai, kunjungi Marketplace Azure dan cari Azure HDInsight di layanan AKS dan lihat memulai.
Apa yang terjadi pada HDInsight yang ada di VM dan kluster yang saya jalankan hari ini?
Tidak ada perubahan pada HDInsight (HDInsight pada VM) yang ada. Semua kluster yang ada terus berjalan, dan Anda dapat terus membuat dan menskalakan kluster HDInsight baru.
Sistem operasi mana yang didukung dengan HDInsight pada AKS?
HDInsight pada AKS didasarkan pada Mariner OS. Untuk informasi selengkapnya, lihat Versi OS.
Di semua Wilayah apa HDInsight di AKS tersedia?
Untuk daftar wilayah yang didukung, lihat Ketersediaan wilayah.
Berapa biaya untuk menyebarkan HDInsight pada Kluster AKS?
Untuk informasi selengkapnya tentang harga, lihat HDInsight tentang harga AKS.
Manajemen klaster
Dapatkah saya menjalankan beberapa kluster secara bersamaan?
Ya, Anda dapat menjalankan kluster sebanyak yang Anda inginkan per kumpulan kluster secara bersamaan. Namun, pastikan Anda tidak dibatasi oleh kuota untuk langganan Anda. Jumlah maksimum simpul yang diizinkan dalam kumpulan kluster adalah 250 (dalam pratinjau publik).
Dapatkah saya menginstal atau menambahkan lebih banyak plugin/pustaka di kluster saya?
Ya, Anda dapat menginstal plugin dan pustaka kustom tergantung pada bentuk kluster.
- Untuk Trino, lihat Menginstal plugin kustom.
- Untuk Spark, lihat Manajemen pustaka di Spark.
Dapatkah saya melakukan SSH ke kluster saya?
Ya, Anda dapat SSH ke kluster Anda melalui webssh dan menjalankan kueri dan mengirimkan pekerjaan langsung dari sana.
Metastore
Dapatkah saya menggunakan metastore eksternal untuk menyambungkan ke kluster saya?
Ya, Anda dapat menggunakan metastore eksternal. Namun, kami hanya mendukung Azure SQL Database sebagai metastore kustom eksternal.
Dapatkah saya berbagi metastore di beberapa kluster?
Ya, Anda dapat berbagi metastore di beberapa HDInsight AKS.
Apa versi metastore Apa yang didukung Apache Hive?
Metastore Apache Hive versi 3.1.2
Beban kerja
Trino
Apa itu Trino?
Trino adalah mesin kueri SQL federasi dan terdistribusi sumber terbuka, yang memungkinkan Anda untuk mengkueri data yang berada di sumber data yang berbeda tanpa pindah ke gudang data pusat. Anda dapat mengkueri data menggunakan ANSI SQL, tidak perlu mempelajari bahasa baru. Untuk informasi selengkapnya, lihat Gambaran umum Trino.
Apa yang Anda dukung semua konektor?
HDInsight di AKS Trino mendukung beberapa konektor. Untuk informasi selengkapnya, lihat daftar konektor Trino ini. Kami terus menambahkan konektor baru saat konektor baru tersedia di versi sumber terbuka.
Bisakah saya menambahkan katalog ke kluster yang sudah ada?
Ya, Anda dapat menambahkan katalog yang didukung ke kluster yang ada. Untuk informasi selengkapnya, lihat Menambahkan katalog ke kluster yang sudah ada.
Apache Flink
Apa itu Apache Flink?
Apache Flink adalah mesin analitik sumber terbuka terbaik di kelasnya untuk pemrosesan aliran dan melakukan komputasi stateful melalui aliran data yang tidak terbatas dan terikat. Ini dapat melakukan komputasi pada kecepatan dalam memori dan pada skala apa pun. Flink di HDInsight di AKS menawarkan Apache Flink sumber terbuka terkelola. Untuk informasi selengkapnya, lihat Gambaran umum Flink.
Apakah Anda mendukung mode sesi dan aplikasi di Apache Flink?
Dalam HDInsight di AKS, Flink saat ini mendukung kluster mode sesi.
Apa itu manajemen backend status dan bagaimana hal itu dilakukan di HDInsight pada AKS?
Backend menentukan tempat status disimpan. Saat titik pemeriksaan diaktifkan, status dipertahankan pada titik pemeriksaan untuk melindungi dari kehilangan data dan pulih secara konsisten. Bagaimana status diwakili secara internal, dan bagaimana dan di mana status dipertahankan pada titik pemeriksaan tergantung pada Backend Status yang dipilih. Untuk informasi selengkapnya, lihat Gambaran umum Flink
Apache Spark
Apa itu Apache Spark?
Apache Spark adalah kerangka kerja pemrosesan data yang dapat dengan cepat melakukan tugas pemrosesan pada himpunan data besar, dan juga dapat mendistribusikan tugas pemrosesan data di beberapa komputer, baik sendiri atau bersama dengan alat komputasi terdistribusi lainnya.
API bahasa apa yang didukung di Spark?
Azure HDInsight di AKS mendukung Python dan Scala.
Apakah metastore eksternal didukung di HDInsight di AKS Spark?
HDInsight di AKS mendukung konektivitas metastore eksternal. Saat ini hanya Azure SQL DB yang didukung sebagai metastore eksternal.
Apa saja cara untuk mengirimkan pekerjaan di HDInsight di AKS Spark?
Anda dapat mengirimkan pekerjaan di HDInsight di AKS Spark menggunakan Jupyter Notebook, Zeppelin Notebook, SDK, dan terminal kluster. Untuk informasi selengkapnya, lihat Mengirimkan dan Mengelola Pekerjaan pada kluster Spark di HDInsight di AKS