Bagikan melalui

Mengaktifkan Azure Private Link sebagai penyebaran sederhana.

  • Artikel

Artikel ini menjelaskan cara menggunakan Azure Private Link untuk mengaktifkan konektivitas privat antara pengguna dan ruang kerja Databricks mereka, dan juga antara kluster pada bidang komputasi klasik dan layanan inti pada sarana kontrol dalam infrastruktur ruang kerja Databricks.

Catatan

  • Untuk persyaratan dan gambaran umum Private Link, lihat Mengaktifkan koneksi back-end dan front-end Azure Private Link.
  • Ada dua jenis penyebaran: standar dan disederhanakan. Artikel ini menjelaskan penyebaran yang disederhanakan. Untuk membandingkan jenis penyebaran ini, lihat Memilih penyebaran standar atau yang disederhanakan.

Pengantar koneksi front-end dalam penyebaran standar

Untuk mendukung koneksi front-end privat ke aplikasi web Azure Databricks untuk klien tanpa konektivitas internet publik, Anda harus menambahkan titik akhir privat autentikasi browser untuk mendukung panggilan balik masuk akses menyeluruh (SSO) ke aplikasi web Azure Databricks. Biasanya, koneksi pengguna ini akan datang melalui VNet yang menangani koneksi ke jaringan lokal dan VPN, yang disebut VNet transit. Namun, untuk gaya penyebaran yang disederhanakan untuk integrasi Azure Private Link ke Databricks, Anda menggunakan subnet transit alih-alih transit VNet.

Titik akhir privat autentikasi browser adalah koneksi privat dengan jenis browser_authenticationsub-sumber daya . Ini menghosting koneksi privat dari subnet transit yang memungkinkan ID Microsoft Entra untuk mengalihkan pengguna setelah masuk ke instans sarana kontrol Azure Databricks yang benar.

  • Jika Anda berencana untuk mengizinkan koneksi dari jaringan transit klien pengguna Anda ke internet publik, menambahkan titik akhir privat autentikasi browser web disarankan tetapi tidak diperlukan.
  • Jika Anda berencana untuk melarang koneksi dari jaringan transit klien Anda ke internet publik, menambahkan titik akhir privat autentikasi browser web diperlukan.

Titik akhir privat autentikasi browser dibagikan di antara semua ruang kerja di wilayah yang memiliki zona DNS privat yang sama. Perhatikan juga bahwa beberapa solusi DNS perusahaan secara efektif membatasi Anda ke satu titik akhir privat regional untuk autentikasi browser.

Penting

Untuk menghosting pengaturan jaringan privat autentikasi web, Databricks sangat menyarankan untuk membuat ruang kerja yang disebut ruang kerja autentikasi web privat untuk setiap wilayah. Ini memecahkan masalah penghapusan ruang kerja yang berpotensi memengaruhi ruang kerja lain di wilayah tersebut. Untuk konteks dan detail selengkapnya, lihat Langkah 4: Membuat titik akhir privat untuk mendukung SSO untuk akses browser web.

Diagram aliran jaringan dan objek jaringan

Diagram berikut menunjukkan alur jaringan dalam implementasi umum penyebaran Private Link yang disederhanakan:

Alur jaringan Azure Private Link.

Diagram berikut menunjukkan arsitektur objek jaringan:

Arsitektur objek jaringan Azure Private Link.

Untuk membandingkan ini dengan penyebaran standar Private Link, lihat Alur jaringan dan diagram objek jaringan

Langkah 1: Membuat grup sumber daya

  1. Di portal Azure, buka bilah grup sumber daya.
  2. Klik Buat grup sumber daya untuk membuat grup sumber daya untuk ruang kerja Anda. Atur langganan Azure, wilayah, dan nama grup sumber daya. Klik Tinjau dan Buat lalu Buat.

Langkah 2: Membuat atau menyiapkan VNet ruang kerja

Anda mungkin sudah memiliki VNet yang akan Anda gunakan, atau Anda dapat membuat VNet baru khusus untuk Azure Databricks.

Untuk persyaratan rentang IP VNet dan dua subnet yang diperlukan untuk ruang kerja, lihat artikel Menyebarkan Azure Databricks di jaringan virtual Azure Anda (injeksi VNet).

Rentang IP VNet dan subnet yang Anda gunakan untuk Azure Databricks menentukan jumlah maksimum node kluster yang dapat Anda gunakan sekaligus. Pilih nilai-nilai ini dengan hati-hati agar sesuai dengan persyaratan jaringan organisasi Anda sendiri dan node kluster maksimum yang Anda harapkan untuk digunakan sekaligus dengan Azure Databricks. Lihat Ruang alamat dan node kluster maksimum.

Misalnya, Anda dapat membuat VNet dengan nilai-nilai ini:

  • Rentang IP: Pertama-tama hapus rentang IP default, lalu tambahkan rentang 10.28.0.0/23IP .
  • Buat subnet public-subnet dengan rentang 10.28.0.0/25.
  • Buat subnet private-subnet dengan rentang 10.28.0.128/25.
  • Buat subnet private-link dengan rentang 10.28.1.0/27. Dalam penyebaran yang disederhanakan, ini adalah subnet transit Anda.

Langkah 3: Memprovisikan ruang kerja Azure Databricks dan titik akhir privat

Sebarkan ruang kerja Azure Databricks baru dengan pengaturan berikut:

Untuk menyebarkan ruang kerja dengan pengaturan ini, Anda memiliki beberapa opsi, termasuk antarmuka pengguna di portal Azure, templat kustom (yang dapat Anda terapkan di UI, dengan Azure CLI, atau PowerShell), atau Terraform. Untuk menggunakan templat kustom untuk membuat ruang kerja yang diaktifkan Private Link, gunakan templat ini.

Tidak peduli pendekatan mana yang Anda pilih, atur ketiga nilai ini dengan hati-hati saat Anda membuat ruang kerja baru Anda:

  • Akses jaringan publik (untuk Private Link front-end) (dalam templat sebagai publicNetworkAccess): Mengontrol pengaturan Anda untuk kasus penggunaan front-end Private Link.
    • Jika Anda mengatur ini ke Enabled (default), pengguna dan klien REST API di internet publik dapat mengakses Azure Databricks, meskipun Anda dapat membatasi akses ke rentang IP tertentu dari jaringan sumber yang disetujui menggunakan Mengonfigurasi daftar akses IP untuk ruang kerja.
    • Jika Anda mengatur ini ke Disabled, ada beberapa implikasi. Tidak ada akses pengguna yang diizinkan dari internet publik. Koneksi front-end hanya dapat diakses menggunakan konektivitas Private Link dan bukan dari internet publik. Daftar akses IP tidak efektif pada koneksi Private Link. Selain itu dengan pengaturan ini, Anda harus mengaktifkan Private Link back-end.
    • Jika Anda hanya ingin menggunakan Private Link back-end (tidak ada Private Link front-end), Anda harus mengatur akses jaringan publik ke Enabled.
  • Aturan NSG yang diperlukan (untuk Private Link back-end) (dalam templat sebagai requiredNsgRules): Nilai yang mungkin:
    • Semua Aturan (default): Nilai ini ada di templat sebagai AllRules. Ini menunjukkan bahwa bidang komputasi ruang kerja Anda memerlukan grup keamanan jaringan yang menyertakan aturan Azure Databricks yang memungkinkan koneksi di internet publik dari bidang komputasi ke sarana kontrol. Jika Anda tidak menggunakan Private Link back-end, gunakan pengaturan ini.
    • Tidak Ada Aturan Azure Databricks: Nilai ini ada dalam templat sebagai NoAzureDatabricksRules: Gunakan nilai ini jika Anda menggunakan Private Link back-end, yang berarti bahwa bidang komputasi ruang kerja Anda tidak memerlukan aturan grup keamanan jaringan untuk terhubung ke sarana kontrol Azure Databricks. Jika Anda menggunakan Private Link back-end, gunakan pengaturan ini.
  • Aktifkan konektivitas kluster kluster aman (No-Public-IP/NPIP) (dalam templat sebagai enableNoPublicIp): Selalu atur ke Ya (true), yang memungkinkan konektivitas kluster yang aman.

Kombinasi pengaturan Akses jaringan publik (dalam templat, publicNetworkAccess) dan Aturan NSG yang diperlukan (dalam templat, requiredNsgRules) menentukan jenis Private Link apa yang didukung.

Tabel berikut ini memperlihatkan skenario yang didukung untuk dua kasus penggunaan Private Link utama, yaitu front-end dan back-end. Tabel ini hanya berlaku untuk penyebaran Private Link yang disederhanakan. Beberapa skenario tambahan tersedia dengan penyebaran standar Private Link.

Skenario Atur akses jaringan publik ke nilai ini Atur aturan NSG yang diperlukan ke nilai ini Buat titik akhir ini
Tidak ada Private Link untuk front-end atau back-end Diaktifkan Semua Aturan n/a
Konfigurasi yang direkomendasikan: Private Link front-end dan back-end. Konektivitas front-end dikunci untuk memerlukan Private Link. Nonaktif NoAzureDatabricksRules Satu titik akhir privat yang digunakan untuk konektivitas back-end dan front-end. Selain itu, satu titik akhir privat autentikasi browser per wilayah.
Private Link front-end dan back-end. Konektivitas front-end hibrid memungkinkan Private Link atau internet publik, biasanya menggunakan Mengonfigurasi daftar akses IP untuk ruang kerja. Gunakan pendekatan hibrid ini jika Anda menggunakan Private Link untuk akses pengguna lokal tetapi perlu mengizinkan rentang CIDR internet tertentu. Rentang tambahan mungkin digunakan untuk layanan Azure seperti SCIM atau Azure Pembelajaran Mesin, atau untuk menyediakan akses eksternal untuk JDBC, otomatisasi cloud, atau alat admin. Diaktifkan NoAzureDatabricksRules Satu titik akhir privat untuk konektivitas back-end dan front-end. Selain itu, satu titik akhir privat autentikasi browser per wilayah.
Private Link front-end saja. Konektivitas front-end dikunci untuk mengharuskan Private Link (akses jaringan publik dinonaktifkan). Tidak ada Private Link untuk back-end. Ini adalah skenario yang tidak didukung. Ini adalah skenario yang tidak didukung. Ini adalah skenario yang tidak didukung.
Private Link front-end saja. Konektivitas front-end hibrid memungkinkan Private Link atau internet publik, mungkin menggunakan Mengonfigurasi daftar akses IP untuk ruang kerja. Tidak ada Private Link untuk back-end. Diaktifkan Semua Aturan Satu titik akhir untuk front-end (opsional). Selain itu, satu titik akhir privat autentikasi browser per wilayah.

Dalam semua kasus, Anda harus mengatur pengaturan konfigurasi ruang kerja ini:

  • Atur Tingkat harga ke Premium (dalam templat, nilai ini adalah premium)
  • Atur Nonaktifkan Ip Publik (konektivitas kluster aman) ke Ya (dalam templat, nilai ini adalah true).
  • Atur Jaringan Sebarkan > ruang kerja Azure Databricks di Virtual Network (VNet) Anda sendiri ke Ya (dalam templat, nilai ini adalah true)

Catatan

Secara umum, Anda perlu mengaktifkan Private Link saat membuat ruang kerja. Namun, jika Anda memiliki ruang kerja yang sudah ada yang tidak pernah memiliki akses front-end atau back-end Private Link, atau jika Anda menggunakan nilai default untuk Akses jaringan publik (Diaktifkan) dan aturan NSG yang Diperlukan (Semua Aturan), Anda dapat memilih untuk menambahkan Private Link front-end nanti. Namun, Akses jaringan publik akan tetap diaktifkan sehingga hanya beberapa opsi konfigurasi yang tersedia untuk Anda.

Ada dua cara untuk membuat ruang kerja:

Membuat ruang kerja dan titik akhir privat di antarmuka pengguna portal Azure

portal Azure secara otomatis menyertakan dua bidang Private Link (Akses jaringan publik dan aturan NSG yang diperlukan) saat membuat ruang kerja Azure Databricks baru.

  1. Untuk membuat ruang kerja dengan VNet (injeksi VNet) Anda sendiri. Untuk mengonfigurasi dan mengukur subnet Anda, ikuti prosedur ruang kerja di Menyebarkan Azure Databricks di jaringan virtual Azure Anda (injeksi VNet) tetapi belum menekan Buat.

    Tetapkan bidang berikut:

    1. Atur Tingkat Harga ke premium atau jika tidak, Anda tidak akan melihat bidang Private Link di UI.
    2. Atur Jaringan Sebarkan > ruang kerja Azure Databricks dengan Konektivitas Kluster Aman (Tanpa IP Publik) (dalam templat sebagai Disable Public Ip) ke Ya.
    3. Atur Jaringan Sebarkan > ruang kerja Azure Databricks di Virtual Network (VNet) Anda sendiri ke Ya.
    4. Atur subnet sesuai dengan VNet yang Anda buat di langkah sebelumnya. Untuk detailnya, lihat artikel untuk injeksi VNet.
    5. Atur bidang ruang kerja Private Link Akses Jaringan Publik dan Aturan Nsg yang Diperlukan sesuai dengan tabel skenario di Langkah 3: Memprovisikan ruang kerja Azure Databricks dan titik akhir privat.

    Cuplikan layar berikut menunjukkan empat bidang terpenting untuk konektivitas Private Link.

    portal Azure UI untuk ruang kerja.

  2. Buat titik akhir privat yang akan digunakan untuk konektivitas back-end dan front-end:

    1. Cari bagian Titik akhir privat di bawah bidang yang diperlihatkan di cuplikan layar sebelumnya. Jika Anda tidak melihatnya, Anda mungkin tidak mengatur Tingkat Harga ke Premium.

      Daftar portal Azure titik akhir privat, ditampilkan kosong.

    2. Klik + Tambahkan.

      portal Azure menunjukkan Buat bilah titik akhir privat dalam buat ruang kerja.

      bilah portal Azure untuk membuat titik akhir privat

      Saat Anda membuat titik akhir privat dari dalam ruang kerja, beberapa bidang Azure untuk jenis objek ini tidak ditampilkan karena diisi secara otomatis dan tidak dapat diedit. Beberapa bidang terlihat tetapi tidak perlu diedit:

      • Bidang sub-sumber daya Azure Databricks terlihat dan secara otomatis diisi dengan nilai databricks_ui_api. Nilai sub-sumber daya tersebut mewakili sarana kontrol Azure Databricks saat ini untuk ruang kerja Anda. Nilai nama sub-sumber daya ini digunakan untuk titik akhir privat untuk konektivitas back-end dan front-end.

      • Setelah Anda mengatur grup sumber daya, VNet, dan subnet, Zona DNS Privat secara otomatis diisi dengan nilai jika Anda menggunakan DNS bawaan yang dibuat Azure daripada DNS kustom.

        Penting

        Azure mungkin tidak secara otomatis memilih zona DNS Privat yang ingin Anda gunakan. Tinjau nilai untuk bidang Zona DNS Privat dan ubah sesuai kebutuhan.

    3. Atur Lokasi agar sesuai dengan wilayah ruang kerja Anda. Perhatikan bahwa untuk wilayah titik akhir privat back-end dan wilayah ruang kerja harus cocok, meskipun untuk koneksi titik akhir privat ujung depan, wilayah tidak perlu cocok.

    4. Atur Jaringan virtual ke VNet ruang kerja Anda.

    5. Atur subnet ke subnet spesifik Private Link di ruang kerja Anda. Subnet ini tidak boleh salah satu subnet standar yang digunakan untuk injeksi VNet. Untuk informasi terkait, lihat persyaratan jaringan.

    6. Untuk penggunaan umum dengan Azure DNS bawaan, atur Integrasikan dengan zona DNS privat ke Ya. Sisa instruksi ini mengasumsikan Anda memilih Ya.

      Jika organisasi Anda mempertahankan DNS kustomnya sendiri, Anda mungkin ingin mengatur ini ke Tidak, tetapi tinjau artikel Microsoft ini tentang konfigurasi DNS sebelum melanjutkan. Hubungi tim akun Azure Databricks Anda jika Anda memiliki pertanyaan.

    7. Klik OK untuk membuat titik akhir privat dan kembali ke bilah pembuatan ruang kerja.

    8. Untuk menyelesaikan pembuatan ruang kerja, klik Tinjau + buat lalu Buat.

      Tunggu hingga ruang kerja disebarkan, lalu klik Buka sumber daya. Ini adalah objek portal Azure untuk ruang kerja Azure Databricks Anda.

Membuat ruang kerja dengan menggunakan templat kustom

Jika Anda tidak ingin menggunakan antarmuka pengguna portal Azure standar untuk membuat ruang kerja, Anda dapat menggunakan templat untuk menyebarkan ruang kerja Anda. Anda dapat menggunakan templat dengan:

Templat ARM penyebaran all-in-one untuk Private Link membuat sumber daya berikut:

  • Grup keamanan jaringan
  • Kelompok Sumber Daya
  • VNet termasuk subnet untuk ruang kerja (dua subnet standar) dan Private Link (subnet tambahan)
  • Ruang kerja Azure Databricks
  • Titik akhir Private Link dengan zona DNS privat

  1. Anda dapat menyebarkan templat langsung dari halaman utama untuk templat.

  2. Untuk menyebarkannya secara langsung, klik Sebarkan di Azure. Untuk melihat sumbernya, klik Telusuri di GitHub.

    Dalam kedua kasus, atur nilai parameter berikut untuk templat:

    • Atur pricingTier ke premium. Jika Anda membiarkan ini sebagai standard, portal Azure menyembunyikan bidang konfigurasi yang khusus untuk Private Link.
    • Atur enableNoPublicIp ke true
    • Atur publicNetworkAccess dan requiredNsgRules sesuai dengan tabel di Langkah 3: Memprovisikan ruang kerja Azure Databricks dan titik akhir privat
    • Atur networkSecurityGroup ke ID untuk NSG ruang kerja Anda.

  3. Tunggu hingga ruang kerja disebarkan.

  4. Navigasikan ke sumber daya Azure Databricks Service baru yang mewakili ruang kerja Anda. Ini adalah objek portal Azure untuk ruang kerja Azure Databricks Anda.

Langkah 4: Buat titik akhir privat untuk mendukung SSO untuk akses browser web

Penting

Lewati langkah ini jika Anda tidak menerapkan Private Link front-end. Selain itu, jika semua ruang kerja Anda di wilayah mendukung koneksi front-end Private Link dan jaringan klien ( subnet transit) memungkinkan akses internet publik, konfigurasi yang dijelaskan langkah ini direkomendasikan tetapi opsional.

Autentikasi pengguna ke aplikasi web Azure Databricks menggunakan OAuth sebagai bagian dari implementasi SSO Microsoft Entra ID. Selama autentikasi, browser pengguna tersambung ke sarana kontrol Azure Databricks. Selain itu, alur OAuth memerlukan pengalihan panggilan balik jaringan dari ID Microsoft Entra. Jika Anda mengonfigurasi Private Link front-end, tanpa konfigurasi tambahan pengalihan jaringan SSO gagal. Ini berarti bahwa pengguna tidak akan dapat mengautentikasi ke Azure Databricks. Perhatikan bahwa masalah ini berlaku untuk masuk pengguna ke UI aplikasi web melalui koneksi front-end tetapi tidak berlaku untuk koneksi REST API karena autentikasi REST API tidak menggunakan panggilan balik SSO.

Untuk mendukung autentikasi browser web, jika jaringan klien Anda ( subnet transit) melarang akses ke internet publik, Anda harus membuat titik akhir privat autentikasi browser untuk mendukung panggilan balik autentikasi akses menyeluruh (SSO) dari ID Microsoft Entra. Titik akhir privat autentikasi browser adalah titik akhir privat dengan sub-sumber daya yang disebut browser_authentication. Membuat titik akhir privat autentikasi browser menyebabkan Azure Databricks secara otomatis mengonfigurasi catatan DNS untuk panggilan balik dari ID Microsoft Entra selama masuk SSO. Perubahan DNS dibuat secara default di zona DNS privat yang terkait dengan VNet ruang kerja.

Untuk organisasi dengan beberapa ruang kerja, penting untuk dipahami bahwa konfigurasi jaringan yang dikonfigurasi dengan benar adalah tepat satu titik akhir privat autentikasi browser untuk setiap wilayah Azure Databricks untuk setiap zona DNS privat. Titik akhir privat autentikasi browser mengonfigurasi autentikasi web privat untuk semua ruang kerja Private Link di wilayah yang memiliki zona DNS privat yang sama.

Misalnya, jika Anda memiliki 10 ruang kerja produksi di wilayah US Barat yang memiliki zona DNS privat yang sama, Anda akan memiliki satu titik akhir privat autentikasi browser untuk mendukung ruang kerja ini.

Penting

  • Jika seseorang menghapus ruang kerja yang menghosting titik akhir privat autentikasi browser untuk wilayah tersebut, itu mengganggu autentikasi web pengguna untuk ruang kerja lain di wilayah tersebut yang bergantung pada titik akhir privat autentikasi browser tersebut dan konfigurasi DNS terkait untuk panggilan balik SSO.
  • Untuk mengurangi risiko dari penghapusan ruang kerja dan mendorong konfigurasi ruang kerja standar untuk ruang kerja produksi Anda, Databricks sangat menyarankan Agar Anda membuat ruang kerja autentikasi web privat untuk setiap wilayah.
  • Untuk penyebaran non-produksi, Anda dapat menyederhanakan implementasi dengan menghilangkan ruang kerja autentikasi web privat tambahan. Dalam hal ini, titik akhir autentikasi web Anda akan tersambung ke salah satu ruang kerja Anda yang lain di wilayah tersebut.

Ruang kerja autentikasi web privat adalah ruang kerja yang Anda buat di wilayah yang sama dengan ruang kerja Azure Databricks Anda, dan satu-satunya tujuannya adalah menghosting koneksi titik akhir privat autentikasi browser untuk ruang kerja Azure Databricks produksi aktual Anda di wilayah tersebut. Dengan cara lain, ruang kerja autentikasi web privat tidak digunakan untuk apa pun, misalnya jangan gunakan untuk menjalankan pekerjaan atau beban kerja lainnya. Ini tidak memerlukan data pengguna aktual atau konektivitas jaringan masuk selain titik akhir privat autentikasi browser. Anda dapat mengonfigurasinya agar tidak memiliki akses pengguna. Dengan mengatur pengaturan ruang kerja Akses jaringan publik ke Dinonaktifkan dan tidak membuat titik akhir privat front-end apa pun ke ruang kerja, pengguna tidak memiliki akses ke login pengguna ke ruang kerja.

Untuk memvisualisasikan cara kerja autentikasi web privat bekerja dengan objek lain untuk konektivitas Private Link, lihat diagram sebelumnya di artikel ini.

Ruang kerja autentikasi web privat bertindak sebagai layanan panggilan balik untuk semua ruang kerja di wilayah untuk SSO pengguna selama masuk. Setelah masuk ke ruang kerja reguler Anda selesai, ruang kerja autentikasi web privat tidak digunakan hingga login berikutnya.

Apakah Anda memilih untuk membuat ruang kerja autentikasi web privat atau tidak, Anda harus memilih satu ruang kerja di wilayah yang akan menghosting tujuan titik akhir privat autentikasi browser. Di portal Azure, pilih satu objek ruang kerja Azure Databricks yang berisi titik akhir privat autentikasi browser. Pada waktu proses, akses jaringan aktual berasal dari subnet transit Anda ke ID Microsoft Entra. Setelah berhasil masuk menggunakan ID Microsoft Entra, browser web pengguna dialihkan ke instans sarana kontrol yang benar.

Tip

Databricks sangat merekomendasikan konfigurasi ruang kerja autentikasi web privat jika Anda memiliki beberapa ruang kerja yang berbagi konfigurasi DNS privat. Anda dapat memilih untuk menghilangkan ruang kerja autentikasi web privat untuk salah satu kondisi berikut:

  • Anda hanya memiliki satu ruang kerja di wilayah tersebut dan Anda yakin bahwa Anda tidak akan menambahkan lebih banyak lagi nanti.
  • Anda yakin bahwa Anda tidak perlu menghapus ruang kerja apa pun.
  • Penyebaran non-produksi.

Dalam salah satu kasus ini, hilangkan ruang kerja autentikasi web privat dan pilih salah satu ruang kerja produksi Anda untuk menghosting titik akhir privat autentikasi browser. Namun, ketahui risiko bahwa penghapusan akhirnya ruang kerja tersebut akan segera mencegah autentikasi pengguna untuk ruang kerja lain di wilayah tersebut dengan dukungan Private Link front-end.

Untuk membuat titik akhir privat untuk mendukung SSO:

  1. Langkah yang direkomendasikan tetapi opsional: buat ruang kerja autentikasi web privat untuk menghosting layanan autentikasi web.

    1. Buat grup sumber daya untuk menghosting ruang kerja autentikasi web privat. Buat satu untuk setiap wilayah tempat Anda menyebarkan ruang kerja Azure Databricks.

    2. Buat satu ruang kerja autentikasi web privat untuk setiap wilayah tempat Anda menyebarkan ruang kerja Azure Databricks.

      • Anda dapat menggunakan portal Azure, Azure CLI, Powershell, atau Terraform untuk membuat ruang kerja Azure Databricks baru.
      • Atur tingkat ke Premium.
      • Atur nama ruang kerja ke WEB_AUTH_DO_NOT_DELETE_<region> untuk memastikan tidak dihapus.
      • Atur Aturan NSG yang Diperlukan (requiredNsgRules) ke nilai NoAzureDatabricksRules.
      • Atur Konektivitas kluster aman (NPIP) (enableNoPublicIp) ke Enabled.
      • Atur Wilayah ke wilayah yang sama dengan ruang kerja produksi Anda lainnya.
      • Gunakan injeksi VNet. Buat atau gunakan VNet terpisah dari VNet yang Anda gunakan untuk VNet ruang kerja utama Anda.
      • Atur Akses jaringan publik (publicNetworkAccess) ke Dinonaktifkan.
      • Jangan letakkan beban kerja Azure Databricks apa pun di ruang kerja ini.
      • Jangan tambahkan titik akhir privat selain titik akhir privat autentikasi browser. Misalnya, jangan membuat titik akhir privat apa pun dengan databricks_ui_api sub-sumber daya, yang akan mengaktifkan koneksi front-end atau back-end ke ruang kerja, yang tidak diperlukan.

      Untuk detail tentang menyebarkan ruang kerja menggunakan injeksi VNet, lihat Menyebarkan Azure Databricks di jaringan virtual Azure Anda (injeksi VNet).

      Untuk membuat ruang kerja, Anda dapat menggunakan templat ARM all-in-one standar dan mengikuti persyaratan yang tercantum di atas untuk konfigurasi ruang kerja.

    3. Setelah membuat ruang kerja autentikasi web privat, atur kunci untuk mencegah ruang kerja dihapus. Navigasikan ke instans layanan Azure Databricks di portal Azure. Di navigasi kiri, klik Kunci. Klik +Tambah. Atur Jenis kunci ke Hapus. Beri nama kunci. Klik OK.

      Mengunci ruang kerja.

  2. Di portal Azure, navigasikan ke instans Azure Databricks Service yang mewakili ruang kerja Anda.

    • Jika Anda menggunakan ruang kerja autentikasi web privat, buka objek instans Azure Databricks Service untuk ruang kerja autentikasi web privat.
    • Jika Anda tidak menggunakan ruang kerja autentikasi web privat, pilih satu ruang kerja yang akan menghosting titik akhir privat autentikasi web. Ingat bahwa penghapusan ruang kerja tersebut akan menghapus catatan DNS yang diperlukan untuk semua ruang kerja Anda yang lain di wilayah tersebut yang menggunakan koneksi front-end Private Link. di portal Azure, buka bilah instans Azure Databricks Service ruang kerja ini.

  3. Buka Pengaturan>Koneksi titik akhir Privat Jaringan.>

  4. Klik tombol + Tambahkan untuk membuat titik akhir privat untuk ruang kerja ini.

  5. portal Azure memperlihatkan bilah Buat titik akhir privat dalam alur buat ruang kerja.

    Buat titik akhir privat.

  6. Di langkah Sumber Daya , atur bidang Sub-sumber daya Target ke browser_authentication.

    Perhatikan bahwa bidang Jenis sumber daya dan Sumber Daya secara otomatis mereferensikan instans ruang kerja Azure Databricks Service yang Sedang Anda edit.

    Mengatur sub-sumber daya autentikasi browser

  7. Dalam langkah Virtual Network:

    Atur VNet titik akhir privat.

    1. Atur jaringan virtual ke VNet Anda yang menyimpan subnet transit Anda. Mengikuti rekomendasi dalam artikel ini, ini akan menjadi VNet ruang kerja Anda.
    2. Atur subnet ke subnet transit.

  8. Di langkah DNS:

    Atur DNS titik akhir privat.

    • Untuk penggunaan umum dengan Azure DNS bawaan, atur Integrasikan dengan zona DNS privat ke Ya.

      Jika organisasi Anda mempertahankan DNS kustomnya sendiri, Anda dapat mengatur Integrasikan dengan zona DNS privat ke Tidak, tetapi baca artikel Microsoft ini tentang konfigurasi DNS sebelum melanjutkan. Hubungi tim akun Azure Databricks Anda jika Anda memiliki pertanyaan.

      Instruksi lainnya dalam artikel ini mengasumsikan Anda memilih Ya.

    • Verifikasi bahwa bidang Grup sumber daya diatur ke grup sumber daya yang tepat. Ini mungkin telah diisi sebelumnya ke grup sumber daya yang benar, tetapi tidak dijamin untuk melakukannya. Atur ke VNet yang sama dengan titik akhir privat front-end.

      Penting

      Ini adalah langkah umum untuk kesalahan konfigurasi, jadi lakukan langkah ini dengan hati-hati.

  9. Klik OK untuk membuat titik akhir privat.

  10. Jika Anda berintegrasi dengan Azure DNS bawaan, Anda sekarang dapat mengonfirmasi bahwa DNS Anda secara otomatis dikonfigurasi oleh titik akhir privat autentikasi browser yang Anda buat. Misalnya, jika Anda melihat di dalam zona DNS privat, Anda akan melihat satu atau beberapa rekaman baru A dengan nama yang berakhiran .pl-auth. Ini adalah catatan yang mewakili panggilan balik SSO untuk setiap instans sarana kontrol di wilayah tersebut. Jika ada lebih dari satu instans sarana kontrol Azure Databricks di wilayah tersebut, akan ada lebih dari satu A rekaman.

DNS Kustom

Jika Anda menggunakan DNS kustom, Anda harus memastikan bahwa konfigurasi DNS yang sesuai dikonfigurasi untuk mendukung panggilan balik autentikasi SSO. Untuk panduan, hubungi tim akun Azure Databricks Anda.

Jika Anda menggunakan titik akhir privat front-end dan pengguna mengakses ruang kerja Azure Databricks dari subnet transit tempat Anda mengaktifkan DNS kustom, Anda harus mengaktifkan alamat IP titik akhir privat agar ruang kerja dapat diakses menggunakan URL ruang kerja.

Anda mungkin perlu mengonfigurasi penerusan kondisional ke Azure atau membuat catatan DNS A untuk URL ruang kerja di DNS kustom (DNS lokal atau internal). Untuk instruksi terperinci tentang cara mengaktifkan akses ke layanan yang diaktifkan Private Link, lihat Konfigurasi DNS Titik Akhir Privat Azure.

Misalnya, jika Anda langsung memetakan URL sumber daya ke alamat IP titik akhir privat front-end di DNS internal Anda, Anda memerlukan dua entri:

  • Satu catatan DNS A memetakan URL per ruang kerja (adb-1111111111111.15.azuredatabricks.net) ke alamat IP titik akhir privat front-end.

  • Satu atau beberapa catatan DNS A memetakan URL balasan alur OAuth Microsoft Entra ID ke alamat IP titik akhir privat front-end, misalnya westus.pl-auth.azuredatabricks.net. Karena satu wilayah mungkin memiliki lebih dari satu instans sarana kontrol, Anda mungkin perlu menambahkan beberapa A rekaman, satu untuk setiap instans sarana kontrol.

    Catatan

    Jika Anda menggunakan DNS kustom, untuk mendapatkan sekumpulan domain instans sarana kontrol yang harus Anda gunakan untuk wilayah yang ingin Anda gunakan, hubungi tim akun Azure Databricks Anda. Beberapa wilayah memiliki lebih dari satu instans sarana kontrol.

Selain catatan individual yang A diperlukan untuk akses titik akhir privat ruang kerja, Anda harus mengonfigurasi setidaknya satu set catatan DNS OAuth (browser_authentication) per wilayah. Ini menyediakan akses klien privat di seluruh akses OAuth ke semua ruang kerja di wilayah tersebut browser_authentication karena titik akhir privat ke sarana kontrol dibagikan di antara ruang kerja di wilayah tersebut.

Atau, Anda dapat mengizinkan lalu lintas OAuth keluar melalui jaringan publik jika akses ke internet publik diizinkan dan berbagi satu alamat IP titik akhir privat pengguna-ke-ruang kerja untuk semua unit bisnis akan menjadi masalah karena DNS umum.

Setelah konfigurasi ini disiapkan, Anda harus dapat mengakses ruang kerja Azure Databricks dan memulai kluster untuk beban kerja Anda.

Langkah 5: Menguji autentikasi SSO pengguna ke ruang kerja Anda

Anda harus menguji autentikasi ke ruang kerja baru Anda. Untuk upaya autentikasi awal, luncurkan ruang kerja dari dalam portal Azure. Pada objek ruang kerja, ada tombol Luncurkan Ruang Kerja, yang penting. Saat Anda mengkliknya, Azure Databricks mencoba masuk ke ruang kerja dan memprovisikan akun pengguna admin ruang kerja awal Anda. Penting untuk menguji autentikasi untuk memastikan bahwa ruang kerja Anda berfungsi dengan benar.

  1. Klik tombol Luncurkan Ruang Kerja.

  2. Uji akses jaringan dari subnet transit Anda atau lokasi jaringan yang direkankan ke subnet tersebut. Misalnya, jika jaringan lokal Anda memiliki akses ke subnet transit, Anda dapat memeriksa SSO pengguna dari jaringan lokal Anda. Konfirmasikan akses jaringan dari jaringan pengujian Anda ke subnet transit Anda.

    Jika Anda tidak berada di lokasi jaringan yang dapat mengakses subnet transit, Anda dapat menguji konektivitas dengan membuat komputer virtual di subnet transit Anda atau lokasi jaringan yang dapat menjangkaunya. Misalnya, gunakan komputer virtual Windows 10:

    1. Buka bilah Komputer Virtual di portal Azure.
    2. Buat komputer virtual Windows 10 di VNet pengujian dan subnet.
    3. Sambungkan dengan klien RDP seperti Desktop Jauh Microsoft.

  3. Dari dalam VM atau komputer pengujian lainnya, gunakan browser web untuk menyambungkan ke portal Azure dan meluncurkan ruang kerja.

    1. Di portal Azure, temukan objek ruang kerja Azure Databricks.
    2. Klik Luncurkan Ruang Kerja untuk meluncurkan tab jendela yang memasukkan Anda ke Azure Databricks menggunakan ID pengguna yang Anda gunakan untuk masuk ke portal Azure.
    3. Konfirmasikan bahwa login berhasil.

Pemecahan masalah autentikasi

Kesalahan: Jika Anda melihat pesan "Pengaturan privasi yang dikonfigurasi melarang akses untuk ruang <your-workspace-id> kerja melalui jaringan Anda saat ini. Silakan hubungi administrator Anda untuk informasi lebih lanjut."

Kesalahan ini mungkin berarti:

  • Anda tersambung ke ruang kerja melalui internet publik (bukan dari koneksi Private Link).
  • Anda telah mengonfigurasi ruang kerja untuk tidak mendukung akses jaringan publik.

Tinjau langkah-langkah sebelumnya di bagian ini.

Kesalahan: "Kegagalan browser dengan kode kesalahan DNS_PROBE_FINISHED_NXDOMAIN

Kesalahan ini berarti bahwa login pengguna ke aplikasi web Azure Databricks gagal karena tidak dapat menemukan konfigurasi DNS yang sesuai untuk instans sarana kontrol Azure Databricks di wilayah target. Catatan DNS yang menunjuk ke <control-plane-instance-short-name>.pl-auth nama tidak ditemukan. Anda mungkin salah mengonfigurasi titik akhir privat autentikasi browser. Tinjau lagi bagian dengan hati-hati di Langkah 4: Buat titik akhir privat untuk mendukung SSO untuk akses browser web. Jika Anda memiliki pertanyaan, hubungi tim akun Azure Databricks Anda.

Langkah 6: Uji koneksi Private Link back-end (diperlukan untuk koneksi back-end)

Jika Anda menambahkan koneksi Private Link back-end, penting untuk menguji bahwa koneksi tersebut berfungsi dengan benar. Cukup masuk ke aplikasi web Azure Databricks tidak menguji koneksi back-end.

  1. Jika Anda belum masuk ke ruang kerja Azure Databricks, masuk lagi menggunakan URL ruang kerja Anda atau dari tombol Luncurkan Ruang Kerja di instans Azure Databricks Service di portal Azure.

  2. Di navigasi kiri, klik Komputasi

  3. Klik Buat Kluster, ketik nama kluster, dan klik Buat Kluster. Untuk informasi selengkapnya tentang membuat kluster, lihat Referensi konfigurasi komputasi.

    Tunggu hingga kluster berhasil dimulai. Mungkin perlu waktu beberapa menit. Refresh halaman untuk mendapatkan status terbaru.

    Jika gagal memulai, pada halaman kluster, klik Log Peristiwa dan tinjau entri terbaru. Untuk kesalahan konfigurasi Private Link umum, Log Peristiwa menyertakan kesalahan yang mirip dengan yang berikut ini setelah penantian 10-15 menit:

    Cluster terminated. Reason: Control Plane Request Failure

    Jika Anda mendapatkan kesalahan ini, tinjau kembali instruksi dalam artikel ini dengan cermat. Jika Anda memiliki pertanyaan, hubungi tim akun Azure Databricks Anda.

Cara menghapus ruang kerja Azure Databricks yang memiliki titik akhir privat

Penting

Jika Anda menggunakan gaya penyebaran yang direkomendasikan tetapi opsional yang menggunakan ruang kerja autentikasi web privat, penting bagi Anda untuk tidak pernah menghapus ruang kerja atau titik akhir privat autentikasi browser yang terkait dengan ruang kerja. Lihat Langkah 4: Membuat titik akhir privat untuk mendukung SSO untuk akses browser web.

Azure memblokir penghapusan ruang kerja Azure Databricks jika memiliki titik akhir privat.

Penting

Anda harus menghapus titik akhir privat sebelum mencoba menghapus ruang kerja Azure Databricks.

  1. Di portal Azure, buka instans Azure Databricks Service yang mewakili ruang kerja Anda.
  2. Di navigasi kiri, klik Pengaturan > Jaringan.
  3. Klik tab Koneksi titik akhir privat.
  4. Jika Anda tidak menggunakan ruang kerja autentikasi web privat, periksa apakah organisasi Anda mungkin menggunakan ruang kerja ini sebagai tautan OAuth CNAME dan mungkin dibagikan dengan ruang kerja lain yang menggunakan instans sarana kontrol yang sama. Jika demikian, sebelum Anda menghapus titik akhir privat yang mungkin mengandalkan CNAME dari ruang kerja ini, konfigurasikan objek jaringan ruang kerja lainnya untuk memastikan bahwa CNAME masih menunjuk ke rekaman zona A yang valid dari ruang kerja lain. Lihat Langkah 4: Membuat titik akhir privat untuk mendukung SSO untuk akses browser web.
  5. Untuk setiap titik akhir privat, pilih baris dan klik ikon Hapus . Klik Ya untuk mengonfirmasi penghapusan.

Setelah selesai, Anda dapat menghapus ruang kerja dari portal Azure.

Periksa persetujuan yang tertunda atau setujui titik akhir privat yang tertunda

Jika pengguna Azure yang membuat titik akhir privat untuk subnet transit tidak memiliki izin pemilik/kontributor untuk ruang kerja, pengguna terpisah dengan izin pemilik/kontributor untuk ruang kerja harus menyetujui permintaan pembuatan titik akhir privat secara manual sebelum diaktifkan.

Status koneksi meliputi:

  • Disetujui: Titik akhir disetujui dan tidak ada tindakan lebih lanjut yang diperlukan.
  • Tertunda: Titik akhir memerlukan persetujuan dari pengguna dengan izin pemilik/kontributor untuk ruang kerja.
  • Terputus: Titik akhir karena objek terkait untuk koneksi ini dihapus.
  • Ditolak: Titik akhir ditolak.

Untuk memeriksa status koneksi:

  1. Di portal Azure, navigasikan ke ruang kerja Anda yang berisi satu atau beberapa titik akhir privat yang baru saja Anda buat.

  2. Klik Jaringan.

  3. Klik tab Koneksi titik akhir privat.

  4. Dalam daftar titik akhir, lihat kolom Status koneksi.

    • Jika semuanya memiliki nilai status koneksi nilai yang Disetujui, tidak ada tindakan yang diperlukan untuk menyetujui titik akhir privat.
    • Jika nilai apa pun tertunda, mereka memerlukan persetujuan dari seseorang dengan izin pemilik/kontributor untuk ruang kerja.

  5. Jika Anda memiliki izin pemilik/kontributor untuk ruang kerja:

    1. Pilih satu atau beberapa baris titik akhir yang tertunda.

    2. Jika Anda menyetujui koneksi, klik tombol Setujui .

      Jika Anda tidak menyetujui koneksi, klik tombol Tolak .

    Jika Anda tidak memiliki izin pemilik/kontributor untuk ruang kerja, hubungi administrator ruang kerja Anda untuk menyetujui koneksi.