Mengonfigurasi PolyBase untuk mengakses data eksternal di MongoDB

  • Artikel

Berlaku untuk:SQL Server

Artikel ini menjelaskan cara menggunakan PolyBase pada instans SQL Server untuk mengkueri data eksternal di MongoDB.

Prasyarat

Jika Anda belum menginstal PolyBase, lihat penginstalan PolyBase.

Sebelum Anda membuat kredensial lingkup database, database harus memiliki kunci master untuk melindungi kredensial. Untuk informasi selengkapnya, lihat MEMBUAT KUNCI MASTER.

Mengonfigurasi sumber data eksternal MongoDB

Untuk mengkueri data dari sumber data MongoDB, Anda harus membuat tabel eksternal untuk mereferensikan data eksternal. Bagian ini menyediakan kode sampel untuk membuat tabel eksternal ini.

Perintah Transact-SQL berikut digunakan di bagian ini:

  1. Buat kredensial cakupan database untuk mengakses sumber MongoDB.

    Skrip berikut membuat kredensial cakupan database. Sebelum Anda menjalankan pembaruan skrip untuk lingkungan Anda:

    • Ganti <credential_name> dengan nama untuk kredensial.
    • Ganti <username> dengan nama pengguna untuk sumber eksternal.
    • Ganti <password> dengan kata sandi yang sesuai.
    CREATE DATABASE SCOPED CREDENTIAL [<credential_name>] WITH IDENTITY = '<username>', Secret = '<password>';

    Penting

    Konektor ODBC MongoDB untuk PolyBase hanya mendukung autentikasi dasar, bukan autentikasi Kerberos.

  2. Buat sumber data eksternal.

    Skrip berikut membuat sumber data eksternal. Untuk referensi, lihat MEMBUAT SUMBER DATA EKSTERNAL. Sebelum Anda menjalankan pembaruan skrip untuk lingkungan Anda:

    • Perbarui lokasi. Atur <server> dan <port> untuk lingkungan Anda.
    • Ganti <credential_name> dengan nama kredensial yang Anda buat di langkah sebelumnya.
    • Secara opsional Anda dapat menentukan PUSHDOWN = ON atau PUSHDOWN = OFF jika Anda ingin menentukan komputasi pushdown ke sumber eksternal.
    CREATE EXTERNAL DATA SOURCE external_data_source_name
WITH (LOCATION = '<mongodb://<server>[:<port>]>'
[ [ , ] CREDENTIAL = <credential_name> ]
[ [ , ] CONNECTION_OPTIONS = '<key_value_pairs>'[,...]]
[ [ , ] PUSHDOWN = { ON | OFF } ])
[ ; ]

  3. Kueri skema eksternal di MongoDB.

    Anda dapat menggunakan ekstensi Virtualisasi Data untuk Azure Data Studio untuk menyambungkan dan menghasilkan pernyataan CREATE EXTERNAL TABLE berdasarkan skema yang terdeteksi oleh driver PolyBase ODBC Driver for MongoDB. Anda juga dapat menyesuaikan skrip secara manual berdasarkan output prosedur tersimpan sistem sp_data_source_objects (Transact-SQL). Ekstensi Virtualisasi Data untuk Azure Data Studio dan sp_data_source_table_columns gunakan prosedur tersimpan internal yang sama untuk mengkueri skema skema eksternal.

    Untuk membuat tabel eksternal ke koleksi MongoDB yang berisi array, rekomendasinya adalah menggunakan ekstensi Virtualisasi Data untuk Azure Data Studio. Tindakan meratakan dilakukan secara otomatis oleh driver. Prosedur sp_data_source_table_columns tersimpan juga secara otomatis melakukan meratakan melalui Driver ODBC PolyBase untuk driver MongoDB.

  4. Buat tabel eksternal.

    Jika Anda menggunakan ekstensi Virtualisasi Data untuk Azure Data Studio, Anda dapat melewati langkah ini, karena pernyataan CREATE EXTERNAL TABLE dibuat untuk Anda. Untuk menyediakan skema secara manual, pertimbangkan contoh skrip berikut untuk membuat tabel eksternal. Untuk referensi, lihat MEMBUAT TABEL EKSTERNAL.

    Sebelum Anda menjalankan skrip, perbarui untuk lingkungan Anda:

    • Perbarui bidang dengan nama, kolas, dan jika bidang tersebut adalah koleksi, tentukan nama koleksi dan nama bidang. Dalam contoh, friends adalah jenis data kustom.
    • Perbarui lokasi. Atur nama database dan nama tabel. Perhatikan nama tiga bagian tidak diizinkan, sehingga Anda tidak dapat membuatnya untuk system.profile tabel. Anda juga tidak dapat menentukan tampilan karena tidak dapat memperoleh metadata dari tampilan tersebut.
    • Perbarui sumber data dengan nama yang Anda buat di langkah sebelumnya.
    CREATE EXTERNAL TABLE [MongoDbRandomData](
  [_id] NVARCHAR(24) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL,
  [RandomData_friends_id] INT,
  [RandomData_tags] NVARCHAR(MAX) COLLATE SQL_Latin1_General_CP1_CI_AS)
WITH (
  LOCATION='MyDb.RandomData',
  DATA_SOURCE=[MongoDb])

  5. Opsional: Buat statistik pada tabel eksternal.

    Sebaiknya buat statistik pada kolom tabel eksternal, terutama yang digunakan untuk gabungan, filter, dan agregat, untuk performa kueri yang optimal.

    CREATE STATISTICS statistics_name ON customer (C_CUSTKEY) WITH FULLSCAN;

Penting

Setelah Anda membuat sumber data eksternal, Anda bisa menggunakan perintah CREATE EXTERNAL TABLE untuk membuat tabel yang dapat dikueri di atas sumber tersebut.

Misalnya, lihat Membuat tabel eksternal untuk MongoDB.

Opsi koneksi MongoDB

Untuk informasi tentang opsi koneksi MongoDB, lihat dokumentasi MongoDB: Format URI String Koneksi.

Merata

Meratakan diaktifkan untuk data berlapis dan berulang dari koleksi dokumen MongoDB. Pengguna diharuskan untuk mengaktifkan create an external table dan secara eksplisit menentukan skema relasional melalui koleksi dokumen MongoDB yang mungkin memiliki data berlapis dan/atau berulang. Jenis data berlapis/berulang JSON akan diratakan sebagai berikut

  • Objek: pengumpulan kunci/nilai yang tidak berurutan diapit kurung kurawal (berlapis)

    • SQL Server membuat kolom tabel untuk setiap kunci objek

      • Nama Kolom: objectname_keyname

  • Array: nilai yang diurutkan, dipisahkan oleh koma, diapit dalam tanda kurung siku (berulang)

    • SQL Server menambahkan baris tabel baru untuk setiap item array

    • SQL Server membuat kolom per array untuk menyimpan indeks item array

      • Nama Kolom: arrayname_index

      • Jenis Data: bigint

Ada beberapa potensi masalah dengan teknik ini, dua di antaranya adalah:

  • Bidang berulang kosong akan secara efektif menutupi data yang terkandung dalam bidang datar dari rekaman yang sama

  • Kehadiran beberapa bidang berulang dapat mengakibatkan ledakan jumlah baris yang dihasilkan

Sebagai contoh, SQL Server mengevaluasi kumpulan restoran himpunan data sampel MongoDB yang disimpan dalam format JSON non-relasional. Setiap restoran memiliki bidang alamat berlapis dan array nilai yang ditetapkan pada hari yang berbeda. Gambar di bawah ini menggambarkan restoran khas dengan alamat berlapis dan nilai berulang berlapis.

MongoDB flattening

Alamat objek akan diratakan seperti di bawah ini:

  • Bidang restaurant.address.building berlapis menjadi restaurant.address_building
  • Bidang restaurant.address.coord berlapis menjadi restaurant.address_coord
  • Bidang restaurant.address.street berlapis menjadi restaurant.address_street
  • Bidang restaurant.address.zipcode berlapis menjadi restaurant.address_zipcode

Nilai array akan diratakan seperti di bawah ini:

grades_date grades_grade games_score
1393804800000 A 2
1378857600000 A 6
135898560000 A 10
1322006400000 A 9
1299715200000 B 14

Koneksi Cosmos DB

Menggunakan Cosmos DB Mongo API dan konektor Mongo DB PolyBase, Anda dapat membuat tabel eksternal instans Cosmos DB. Ini dicapai dengan mengikuti langkah-langkah yang sama seperti yang tercantum di atas. Pastikan kredensial cakupan database, Alamat server, port, dan string lokasi mencerminkan server Cosmos DB.

Contoh

Contoh berikut membuat sumber data eksternal dengan parameter berikut:

Parameter Nilai
Nama external_data_source_name
Layanan mongodb0.example.com
Instans 27017
Set replika myRepl
TLS true
Komputasi pushdown On 
CREATE EXTERNAL DATA SOURCE external_data_source_name
    WITH (LOCATION = 'mongodb://mongodb0.example.com:27017',
    CONNECTION_OPTIONS = 'replicaSet=myRepl; tls=true',
    PUSHDOWN = ON ,
    CREDENTIAL = credential_name);

Langkah berikutnya

Untuk tutorial selengkapnya tentang membuat sumber data eksternal dan tabel eksternal ke berbagai sumber data, lihat referensi PolyBase Transact-SQL.

Untuk mempelajari selengkapnya tentang PolyBase, lihat Gambaran Umum SQL Server PolyBase.