แชร์ผ่าน

บทแนะนํา: ตั้งค่าการมิเรอร์สําหรับ Google BigQuery (พรีวิว)

ในบทช่วยสอนนี้ คุณจะกําหนดค่าฐานข้อมูลมิเรอร์ Fabric จาก Google BigQuery

Note

แม้ว่าตัวอย่างนี้จะเฉพาะเจาะจงสําหรับ BigQuery แต่คุณก็ดูขั้นตอนโดยละเอียดในการกําหนดค่าการมิเรอร์สําหรับแหล่งข้อมูลอื่นๆ เช่น ฐานข้อมูล Azure SQL หรือ Azure Cosmos DB ได้ สําหรับข้อมูลเพิ่มเติม ดู ที่ มิลเลอร์ใน Fabric คืออะไร

ข้อกําหนดเบื้องต้น

  • สร้างหรือใช้คลังสินค้า BigQuery ที่มีอยู่ คุณเชื่อมต่อกับอินสแตนซ์ BigQuery เวอร์ชันใดก็ได้ในระบบคลาวด์ใดก็ได้ รวมถึง Microsoft Azure
  • คุณต้องมีความจุ Fabric ที่มีอยู่ หากคุณไม่ทําเช่นนี้ ให้ เริ่มการทดลองใช้ Fabric

ข้อกําหนดสิทธิ์

คุณต้องมีสิทธิ์ของผู้ใช้สําหรับฐานข้อมูล BigQuery ที่มีสิทธิ์ต่อไปนี้

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

ดึงข้อมูลเมตาของตารางและการกําหนดค่าประวัติการเปลี่ยนแปลง (จําเป็น)

บทบาท BigQueryAdmin และ StorageAdmin ควรมีสิทธิ์เหล่านี้ จําเป็นต้องมีสิทธิ์ต่อไปนี้เพื่อพิจารณาว่ามีการเปิดใช้งานประวัติการเปลี่ยนแปลงหรือไม่ และเพื่อดึงข้อมูลคีย์หลักหรือคีย์คอมโพสิต

ผู้ใช้ต้องมีบทบาทอย่างน้อย 1 บทบาทที่อนุญาตให้เข้าถึงอินสแตนซ์ BigQuery ตรวจสอบข้อกําหนดของระบบเครือข่ายเพื่อเข้าถึงแหล่งข้อมูล BigQuery หากคุณกําลังใช้การมิเรอร์สําหรับ Google BigQuery สําหรับเกตเวย์ข้อมูลภายในองค์กร (OPDG) คุณต้องมี OPDG เวอร์ชัน 3000.286.6 ขึ้นไปจึงจะเปิดใช้การมิเรอร์ได้สําเร็จ

สิทธิ์ที่จําเป็น

หากต้องการสร้างบัคเก็ตด้วยตนเอง (และไม่ต้องให้สิทธิ์ storage.buckets.create ) คุณสามารถใช้:

  • bigquery.tables.get
  • bigquery.tables.list
  • bigquery.routines.get
  • bigquery.routines.list
  1. ไปที่ Cloud Storage ภายใน Google Console แล้วเลือกที่เก็บข้อมูล
  2. เลือก สร้าง และตั้งชื่อบัคเก็ตในรูปแบบนี้ (คํานึงถึงตัวพิมพ์เล็กและใหญ่): <projectid>_fabric_staging_bucket
  3. ตรวจสอบให้แน่ใจว่าตําแหน่ง/ภูมิภาคของบัคเก็ตเหมือนกับโปรเจ็กต์ GCP ที่คุณวางแผนจะมิเรอร์
  4. เลือก สร้าง ระบบมิเรอร์จะตรวจจับบัคเก็ตโดยอัตโนมัติ

อาจต้องมีสิทธิ์เพิ่มเติมขึ้นอยู่กับกรณีการใช้งานของคุณ สิทธิ์ขั้นต่ําที่จําเป็นมีไว้สําหรับการทํางานกับประวัติการเปลี่ยนแปลงและการจัดการตารางขนาดต่างๆ (ตารางที่มีขนาดใหญ่กว่า 10GB) แม้ว่าคุณจะไม่ได้ทํางานกับตารางที่มีขนาดใหญ่กว่า 10GB ให้เปิดใช้งานสิทธิ์ขั้นต่ําทั้งหมดเหล่านี้เพื่อเปิดใช้งานการใช้งานการมิเรอร์ของคุณให้ประสบความสําเร็จ

ดึงข้อมูลประวัติการเปลี่ยนแปลงและข้อมูลตาราง (จําเป็น)

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับสิทธิ์ โปรดดูเอกสารประกอบของ Google BigQuery เกี่ยวกับ สิทธิ์ที่จําเป็นสําหรับการสตรีมข้อมูล สิทธิ์ ที่จําเป็นสําหรับการเข้าถึงประวัติการเปลี่ยนแปลง และ สิทธิ์ที่จําเป็นสําหรับการเขียนผลลัพธ์การค้นหา

จําเป็นต้องมีสิทธิ์ต่อไปนี้เพื่ออ่านประวัติการเปลี่ยนแปลงและข้อมูลตาราง

สําคัญ

การรักษาความปลอดภัยแบบละเอียดใดๆ ที่สร้างขึ้นในคลังสินค้า BigQuery ต้นทางต้องได้รับการกําหนดค่าใหม่ในฐานข้อมูลมิเรอร์ใน Microsoft Fabric สําหรับข้อมูลเพิ่มเติม ดูสิทธิ์ระดับแยกย่อยของ SQL ใน Microsoft Fabric

สิทธิ์ที่จําเป็น

  • bigquery.tables.getData
  • bigquery.jobs.create
  • bigquery.jobs.get
  • bigquery.jobs.list
  • bigquery.readsessions.create
  • bigquery.readsessions.getData

การเปิดใช้งานความสามารถของประวัติการเปลี่ยนแปลง (จําเป็น)

ต้องเปิดใช้ประวัติการเปลี่ยนแปลงในตาราง BigQuery ต้นทางโดยใช้ตัวเลือก ใดตัวเลือกหนึ่ง ต่อไปนี้

ตัวเลือกที่ 1: เปิดใช้งานการอนุญาต

  • bigquery.tables.update

อนุญาตให้เปิดใช้งานประวัติการเปลี่ยนแปลงบนตาราง

ตัวเลือกที่ 2: เปิดใช้ตัวเลือกตารางใน GCP

ตรวจสอบให้แน่ใจว่าได้ตั้งค่าตัวเลือกตารางต่อไปนี้เป็น TRUE:

  • enable_change_history

ส่งออกข้อมูลไปยัง Google Cloud Storage เพื่อจัดเตรียมและคัดลอกไปยัง OneLake (จําเป็น)

จําเป็นต้องมีสิทธิ์ต่อไปนี้เพื่อส่งออกข้อมูล BigQuery ไปยัง Google Cloud Storage เพื่อจัดเตรียมและคัดลอกไปยัง OneLake

สิทธิ์ที่จําเป็น

  • bigquery.tables.export
  • storage.objects.create
  • storage.objects.list
  • storage.buckets.get
  • iam.serviceAccounts.signBlob

ที่เก็บข้อมูล Google Cloud Storage สําหรับการจัดเตรียม (จําเป็น)

ต้องใช้ที่เก็บข้อมูล Google Cloud Storage เพื่อส่งออกข้อมูลตาราง BigQuery สําหรับการจัดเตรียม

ตัวเลือกการสร้างถัง

ใช้วิธีใด วิธีหนึ่ง ต่อไปนี้:

ตัวเลือกที่ 1: อนุญาตให้สร้างบัคเก็ตอัตโนมัติ

ให้สิทธิ์ต่อไปนี้:

  • storage.buckets.create

ตัวเลือกที่ 2: สร้างบัคเก็ตการแสดงละครด้วยตนเอง

สร้างบัคเก็ตด้วยแบบแผนการตั้งชื่อต่อไปนี้: <your_project_id_in_lowercase>_fabric_staging_bucket

ข้อกําหนดของถัง

  • ที่เก็บข้อมูลต้องอยู่ในตําแหน่ง/ภูมิภาคเดียวกันกับชุดข้อมูล BigQuery
  • ระบบมิเรอร์จะตรวจจับบัคเก็ตโดยอัตโนมัติเมื่อมีอยู่

รายการชุดข้อมูล (จําเป็น)

สิทธิ์ที่จําเป็น

  • bigquery.datasets.get

รายการโครงการ (จําเป็น)

สิทธิ์ที่จําเป็น

  • resourcemanager.projects.get

บทบาทและข้อกําหนดการเข้าถึง

โดยทั่วไปบทบาท ผู้ดูแลระบบ BigQuery และ ผู้ดูแลระบบพื้นที่เก็บข้อมูล จะมีสิทธิ์ที่ระบุไว้ข้างต้น

ผู้ใช้ต้องได้รับมอบหมายบทบาทอย่างน้อย 1 บทบาทที่ให้สิทธิ์เข้าถึงโปรเจ็กต์ BigQuery เป้าหมายและชุดข้อมูล

ข้อกําหนดด้านเครือข่ายและเกตเวย์

ตรวจสอบข้อกําหนดของระบบเครือข่ายเพื่อเข้าถึงแหล่งข้อมูล BigQuery

หากคุณกําลังใช้ การมิเรอร์สําหรับ Google BigQuery กับเกตเวย์ข้อมูลในองค์กร (OPDG) คุณต้องใช้สิ่งต่อไปนี้

  • OPDG เวอร์ชัน 3000.286.6 หรือใหม่กว่า

หมายเหตุเพิ่มเติม

อาจต้องมีสิทธิ์เพิ่มเติมขึ้นอยู่กับกรณีการใช้งานของคุณ สิทธิ์ที่ระบุไว้ข้างต้นแสดงถึงขั้นต่ํา ที่จําเป็น สําหรับ:

  • การทํางานกับประวัติการเปลี่ยนแปลง
  • โต๊ะจัดการขนาดต่างๆ รวมถึงโต๊ะที่มีขนาดใหญ่กว่า 10 GB

แม้ว่าคุณจะไม่ได้ทํางานกับตารางที่มีขนาดใหญ่กว่า 10 GB แต่ขอแนะนําให้เปิดใช้งานสิทธิ์ขั้นต่ําทั้งหมดเพื่อให้แน่ใจว่าการมิเรอร์จะสําเร็จ

สำหรับข้อมูลเพิ่มเติม โปรดดู:

สําคัญ

การรักษาความปลอดภัยแบบละเอียดใดๆ ที่กําหนดไว้ในคลังสินค้า BigQuery ต้นทางต้องได้รับการกําหนดค่าใหม่ในฐานข้อมูลมิเรอร์ใน Microsoft Fabric สําหรับข้อมูลเพิ่มเติม ดูสิทธิ์ระดับแยกย่อยของ SQL ใน Microsoft Fabric

สร้างฐานข้อมูลที่มิเรอร์

ในส่วนนี้ คุณจะสร้างฐานข้อมูลมิเรอร์ใหม่จากแหล่งข้อมูล BigQuery ที่มิเรอร์

คุณสามารถใช้พื้นที่ทํางานที่มีอยู่ (ไม่ใช่พื้นที่ทํางานของฉัน) หรือสร้างพื้นที่ทํางานใหม่

  1. จากพื้นที่ทํางานของคุณ ให้ไปที่ฮับสร้าง
  2. หลังจากที่คุณเลือกพื้นที่ทํางานที่คุณต้องการใช้ ให้เลือก สร้าง
  3. เลือกการ์ด Google BigQuery ที่มิเรอร์
  4. ป้อนชื่อสําหรับฐานข้อมูลใหม่
  5. เลือก สร้าง

เชื่อมต่อกับอินสแตนซ์ BigQuery ในระบบคลาวด์ใดก็ได้

Note

คุณอาจต้องแก้ไขไฟร์วอลล์ระบบคลาวด์เพื่อให้การมิเรอร์เชื่อมต่อกับอินสแตนซ์ BigQuery ได้ เรารองรับการมิเรอร์สําหรับ Google BigQuery สําหรับ OPDG เวอร์ชัน 3000.286.6 ขึ้นไป เรายังสนับสนุน VNET

  1. เลือก BigQuery ในส่วน การเชื่อมต่อใหม่ หรือเลือกการเชื่อมต่อที่มีอยู่

  2. หากเลือก การเชื่อมต่อใหม่ ให้ป้อนรายละเอียดการเชื่อมต่อกับฐานข้อมูล BigQuery

    การตั้งค่าการเชื่อมต่อ คำอธิบาย
    อีเมลบัญชีบริการ หากคุณมีบัญชีบริการอยู่แล้ว ให้ค้นหาอีเมลของบัญชีบริการและคีย์ที่มีอยู่ได้โดยไปที่ บัญชีบริการ ในคอนโซล Google BigQuery หากไม่มีบัญชีบริการอยู่แล้ว ให้ไปที่ "บัญชีบริการ" ในคอนโซล Google BigQuery แล้วเลือกสร้างบัญชีบริการ ป้อนชื่อบัญชีบริการ (รหัสบัญชีบริการจะถูกสร้างขึ้นโดยอัตโนมัติตามชื่อบัญชีบริการที่คุณป้อน) และคําอธิบายบัญชีบริการ เลือก เสร็จสิ้น คัดลอกและวางอีเมลบัญชีบริการลงในส่วนข้อมูลประจําตัวการเชื่อมต่อที่กําหนดใน Fabric
    เนื้อหาไฟล์คีย์ JSON ของบัญชีบริการ ภายในแดชบอร์ดบัญชีบริการ ให้เลือก การดําเนินการ สําหรับบัญชีบริการที่สร้างขึ้นใหม่ของคุณ เลือกจัดการคีย์ หากคุณมีคีย์ต่อบัญชีบริการอยู่แล้ว ให้ดาวน์โหลดเนื้อหาไฟล์คีย์ JSON

    หากยังไม่มีคีย์ต่อบัญชีบริการ ให้เลือกเพิ่มคีย์และสร้างคีย์ใหม่ จากนั้นเลือก JSON ไฟล์คีย์ JSON ควรดาวน์โหลดโดยอัตโนมัติ คัดลอกและวางคีย์ JSON ลงในส่วนข้อมูลประจําตัวการเชื่อมต่อที่กําหนดในพอร์ทัล Fabric
    การเชื่อมต่อ สร้างการเชื่อมต่อใหม่
    ชื่อการเชื่อมต่อ ควรกรอกโดยอัตโนมัติ เปลี่ยนเป็นชื่อที่คุณต้องการใช้

  3. เลือกฐานข้อมูลจากรายการแบบเลื่อนลง

เริ่มกระบวนการมิเรอร์

  1. หน้าจอ กําหนดค่าการ มิเรอร์ช่วยให้คุณสามารถมิเรอร์ข้อมูลทั้งหมดในฐานข้อมูลตามค่าเริ่มต้น

    • มิเรอร์ข้อมูล ทั้งหมดหมายความว่าตารางใหม่ใด ๆ ที่สร้างขึ้นหลังจากการมิเรอร์เริ่มต้นจะสะท้อน

    • อีกทางหนึ่งคือเลือกเฉพาะวัตถุบางอย่างเพื่อมิเรอร์ ปิดใช้งานตัวเลือก มิเรอร์ข้อมูลทั้งหมด จากนั้นเลือกแต่ละตารางจากฐานข้อมูลของคุณ

    สําหรับตัวอย่างนี้ เราใช้ตัวเลือก มิเรอร์ข้อมูลทั้งหมด

  2. เลือก ฐานข้อมูลมิเรอร์ การสะท้อนเริ่มต้น

  3. รอ 2-5 นาที จากนั้นเลือก ตรวจสอบการ จําลองแบบ เพื่อดูสถานะ

  4. หลังจากสองสามนาที สถานะควรเปลี่ยนเป็น กําลังทํางาน ซึ่งหมายความว่าตารางกําลังถูกซิงโครไนซ์

    หากคุณไม่เห็นตารางและสถานะการจําลองแบบที่สอดคล้องกัน ให้รอสักครู่แล้วจึงรีเฟรชแผง

  5. เมื่อเสร็จสิ้นการคัดลอกเริ่มต้นของตารางแล้ว วันที่จะปรากฏใน คอลัมน์ รีเฟรช ครั้งล่าสุด

  6. ในตอนนี้ข้อมูลของคุณพร้อมใช้งาน แล้ว มีสถานการณ์การวิเคราะห์ต่าง ๆ ที่พร้อมใช้งานใน Fabric ทั้งหมด

สําคัญ

  • การสะท้อนสําหรับ Google BigQuery มีความล่าช้าในการสะท้อนการเปลี่ยนแปลง ~15 นาที นี่เป็นข้อจํากัดจากความสามารถของประวัติการเปลี่ยนแปลงของ Google BigQuery
  • การรักษาความปลอดภัยระดับแยกย่อยใด ๆ ที่สร้างขึ้นในฐานข้อมูลต้นฉบับต้องได้รับการกําหนดค่าใหม่ในฐานข้อมูลที่มิเรอร์ใน Microsoft Fabric

จอภาพการสะท้อนผ้า

เมื่อมีการกําหนดค่ามิเรอร์ แล้ว ระบบจะนําทางคุณไปยัง หน้า สถานะ การมิเรอร์ ที่นี่ คุณสามารถตรวจสอบสถานะปัจจุบันของการจําลองแบบได้

สําหรับข้อมูลเพิ่มเติมและรายละเอียดเกี่ยวกับสถานะการจําลองแบบ ดู ตรวจสอบการจําลองแบบฐานข้อมูลมิเรอร์ Fabric

สําคัญ

หากไม่มีการอัปเดตในตารางต้นทางในฐานข้อมูล BigQuery กลไกตัวจําลอง (กลไกที่ขับเคลื่อนข้อมูลการเปลี่ยนแปลงสําหรับการมิเรอร์ BigQuery) จะทํางานช้าลงและทําซ้ําตารางทุกชั่วโมงเท่านั้น อย่าแปลกใจหากข้อมูลหลังจากการโหลดครั้งแรกใช้เวลานานกว่าที่คาดไว้ โดยเฉพาะอย่างยิ่งหากคุณไม่มีการอัปเดตใหม่ในตารางต้นทางของคุณ หลังจากสแนปช็อต Mirror Engine จะรอ ~15 นาทีก่อนที่จะดึงข้อมูลการเปลี่ยนแปลง นี่เป็นเพราะข้อจํากัดจาก Google BigQuery ซึ่งกําหนดให้มีการหน่วงเวลา 10 นาทีในการสะท้อนการเปลี่ยนแปลงใหม่ๆ ดูข้อมูลเพิ่มเติมเกี่ยวกับความล่าช้าในการสะท้อนการเปลี่ยนแปลงของ BigQuery

เนื้อหาที่เกี่ยวข้อง

  • Last updated on