บทแนะนํา: ตั้งค่าการมิเรอร์สําหรับ Google BigQuery (พรีวิว)

ในบทช่วยสอนนี้ คุณจะกําหนดค่าฐานข้อมูลมิเรอร์ Fabric จาก Google BigQuery

Note

แม้ว่าตัวอย่างนี้จะเฉพาะเจาะจงสําหรับ BigQuery แต่คุณก็ดูขั้นตอนโดยละเอียดในการกําหนดค่าการมิเรอร์สําหรับแหล่งข้อมูลอื่นๆ เช่น ฐานข้อมูล Azure SQL หรือ Azure Cosmos DB ได้ สําหรับข้อมูลเพิ่มเติม ดู ที่ มิลเลอร์ใน Fabric คืออะไร

ข้อกําหนดเบื้องต้น

• สร้างหรือใช้คลังสินค้า BigQuery ที่มีอยู่ คุณเชื่อมต่อกับอินสแตนซ์ BigQuery เวอร์ชันใดก็ได้ในระบบคลาวด์ใดก็ได้ รวมถึง Microsoft Azure
• คุณต้องมีความจุ Fabric ที่มีอยู่ หากคุณไม่ทําเช่นนี้ ให้ เริ่มการทดลองใช้ Fabric

ข้อกําหนดสิทธิ์

คุณต้องมีสิทธิ์ของผู้ใช้สําหรับฐานข้อมูล BigQuery ที่มีสิทธิ์ต่อไปนี้

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

บทบาท BigQueryAdmin และ StorageAdmin ควรมีสิทธิ์เหล่านี้

อาจต้องมีสิทธิ์เพิ่มเติมขึ้นอยู่กับกรณีการใช้งานของคุณ สิทธิ์ขั้นต่ําที่จําเป็นเป็นสิ่งจําเป็นสําหรับการทํางานกับประวัติการเปลี่ยนแปลงและการจัดการตารางขนาดต่างๆ (ตารางที่มีขนาดใหญ่กว่า 10GB) แม้ว่าคุณจะไม่ได้ทํางานกับตารางที่มีขนาดใหญ่กว่า 10GB ให้เปิดใช้งานสิทธิ์ขั้นต่ําทั้งหมดเหล่านี้เพื่อเปิดใช้งานการใช้งานการมิเรอร์ของคุณให้ประสบความสําเร็จ

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับสิทธิ์ โปรดดูเอกสารประกอบของ Google BigQuery เกี่ยวกับ สิทธิ์ที่จําเป็นสําหรับการสตรีมข้อมูล สิทธิ์ ที่จําเป็นสําหรับการเข้าถึงประวัติการเปลี่ยนแปลง และ สิทธิ์ที่จําเป็นสําหรับการเขียนผลลัพธ์การค้นหา

ผู้ใช้ต้องมีบทบาทอย่างน้อย 1 บทบาทที่อนุญาตให้เข้าถึงอินสแตนซ์ BigQuery ตรวจสอบข้อกําหนดของระบบเครือข่ายเพื่อเข้าถึงแหล่งข้อมูล BigQuery หากคุณกําลังใช้การมิเรอร์สําหรับ Google BigQuery สําหรับเกตเวย์ข้อมูลภายในองค์กร (OPDG) คุณต้องมี OPDG เวอร์ชัน 3000.286.6 ขึ้นไปจึงจะเปิดใช้การมิเรอร์ได้สําเร็จ

สําหรับข้อมูลเกี่ยวกับสาเหตุที่จําเป็นต้องมีสิทธิ์เหล่านี้ โปรดดูเอกสารข้อจํากัดของสิทธิ์

สําคัญ

การรักษาความปลอดภัยแบบละเอียดใดๆ ที่สร้างขึ้นในคลังสินค้า BigQuery ต้นทางต้องได้รับการกําหนดค่าใหม่ในฐานข้อมูลมิเรอร์ใน Microsoft Fabric สําหรับข้อมูลเพิ่มเติม ดูสิทธิ์ระดับแยกย่อยของ SQL ใน Microsoft Fabric

สร้างฐานข้อมูลที่มิเรอร์

ในส่วนนี้ คุณจะสร้างฐานข้อมูลมิเรอร์ใหม่จากแหล่งข้อมูล BigQuery ที่มิเรอร์

คุณสามารถใช้พื้นที่ทํางานที่มีอยู่ (ไม่ใช่พื้นที่ทํางานของฉัน) หรือสร้างพื้นที่ทํางานใหม่

1. จากพื้นที่ทํางานของคุณ ให้ไปที่ฮับสร้าง
2. หลังจากที่คุณเลือกพื้นที่ทํางานที่คุณต้องการใช้ ให้เลือก สร้าง
3. เลือกการ์ด Google BigQuery ที่มิเรอร์
4. ป้อนชื่อสําหรับฐานข้อมูลใหม่
5. เลือก สร้าง

เชื่อมต่อกับอินสแตนซ์ BigQuery ในระบบคลาวด์ใดก็ได้

Note

คุณอาจต้องแก้ไขไฟร์วอลล์ระบบคลาวด์เพื่อให้การมิเรอร์เชื่อมต่อกับอินสแตนซ์ BigQuery ได้ เรารองรับการมิเรอร์สําหรับ Google BigQuery สําหรับ OPDG เวอร์ชัน 3000.286.6 ขึ้นไป

1. เลือก BigQuery ในส่วน การเชื่อมต่อใหม่ หรือเลือกการเชื่อมต่อที่มีอยู่

2. หากเลือก การเชื่อมต่อใหม่ ให้ป้อนรายละเอียดการเชื่อมต่อกับฐานข้อมูล BigQuery

   การตั้งค่าการเชื่อมต่อ	คำอธิบาย
   อีเมลบัญชีบริการ	หากคุณมีบัญชีบริการอยู่แล้ว ให้ค้นหาอีเมลของบัญชีบริการและคีย์ที่มีอยู่ได้โดยไปที่ บัญชีบริการ ในคอนโซล Google BigQuery หากไม่มีบัญชีบริการอยู่แล้ว ให้ไปที่ "บัญชีบริการ" ในคอนโซล Google BigQuery แล้วเลือกสร้างบัญชีบริการ ป้อนชื่อบัญชีบริการ (รหัสบัญชีบริการจะถูกสร้างขึ้นโดยอัตโนมัติตามชื่อบัญชีบริการที่คุณป้อน) และคําอธิบายบัญชีบริการ เลือก เสร็จสิ้น คัดลอกและวางอีเมลบัญชีบริการลงในส่วนข้อมูลประจําตัวการเชื่อมต่อที่กําหนดใน Fabric
   เนื้อหาไฟล์คีย์ JSON ของบัญชีบริการ	ภายในแดชบอร์ดบัญชีบริการ ให้เลือก การดําเนินการ สําหรับบัญชีบริการที่สร้างขึ้นใหม่ของคุณ เลือกจัดการคีย์ หากคุณมีคีย์ต่อบัญชีบริการอยู่แล้ว ให้ดาวน์โหลดเนื้อหาไฟล์คีย์ JSON หากยังไม่มีคีย์ต่อบัญชีบริการ ให้เลือกเพิ่มคีย์และสร้างคีย์ใหม่ จากนั้นเลือก JSON ไฟล์คีย์ JSON ควรดาวน์โหลดโดยอัตโนมัติ คัดลอกและวางคีย์ JSON ลงในส่วนข้อมูลประจําตัวการเชื่อมต่อที่กําหนดในพอร์ทัล Fabric
   การเชื่อมต่อ	สร้างการเชื่อมต่อใหม่
   ชื่อการเชื่อมต่อ	ควรกรอกโดยอัตโนมัติ เปลี่ยนเป็นชื่อที่คุณต้องการใช้

3. เลือกฐานข้อมูลจากรายการแบบเลื่อนลง

เริ่มกระบวนการมิเรอร์

1. หน้าจอ กําหนดค่าการ มิเรอร์ช่วยให้คุณสามารถมิเรอร์ข้อมูลทั้งหมดในฐานข้อมูลตามค่าเริ่มต้น

   • มิเรอร์ข้อมูล ทั้งหมดหมายความว่าตารางใหม่ใด ๆ ที่สร้างขึ้นหลังจากการมิเรอร์เริ่มต้นจะสะท้อน

   • อีกทางหนึ่งคือเลือกเฉพาะวัตถุบางอย่างเพื่อมิเรอร์ ปิดใช้งานตัวเลือก มิเรอร์ข้อมูลทั้งหมด จากนั้นเลือกแต่ละตารางจากฐานข้อมูลของคุณ

   สําหรับตัวอย่างนี้ เราใช้ตัวเลือก มิเรอร์ข้อมูลทั้งหมด

2. เลือก ฐานข้อมูลมิเรอร์ การสะท้อนเริ่มต้น

3. รอ 2-5 นาที จากนั้นเลือก ตรวจสอบการ จําลองแบบ เพื่อดูสถานะ

4. หลังจากสองสามนาที สถานะควรเปลี่ยนเป็น กําลังทํางาน ซึ่งหมายความว่าตารางกําลังถูกซิงโครไนซ์

   หากคุณไม่เห็นตารางและสถานะการจําลองแบบที่สอดคล้องกัน ให้รอสักครู่แล้วจึงรีเฟรชแผง

5. เมื่อเสร็จสิ้นการคัดลอกเริ่มต้นของตารางแล้ว วันที่จะปรากฏใน คอลัมน์ รีเฟรช ครั้งล่าสุด

6. ในตอนนี้ข้อมูลของคุณพร้อมใช้งาน แล้ว มีสถานการณ์การวิเคราะห์ต่าง ๆ ที่พร้อมใช้งานใน Fabric ทั้งหมด

สําคัญ

• การสะท้อนสําหรับ Google BigQuery มีความล่าช้าในการสะท้อนการเปลี่ยนแปลง ~15 นาที นี่เป็นข้อจํากัดจากเทคโนโลยีการบันทึกข้อมูลการเปลี่ยนแปลง (CDC) ของ Google BigQuery
• การรักษาความปลอดภัยระดับแยกย่อยใด ๆ ที่สร้างขึ้นในฐานข้อมูลต้นฉบับต้องได้รับการกําหนดค่าใหม่ในฐานข้อมูลที่มิเรอร์ใน Microsoft Fabric

จอภาพการสะท้อนผ้า

เมื่อมีการกําหนดค่ามิเรอร์ แล้ว ระบบจะนําทางคุณไปยัง หน้า สถานะ การมิเรอร์ ที่นี่ คุณสามารถตรวจสอบสถานะปัจจุบันของการจําลองแบบได้

สําหรับข้อมูลเพิ่มเติมและรายละเอียดเกี่ยวกับสถานะการจําลองแบบ ดู ตรวจสอบการจําลองแบบฐานข้อมูลมิเรอร์ Fabric

สําคัญ

หากไม่มีการอัปเดตในตารางต้นทางในฐานข้อมูล BigQuery กลไกตัวจําลอง (กลไกที่ขับเคลื่อนข้อมูลการเปลี่ยนแปลงสําหรับการมิเรอร์ BigQuery) จะทํางานช้าลงและทําซ้ําตารางทุกชั่วโมงเท่านั้น อย่าแปลกใจหากข้อมูลหลังจากการโหลดครั้งแรกใช้เวลานานกว่าที่คาดไว้ โดยเฉพาะอย่างยิ่งหากคุณไม่มีการอัปเดตใหม่ในตารางต้นทางของคุณ หลังจากสแนปช็อต Mirror Engine จะรอ ~15 นาทีก่อนที่จะดึงข้อมูลการเปลี่ยนแปลง นี่เป็นเพราะข้อจํากัดจาก Google BigQuery ซึ่งกําหนดให้มีการหน่วงเวลา 10 นาทีในการสะท้อนการเปลี่ยนแปลงใหม่ๆ ดูข้อมูลเพิ่มเติมเกี่ยวกับความล่าช้าในการสะท้อนการเปลี่ยนแปลงของ BigQuery

เนื้อหาที่เกี่ยวข้อง

• ภาพรวมการมิเรอร์ Google BigQuery
• การมิเรอร์ใน Fabric คืออะไร