การใช้การรีเฟรชแบบเพิ่มหน่วยกับกระแสข้อมูล

ด้วยกระแสข้อมูล คุณสามารถนําข้อมูลจํานวนมากเข้าสู่ Power BI หรือที่เก็บข้อมูลที่องค์กรของคุณจัดเตรียมไว้ได้ อย่างไรก็ตาม ในบางกรณี การอัปเดตสําเนาข้อมูลต้นฉบับแบบเต็มในการรีเฟรชแต่ละครั้งไม่สามารถใช้งานได้จริง ทางเลือกที่ดีคือการ รีเฟรชแบบเพิ่มหน่วย ซึ่งให้ประโยชน์ต่อไปนี้สําหรับกระแสข้อมูล:

• การรีเฟรชเกิดขึ้นเร็วขึ้น: เฉพาะข้อมูลที่มีการเปลี่ยนแปลงเท่านั้นที่ต้องรีเฟรช ตัวอย่างเช่น รีเฟรชเฉพาะห้าวันสุดท้ายของกระแสข้อมูล 10 ปี
• การรีเฟรชมีความน่าเชื่อถือมากขึ้น: ตัวอย่างเช่น ไม่จําเป็นต้องรักษาการเชื่อมต่อที่ทํางานเป็นเวลานานกับระบบต้นทางที่ผันผวน
• การใช้ทรัพยากรลดลง: ข้อมูลในการรีเฟรชน้อยลงจะช่วยลดการใช้หน่วยความจําและทรัพยากรอื่นๆ โดยรวม

การรีเฟรชแบบเพิ่มหน่วยพร้อมใช้งานในกระแสข้อมูลที่สร้างขึ้นใน Power BI และกระแสข้อมูลที่สร้างขึ้นใน Power Apps บทความนี้แสดงหน้าจอจาก Power BI แต่คําแนะนําเหล่านี้ใช้กับกระแสข้อมูลที่สร้างขึ้นใน Power BI หรือใน Power Apps

Note

เมื่อ Schema สําหรับตารางในกระแสข้อมูลการวิเคราะห์เปลี่ยนแปลง การรีเฟรชแบบเต็มจะเกิดขึ้นเพื่อให้แน่ใจว่าข้อมูลผลลัพธ์ทั้งหมดตรงกับ Schema ใหม่ ด้วยเหตุนี้ ข้อมูลใดๆ ที่จัดเก็บไว้ทีละน้อยจะถูกรีเฟรช และในบางกรณี หากระบบต้นทางไม่เก็บข้อมูลในอดีต จะสูญหาย

การใช้การรีเฟรชแบบเพิ่มหน่วยในกระแสข้อมูลที่สร้างขึ้นใน Power BI ต้องการให้กระแสข้อมูลอยู่ในพื้นที่ทํางานในความจุแบบพรีเมียม การรีเฟรชแบบเพิ่มหน่วยใน Power Apps ต้องใช้แผน Power Apps ต่อแอปหรือต่อผู้ใช้ และพร้อมใช้งานสําหรับกระแสข้อมูลที่มี Azure Data Lake Storage เป็นปลายทางเท่านั้น

ใน Power BI หรือ Power Apps การใช้การรีเฟรชแบบเพิ่มหน่วยต้องการให้ข้อมูลต้นทางที่นําเข้าลงในกระแสข้อมูลมีฟิลด์ DateTime ซึ่งการรีเฟรชแบบเพิ่มหน่วยสามารถกรองได้

การกําหนดค่าการรีเฟรชแบบเพิ่มหน่วยสําหรับกระแสข้อมูล

กระแสข้อมูลสามารถมีหลายตาราง การรีเฟรชแบบเพิ่มหน่วยถูกตั้งค่าที่ระดับตาราง ซึ่งช่วยให้กระแสข้อมูลหนึ่งสามารถเก็บทั้งตารางที่รีเฟรชอย่างสมบูรณ์และตารางที่รีเฟรชแบบเพิ่มหน่วยได้

เมื่อต้องการตั้งค่าตารางที่รีเฟรชแบบเพิ่มหน่วย ให้เริ่มต้นด้วยการกําหนดค่าตารางของคุณเหมือนกับที่คุณทํากับตารางอื่นๆ

หลังจากสร้างและบันทึกกระแสข้อมูลแล้ว ให้เลือก การ รีเฟรช แบบเพิ่มหน่วย ในมุมมองตาราง ดังที่แสดงในรูปต่อไปนี้

เมื่อคุณเลือกไอคอน หน้าต่าง การตั้งค่าการรีเฟรชแบบเพิ่มหน่วย จะปรากฏขึ้น เปิดการรีเฟรชแบบเพิ่มหน่วย

รายการต่อไปนี้จะอธิบายการตั้งค่าในหน้าต่างการตั้งค่าการรีเฟรชแบบเพิ่มหน่วย

• การสลับเปิด/ปิดการรีเฟรชแบบเพิ่มหน่วย: เปิดหรือปิดนโยบายการรีเฟรชแบบเพิ่มหน่วยสําหรับตาราง

• ดรอปดาวน์ฟิลด์ตัวกรอง: เลือกฟิลด์คิวรีที่ควรกรองตารางเพื่อเพิ่มทีละน้อย ฟิลด์นี้มีเฉพาะฟิลด์ DateTime เท่านั้น คุณไม่สามารถใช้การรีเฟรชแบบเพิ่มหน่วยได้ถ้าตารางของคุณไม่มีฟิลด์ DateTime

  สําคัญ

  เลือกฟิลด์วันที่ที่ไม่เปลี่ยนแปลงสําหรับตัวกรองการรีเฟรชแบบเพิ่มหน่วย ถ้าค่าเขตข้อมูลเปลี่ยนแปลง (ตัวอย่างเช่น ด้วยเขตข้อมูลที่ แก้ไขวันที่ ) การเปลี่ยนแปลงนี้อาจนําไปสู่ ความล้มเหลวในการรีเฟรชเนื่องจากค่าที่ซ้ํากัน ในข้อมูล

• จัดเก็บ/รีเฟรชแถวจากอดีต: ตัวอย่างในรูปภาพก่อนหน้านี้แสดงการตั้งค่าสองสามรายการถัดไปเหล่านี้

  ในตัวอย่างนี้ เรากําหนดนโยบายการรีเฟรชเพื่อจัดเก็บข้อมูลทั้งหมดห้าปีและรีเฟรชข้อมูล 10 วันทีละน้อย สมมติว่ามีการรีเฟรชตารางทุกวัน จะมีการดําเนินการต่อไปนี้สําหรับการดําเนินการรีเฟรชแต่ละครั้ง:

  • เพิ่มข้อมูลวันใหม่

  • รีเฟรช 10 วัน จนถึงวันที่ปัจจุบัน

  • ลบปีปฏิทินที่เก่ากว่าห้าปีก่อนวันที่ปัจจุบัน ตัวอย่างเช่น ถ้าวันที่ปัจจุบันคือ 1 มกราคม 2019 ปี 2013 จะถูกลบออก

  การรีเฟรชกระแสข้อมูลครั้งแรกอาจใช้เวลาสักครู่ในการนําเข้าทั้งห้าปี แต่การรีเฟรชในภายหลังมีแนวโน้มที่จะเสร็จสมบูรณ์เร็วกว่ามาก

• ตรวจหาการเปลี่ยนแปลงข้อมูล: การรีเฟรชแบบเพิ่มหน่วย 10 วันมีประสิทธิภาพมากกว่าการรีเฟรชแบบเต็มห้าปี แต่คุณอาจทําได้ดีกว่านั้น เมื่อคุณเลือกกล่องกาเครื่องหมาย ตรวจหาการเปลี่ยนแปลงข้อมูล คุณสามารถเลือกคอลัมน์วันที่/เวลาเพื่อระบุและฟื้นฟูเฉพาะวันที่ข้อมูลมีการเปลี่ยนแปลง สิ่งนี้ถือว่าคอลัมน์ดังกล่าวมีอยู่ในระบบต้นทาง ซึ่งโดยทั่วไปจะใช้เพื่อวัตถุประสงค์ในการตรวจสอบ ค่าสูงสุดของคอลัมน์นี้จะถูกประเมินสําหรับแต่ละช่วงเวลาในช่วงที่เพิ่มขึ้น ถ้าข้อมูลนั้นไม่มีการเปลี่ยนแปลงตั้งแต่การรีเฟรชครั้งล่าสุด ก็ไม่จําเป็นต้องรีเฟรชรอบระยะเวลา ในตัวอย่าง สิ่งนี้อาจลดวันที่รีเฟรชทีละน้อยจาก 10 เหลือ 2 วัน

  เคล็ดลับ

  การออกแบบปัจจุบันกําหนดให้คอลัมน์ที่ใช้ในการตรวจหาการเปลี่ยนแปลงข้อมูลยังคงอยู่และแคชลงในหน่วยความจํา คุณอาจต้องการพิจารณาเทคนิคใดเทคนิคหนึ่งต่อไปนี้เพื่อลดคาร์ดินาลลิตี้และการใช้หน่วยความจํา:

  • คงไว้เฉพาะค่าสูงสุดของคอลัมน์นี้ในเวลาที่รีเฟรช อาจใช้ฟังก์ชัน Power Query
  • ลดความแม่นยําให้อยู่ในระดับที่ยอมรับได้ตามข้อกําหนดความถี่ในการรีเฟรชของคุณ

• รีเฟรชเฉพาะช่วงเวลาที่สมบูรณ์: ลองนึกภาพว่าการรีเฟรชของคุณมีกําหนดการให้ทํางานเวลา 4:00 น. ทุกวัน หากข้อมูลปรากฏในระบบต้นทางในช่วงสี่ชั่วโมงแรกของวันนั้น คุณอาจไม่ต้องการพิจารณาข้อมูลนั้น ตัวชี้วัดทางธุรกิจบางอย่าง เช่น บาร์เรลต่อวันในอุตสาหกรรมน้ํามันและก๊าซ ไม่สามารถนําไปใช้ได้จริงหรือสมเหตุสมผลในการพิจารณาจากบางส่วนของวัน

  อีกตัวอย่างหนึ่งที่การรีเฟรชเฉพาะรอบระยะเวลาที่สมบูรณ์เท่านั้นที่เหมาะสมคือการรีเฟรชข้อมูลจากระบบการเงิน ลองนึกภาพระบบการเงินที่ข้อมูลสําหรับเดือนก่อนหน้าได้รับการอนุมัติในวันที่ 12 ตามปฏิทินของเดือน คุณสามารถตั้งค่าช่วงที่เพิ่มขึ้นเป็นหนึ่งเดือน และกําหนดเวลาการรีเฟรชให้ทํางานในวันที่ 12 ของเดือน เมื่อเลือกตัวเลือกนี้ ระบบจะรีเฟรชข้อมูลเดือนมกราคม (รอบระยะเวลารายเดือนที่สมบูรณ์ล่าสุด) ในวันที่ 12 กุมภาพันธ์

Note

การรีเฟรชแบบเพิ่มหน่วยของกระแสข้อมูลจะกําหนดวันที่ตามตรรกะต่อไปนี้: หากมีการกําหนดเวลาการรีเฟรช การรีเฟรชแบบเพิ่มหน่วยสําหรับกระแสข้อมูลจะใช้โซนเวลาที่กําหนดไว้ในนโยบายการรีเฟรช ถ้าไม่มีกําหนดการสําหรับการรีเฟรช การรีเฟรชแบบเพิ่มหน่วยจะใช้เวลาจากคอมพิวเตอร์ที่เรียกใช้การรีเฟรช

หลังจากกําหนดค่าการรีเฟรชแบบเพิ่มหน่วยแล้ว กระแสข้อมูลจะเปลี่ยนคิวรีของคุณโดยอัตโนมัติเพื่อรวมการกรองตามวันที่ ถ้ากระแสข้อมูลถูกสร้างขึ้นใน Power BI คุณยังสามารถแก้ไขคิวรีที่สร้างขึ้นโดยอัตโนมัติโดยใช้ตัวแก้ไขขั้นสูงใน Power Query เพื่อปรับแต่งหรือปรับแต่งการรีเฟรชของคุณ อ่านเพิ่มเติมเกี่ยวกับการรีเฟรชแบบเพิ่มหน่วยและวิธีการทํางานในส่วนต่อไปนี้

Note

เมื่อคุณแก้ไขกระแสข้อมูล ตัวแก้ไข Power Query จะเชื่อมต่อกับแหล่งข้อมูลโดยตรง และไม่แสดงข้อมูลที่แคชหรือกรองในกระแสข้อมูลหลังจากที่นโยบายการรีเฟรชแบบเพิ่มหน่วยประมวลผล เมื่อต้องการตรวจสอบข้อมูลที่แคชไว้ภายในกระแสข้อมูล ให้เชื่อมต่อจาก Power BI Desktop ไปยังกระแสข้อมูลหลังจากกําหนดค่านโยบายการรีเฟรชแบบเพิ่มหน่วยและรีเฟรชกระแสข้อมูล

การรีเฟรชแบบเพิ่มหน่วยและตารางที่เชื่อมโยงเทียบกับตารางที่คํานวณ

สําหรับตาราง ที่เชื่อมโยง การรีเฟรชแบบเพิ่มหน่วยจะอัปเดตตารางต้นทาง เนื่องจากตารางที่เชื่อมโยงเป็นเพียงตัวชี้ไปยังตารางต้นฉบับ การรีเฟรชแบบเพิ่มหน่วยจึงไม่มีผลกระทบต่อตารางที่เชื่อมโยง เมื่อมีการรีเฟรชตารางต้นทางตามนโยบายการรีเฟรชที่กําหนดไว้ ตารางที่เชื่อมโยงใดๆ ควรถือว่าข้อมูลในแหล่งข้อมูลได้รับการรีเฟรช

ตารางที่คํานวณจะขึ้นอยู่กับคิวรีที่ทํางานบนที่เก็บข้อมูล ซึ่งอาจเป็นกระแสข้อมูลอื่น ด้วยเหตุนี้ ตารางที่คํานวณจึงทํางานในลักษณะเดียวกับตารางที่เชื่อมโยง

เนื่องจากตารางที่คํานวณและตารางที่เชื่อมโยงทํางานคล้ายกัน ข้อแตกต่างประการหนึ่งคือสําหรับตารางที่คํานวณในการกําหนดค่าบางอย่างการรีเฟรชแบบเพิ่มหน่วยไม่สามารถทํางานในรูปแบบที่ปรับให้เหมาะสมได้เนื่องจากวิธีการสร้างพาร์ติชัน

การเปลี่ยนระหว่างการรีเฟรชแบบเพิ่มหน่วยและการรีเฟรชแบบเต็ม

กระแสข้อมูลสนับสนุนการเปลี่ยนนโยบายการรีเฟรชระหว่างการรีเฟรชแบบเพิ่มหน่วยและการรีเฟรชแบบเต็ม เมื่อการเปลี่ยนแปลงเกิดขึ้นในทิศทางใดทิศทางหนึ่ง (เต็มเป็นส่วนเพิ่ม หรือเพิ่มขึ้นเป็นเต็ม) การเปลี่ยนแปลงจะส่งผลต่อกระแสข้อมูลหลังจากการรีเฟรชครั้งถัดไป

เมื่อคุณย้ายกระแสข้อมูลจากการรีเฟรชแบบเต็มเป็นแบบเพิ่มหน่วย ตรรกะการรีเฟรชใหม่จะอัปเดตกระแสข้อมูลโดยยึดตามหน้าต่างการรีเฟรชและการเพิ่มตามที่กําหนดไว้ในการตั้งค่าการรีเฟรชแบบเพิ่มหน่วย

เมื่อคุณย้ายกระแสข้อมูลจากการรีเฟรชแบบเพิ่มหน่วยเป็นการรีเฟรชแบบเต็ม ข้อมูลทั้งหมดที่สะสมในการรีเฟรชแบบเพิ่มหน่วยจะเขียนทับนโยบายที่กําหนดไว้ในการรีเฟรชแบบเต็ม คุณต้องอนุมัติการดําเนินการนี้

การสนับสนุนโซนเวลาในการรีเฟรชแบบเพิ่มหน่วย

การรีเฟรชแบบเพิ่มหน่วยของกระแสข้อมูลขึ้นอยู่กับเวลาที่ทํางาน การกรองคิวรีจะขึ้นอยู่กับวันที่เรียกใช้

เพื่อรองรับการขึ้นต่อกันเหล่านั้นและเพื่อให้แน่ใจว่าข้อมูลมีความสอดคล้องกัน การรีเฟรชแบบเพิ่มหน่วยสําหรับกระแสข้อมูลจะใช้ฮิวริสติกต่อไปนี้สําหรับสถานการณ์การ รีเฟรชทันที :

• ในกรณีที่มีการกําหนดการรีเฟรชตามกําหนดการในระบบ การรีเฟรชแบบเพิ่มหน่วยจะใช้การตั้งค่าโซนเวลาจากส่วนการรีเฟรชตามกําหนดการ กระบวนการนี้ช่วยให้แน่ใจว่าไม่ว่าบุคคลที่รีเฟรชกระแสข้อมูลจะอยู่ในโซนเวลาใดก็ตาม จะสอดคล้องกับข้อกําหนดของระบบเสมอ

• ถ้าไม่มีการกําหนดการรีเฟรชตามกําหนดการ กระแสข้อมูลจะใช้โซนเวลาจากคอมพิวเตอร์ของผู้ใช้ที่กําลังดําเนินการรีเฟรช

นอกจากนี้ยังสามารถเรียกใช้การรีเฟรชแบบเพิ่มหน่วยได้โดยใช้ API ในกรณีนี้ การเรียกใช้ API สามารถเก็บการตั้งค่าโซนเวลาที่ใช้ในการรีเฟรชได้ การใช้ API อาจเป็นประโยชน์สําหรับวัตถุประสงค์ในการทดสอบและตรวจสอบความถูกต้อง

รายละเอียดการใช้งานการรีเฟรชแบบเพิ่มหน่วย

กระแสข้อมูลใช้การแบ่งพาร์ติชันสําหรับการรีเฟรชแบบเพิ่มหน่วย การรีเฟรชแบบเพิ่มหน่วยในกระแสข้อมูลจะรักษาจํานวนพาร์ติชันขั้นต่ําเพื่อให้เป็นไปตามข้อกําหนดของนโยบายการรีเฟรช พาร์ติชันเก่าที่อยู่นอกช่วงจะถูกทิ้งซึ่งจะรักษาหน้าต่างม้วน พาร์ติชันถูกรวมเข้าด้วยกันอย่างฉวยโอกาส ซึ่งช่วยลดจํานวนพาร์ติชันทั้งหมดที่ต้องการ จํานวนพาร์ติชันขั้นต่ํานี้ช่วยปรับปรุงการบีบอัด และในบางกรณี สามารถปรับปรุงประสิทธิภาพการสืบค้นได้

ตัวอย่างในส่วนนี้ใช้นโยบายการรีเฟรชต่อไปนี้:

• จัดเก็บแถวใน 1 ไตรมาสที่ผ่านมา
• รีเฟรชแถวในช่วง 10 วันที่ผ่านมา
• ตรวจหาการเปลี่ยนแปลงข้อมูล = เท็จ
• รีเฟรชเฉพาะวันที่สมบูรณ์ = จริง

ผสานพาร์ติชัน

ในตัวอย่างนี้ พาร์ติชันวันจะถูกรวมเข้ากับระดับเดือนโดยอัตโนมัติหลังจากที่อยู่นอกช่วงที่เพิ่มขึ้น พาร์ติชันในช่วงที่เพิ่มขึ้นจําเป็นต้องรักษาไว้ที่ความละเอียดรายวันเพื่อให้รีเฟรชเฉพาะวันเหล่านั้น การดําเนินการรีเฟรชที่มี วันที่เรียกใช้ 12/11/2016 จะรวมวันในเดือนพฤศจิกายน เนื่องจากอยู่นอกช่วงที่เพิ่มขึ้น

วางพาร์ติชันเก่า

พาร์ติชันเก่าที่อยู่นอกช่วงทั้งหมดจะถูกลบออก การดําเนินการรีเฟรชด้วย วันที่เรียกใช้ 1/2/2017 จะทิ้งพาร์ติชันสําหรับไตรมาสที่ 3 ของปี 2016 เนื่องจากอยู่นอกช่วงทั้งหมด

การฟื้นตัวจากความล้มเหลวเป็นเวลานาน

ตัวอย่างนี้จําลองวิธีที่ระบบกู้คืนอย่างสง่างามจากความล้มเหลวที่ยืดเยื้อ สมมติว่าการรีเฟรชทํางานไม่สําเร็จเนื่องจากข้อมูลประจําตัวของแหล่งข้อมูลหมดอายุ และปัญหาใช้เวลา 13 วันในการแก้ไข ช่วงที่เพิ่มขึ้นเพียง 10 วัน

การดําเนินการรีเฟรชที่ประสบความสําเร็จครั้งต่อไป โดยมี วันที่เรียกใช้ 1/15/2017 จําเป็นต้องเติมเต็ม 13 วันที่ขาดหายไปและรีเฟรช นอกจากนี้ยังต้องรีเฟรชเก้าวันก่อนหน้าเนื่องจากไม่ได้รีเฟรชตามกําหนดการปกติ กล่าวอีกนัยหนึ่งช่วงที่เพิ่มขึ้นจะเพิ่มขึ้นจาก 10 เป็น 22 วัน

การดําเนินการรีเฟรชครั้งต่อไป กับ วันที่เรียกใช้ 1/16/2017 จะใช้โอกาสในการผสานวันในเดือนธันวาคมและเดือนในไตรมาสที่ 4 ของปี 2016

การรีเฟรชแบบเพิ่มหน่วยของกระแสข้อมูลและชุดข้อมูล

การรีเฟรชแบบเพิ่มหน่วยของกระแสข้อมูลและการรีเฟรชแบบเพิ่มหน่วยของชุดข้อมูลได้รับการออกแบบมาให้ทํางานควบคู่กัน เป็นที่ยอมรับและรองรับการมีตารางที่รีเฟรชแบบเพิ่มหน่วยในกระแสข้อมูล โหลดลงในชุดข้อมูลอย่างสมบูรณ์ หรือตารางที่โหลดเต็มในกระแสข้อมูลที่โหลดไปยังชุดข้อมูลแบบเพิ่มหน่วย

ทั้งสองวิธีทํางานตามคําจํากัดความที่คุณระบุในการตั้งค่าการรีเฟรช ข้อมูลเพิ่มเติม: การ รีเฟรชแบบเพิ่มหน่วยใน Power BI Premium

เนื้อหาที่เกี่ยวข้อง

บทความนี้อธิบายการรีเฟรชแบบเพิ่มหน่วยสําหรับกระแสข้อมูล ต่อไปนี้เป็นบทความเพิ่มเติมที่อาจเป็นประโยชน์:

• การเตรียมข้อมูลด้วยตนเองใน Power BI
• การสร้างตารางที่คํานวณใน กระแสข้อมูล
• เชื่อมต่อกับแหล่งข้อมูลสําหรับ กระแสข้อมูล
• เชื่อมโยงตารางระหว่างกระแสข้อมูล
• สร้างและใช้กระแสข้อมูลใน Power BI
• การใช้กระแสข้อมูลกับแหล่งข้อมูลภายในองค์กร
• ทรัพยากรสําหรับนักพัฒนาสําหรับกระแสข้อมูล Power BI

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Power Query และการรีเฟรชตามกําหนดการ คุณสามารถอ่านบทความเหล่านี้:

• ภาพรวมคำค้นหาใน Power BI Desktop
• การกําหนดค่าการรีเฟรชตามกําหนดการ

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Common Data Model คุณสามารถอ่านบทความภาพรวม:

• Common Data Model - ภาพรวม