แชร์ผ่าน

รับข้อมูลจาก Cribl Stream

Cribl Stream เป็นเครื่องมือการประมวลผลที่รวบรวม กระบวนการ และสตรีมข้อมูลเหตุการณ์ของเครื่องจากแหล่งใด ๆ ได้อย่างปลอดภัย ช่วยให้คุณสามารถแยกวิเคราะห์และประมวลผลข้อมูลนั้นสําหรับปลายทางใด ๆ สําหรับการวิเคราะห์และการจัดการในลักษณะที่ปลอดภัย

บทความนี้แสดงวิธีการรวบรวมข้อมูลด้วย Cribl Stream

สําหรับรายการทั้งหมดของตัวเชื่อมต่อข้อมูล ให้ดู ภาพรวมของตัวเชื่อมต่อข้อมูล

ข้อกำหนดเบื้องต้น

  • บัญชี Cribl Stream
  • ฐานข้อมูล KQL
  • การสมัครใช้งาน Azure สร้าง บัญชี Azure ฟรี
  • URI การนําเข้าฐานข้อมูลของคุณที่จะใช้เป็นค่า TargetURI สําหรับข้อมูลเพิ่มเติม ดูคัดลอก URI

สร้างบริการหลัก Microsoft Entra

บริการหลัก Microsoft Entra สามารถสร้างขึ้นผ่าน พอร์ทัล Azure หรือทางโปรแกรมได้ ตามตัวอย่างต่อไปนี้

บริการหลักนี้คือข้อมูลประจําตัวที่ตัวเชื่อมต่อใช้เพื่อเขียนข้อมูลลงในตารางของคุณใน Kusto คุณให้สิทธิ์แก่โครงร่างสําคัญของบริการนี้เพื่อเข้าถึงทรัพยากร Kusto

  1. ลงชื่อเข้าใช้การสมัครใช้งาน Azure ของคุณผ่านทาง Azure CLI จากนั้นรับรองความถูกต้องในเบราว์เซอร์

    az login

  2. เลือกการสมัครใช้งานเพื่อโฮสต์โครงร่างสําคัญ ขั้นตอนนี้จําเป็นเมื่อคุณมีการสมัครใช้งานหลายรายการ

    az account set --subscription YOUR_SUBSCRIPTION_GUID

  3. สร้างบริการหลัก ในตัวอย่างนี้ โครงร่างสําคัญของบริการเรียกว่าmy-service-principal

    az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}

  4. จากข้อมูล JSON ที่ส่งกลับ ให้appIdpasswordคัดลอก และ tenant สําหรับการใช้งานในอนาคต

    {
  "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "displayName": "my-service-principal",
  "name": "my-service-principal",
  "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
}

คุณได้สร้างแอปพลิเคชัน Microsoft Entra และบริการหลักของคุณแล้ว

สร้างตารางเป้าหมาย

สร้างตารางเป้าหมายสําหรับข้อมูลขาเข้าและการแมปการนําเข้าเพื่อแมปคอลัมน์ข้อมูลที่นําเข้าไปยังคอลัมน์ในตารางเป้าหมาย

  1. เรียกใช้คําสั่งการสร้างตารางต่อไปนี้ในตัวแก้ไขคิวรีของคุณ แทนที่ TableName ของตัวแทนข้อความด้วยชื่อของตารางเป้าหมาย:

    .create table <TableName> (_raw: string, _time: long, cribl_pipe: dynamic)

  2. เรียกใช้คําสั่งสร้างการนําเข้าต่อไปนี้ แทน TableName ของข้อความตัวอย่างด้วยชื่อตารางเป้าหมายและ TableNameMapping ด้วยชื่อของการแมปการนําเข้า:

    .create table <TableName> ingestion csv mapping '<TableNameMapping>' 'CriblLogMapping' '[{"Name":"_raw","DataType":"string","Ordinal":"0","ConstValue":null},{"Name":"_time","DataType":"long","Ordinal":"1","ConstValue":null},{"Name":"cribl_pipe","DataType":"dynamic","Ordinal":"2","ConstValue":null}]'

  3. ให้สิทธิ์โครงร่างสําคัญของบริการจาก สร้างฐานข้อมูลหลักของบริการ Microsoft Entra สิทธิ์การเข้าถึงฐานข้อมูลหลักเพื่อทํางานกับฐานข้อมูล สําหรับข้อมูลเพิ่มเติม ให้ดู ตัวอย่าง แทนที่ databaseName ตัวแทนข้อความ Entra

    .add database <DatabaseName> ingestors ('aadapp=<ApplicationID>') 'App Registration'

สร้างปลายทางของ Cribl Stream

ส่วนต่อไปนี้อธิบายวิธีการสร้างปลายทางของ Cribl Stream ที่เขียนข้อมูลลงในตารางของคุณใน Kusto แต่ละตารางจําเป็นต้องมีตัวเชื่อมต่อปลายทาง Cribl Stream แยกต่างหาก

เลือกปลายทาง

วิธีเชื่อมต่อ Cribl Stream กับตารางของคุณ:

  1. จากการนําทางด้านบนใน Cribl ให้เลือก จัดการ จากนั้นเลือก กลุ่มผู้ปฏิบัติงาน

  2. เลือก>เพิ่มปลายทาง

  3. ในหน้าต่าง ตั้งค่าปลายทางการเชื่อมต่อด่วนใหม่ ให้เลือก Azure Data Explorer จากนั้นเพิ่มทันที

หมายเหตุ

การเชื่อมต่อ Azure Data Explorer ทํางานได้สําหรับทั้ง Azure Data Explorer และตัวแสดงเวลาจริง

ตั้งค่าการตั้งค่าทั่วไป

ในหน้าต่างตัวสํารวจข้อมูลใหม่ ในการตั้งค่าทั่วไป ให้ตั้งค่าต่อไปนี้:

การตั้งค่า มูลค่า คำอธิบาย
รหัสเอาต์พุต <OutputID> ตัวอย่างเช่น KustoDestination ชื่อที่ใช้เพื่อระบุปลายทางของคุณ
โหมดการนําเข้าข้อมูล ชุดงาน (ค่าเริ่มต้น) หรือ การสตรีม การตั้งค่าสําหรับโหมดการนําเข้า การทําชุดงานช่วยให้ตารางของคุณสามารถดึงข้อมูลชุดข้อมูลจากคอนเทนเนอร์ที่จัดเก็บข้อมูล Cribl ได้เมื่อนําเข้าข้อมูลจํานวนมากในช่วงเวลาสั้น ๆ การสตรีมส่งข้อมูลไปยังตาราง KQL เป้าหมายโดยตรง การสตรีมมีประโยชน์สําหรับการนําเข้าข้อมูลในจํานวนที่น้อยกว่า หรือตัวอย่างเช่น การส่งการแจ้งเตือนที่สําคัญในแบบเรียลไทม์ การสตรีมสามารถให้เวลาแฝงต่ํากว่าการชุดงานได้ ถ้าโหมดการนําเข้าถูกตั้งค่า เป็น Streaming คุณจะต้องเปิดใช้งานนโยบายการสตรีม สําหรับข้อมูลเพิ่มเติม ให้ดู นโยบายการนําเข้าข้อมูลการสตรีม
URI ฐานคลัสเตอร์ URI พื้นฐาน URI พื้นฐาน
URI ของบริการการนําเข้าข้อมูล Ingestion URI แสดงเมื่อเลือกโหมดชุดงาน URI การนําเข้า
ชื่อฐานข้อมูล <ชื่อฐานข้อมูล> ชื่อของฐานข้อมูลเป้าหมายของคุณ
ชื่อตาราง <ชื่อตาราง> ชื่อของตารางเป้าหมายของคุณ
ตรวจสอบการตั้งค่าฐานข้อมูล ใช่ (ค่าเริ่มต้น) หรือ ไม่ใช่ ตรวจสอบข้อมูลประจําตัวของแอปบริการหลักที่คุณใส่เมื่อคุณบันทึกหรือเริ่มต้นปลายทางของคุณ ซึ่งจะตรวจสอบชื่อตาราง ยกเว้นเมื่อ เปิดเพิ่มวัตถุ การแมป ควรปิดใช้งานการตั้งค่านี้ถ้าแอปของคุณไม่มีทั้ง บทบาทตัว แสดงฐานข้อมูลและ ตัว แสดงตาราง
เพิ่มวัตถุการแมป ใช่ หรือไม่ (ค่าเริ่มต้น) แสดงเฉพาะเมื่อเลือกโหมดชุดงานแทนที่จะเป็นเขตข้อมูลข้อความการแมปข้อมูลเริ่มต้น การเลือก ใช่ จะเปิดหน้าต่างเพื่อใส่การแมปข้อมูลเป็นวัตถุ JSON
การแมปข้อมูล ชื่อเค้าร่างการแมปตามที่กําหนดไว้ใน ขั้นตอน สร้างตาราง เป้าหมาย ชื่อเค้าร่างการแมป มุมมองเริ่มต้นเมื่อ เพิ่มวัตถุการแมป ถูกตั้งค่าเป็น ไม่ใช่
บีบ gzip (ค่าเริ่มต้น) เมื่อ รูปแบบ ข้อมูลถูกตั้งค่าเป็น Parquet การบีบอัด จะไม่พร้อมใช้งาน
รูปแบบข้อมูล JSON (ค่าเริ่มต้น), Raw หรือ Parquet รูปแบบข้อมูล Parquet สามารถใช้ได้เฉพาะในโหมด Batching และรองรับบน Linux เท่านั้น
พฤติกรรมการกดขี่ บล็อก (ค่าเริ่มต้น) หรือ ปล่อย เลือกว่าจะบล็อกหรือปล่อยเหตุการณ์เมื่อผู้รับพยายามลดความกดดัน
แท็ก ค่าที่เลือกได้ แท็กตัวเลือกเพื่อกรองและจัดกลุ่มปลายทางในหน้าจัดการปลายทางของ Cribl Stream ใช้แท็บหรือการส่งกลับค่ายากระหว่างชื่อแท็ก แท็กเหล่านี้จะไม่ถูกเพิ่มลงในเหตุการณ์ที่ประมวลผล

เมื่อดําเนินการเสร็จสิ้นแล้ว ให้เลือก ถัดไป

การตั้งค่าการรับรองความถูกต้อง

เลือก การตั้งค่า การรับรองความถูกต้องในแถบด้านข้าง ใช้ค่าที่คุณบันทึกไว้ใน สร้างบริการหลัก Microsoft Entra พร้อมกับ URI พื้นฐานของคุณดังนี้:

การตั้งค่า มูลค่า คำอธิบาย
รหัสผู้เช่า <รหัสผู้เช่า> ใช้ค่า tenant ที่คุณบันทึกไว้ใน สร้างบริการหลักของ Microsoft Entra
รหัสไคลเอ็นต์ <รหัสไคลเอ็นต์> appIdใช้ค่าที่คุณบันทึกไว้ในสร้างบริการหลัก Microsoft Entra
ขอบเขต <baseuri>/.default ใช้ค่า จาก URI ฐานสําหรับ baseuri
วิธีการรับรองความถูกต้อง ข้อมูลลับไคลเอ็นต์ ข้อมูลลับไคลเอ็นต์ (ข้อมูลลับของข้อความ) หรือใบรับรอง ตัวเลือกคือ ข้อมูลลับ ไคลเอ็นต์ ใช้ข้อมูลลับไคลเอ็นต์ของแอปพลิเคชัน Microsoft Entra ที่คุณสร้างขึ้นใน สร้างบริการหลัก Microsoft Entra สําหรับ ความลับของไคลเอ็นต์ สําหรับ ใบรับรอง ของคุณใช้คีย์สาธารณะที่คุณลงทะเบียน/จะลงทะเบียนสําหรับแอปพลิเคชัน Microsoft Entra ที่คุณสร้างขึ้นใน สร้างองค์ประกอบหลักของบริการ Microsoft Entra

จากนั้นเลือก ถัดไป

คิวแบบถาวร

แสดงเมื่อ โหมด การนําเข้าถูกตั้งค่า เป็นสตรีมมิ่ง และ ลักษณะการทํางาน การกดย้อนกลับถูกตั้งค่า เป็นคิวแบบถาวร

การตั้งค่า มูลค่า คำอธิบาย
ขนาดไฟล์สูงสุด 1 MB (ค่าเริ่มต้น) ขนาดไฟล์คิวสูงสุดที่จะเข้าถึงก่อนปิดไฟล์ รวมหน่วยเช่น KB หรือ MB เมื่อป้อนหมายเลข
ขนาดคิวสูงสุด 5 GB (ค่าเริ่มต้น) จํานวนสูงสุดของเนื้อที่ดิสก์ที่คิวสามารถใช้แต่ละกระบวนการของผู้ปฏิบัติงานก่อนที่ปลายทางจะหยุดการจัดคิวข้อมูล ค่าที่ต้องการของจํานวนบวกที่มีหน่วย เช่น KB, MB หรือ GB ค่าสูงสุดคือ 1 TB
เส้นทางไฟล์คิว $CRIBL_HOME/state/queues (ค่าเริ่มต้น) ตําแหน่งไฟล์คิวแบบถาวร Cribl Stream ผนวก /<worker‑id>/<output‑id> เข้ากับค่านี้
การบีบอัด ไม่มี (ค่าเริ่มต้น), gzip วิธีการบีบอัดที่จะใช้เพื่อบีบอัดข้อมูลที่มีการคงอยู่เมื่อปิด
ลักษณะการทํางานคิวแบบเต็ม บล็อก หรือ ปล่อย เลือกที่จะบล็อกหรือปล่อยเหตุการณ์เมื่อตัวประมวลผลคิวดําเนินการ Backpressure เนื่องจากดิสก์เหลือน้อยหรือความจุของดิสก์เต็ม
สั่งซื้ออย่างเข้มงวด ใช่ (ค่าเริ่มต้น) หรือ ไม่ใช่ เมื่อตั้งค่า เป็นใช่ เหตุการณ์จะถูกส่งต่อโดยยึดตาม first in ก่อนออกคําสั่งซื้อ ตั้งค่าเป็น ไม่ เพื่อส่งเหตุการณ์ใหม่ก่อนเหตุการณ์ที่จัดคิวก่อนหน้านี้
ขีดจํากัดอัตราการระบายน้ํา (EPS) 0 (ค่าเริ่มต้น) ตัวเลือกนี้จะแสดงขึ้นเมื่อ ลําดับ ที่เข้มงวดถูกตั้งค่า เป็นไม่ เพื่อให้คุณสามารถตั้งค่าอัตราการจํากัดผลลัพธ์ (ในเหตุการณ์ต่อวินาที) ในการเขียนจากคิวไปยังผู้รับ การควบคุมอัตราการระบายน้ําของเหตุการณ์ที่อยู่ในคิวช่วยเพิ่มปริมาณงานการเชื่อมต่อใหม่หรือที่ใช้งานอยู่ ศูนย์ปิดใช้งานการจํากัด
ล้างคิวแบบถาวร นา เลือกเพื่อลบไฟล์ที่อยู่ในคิวสําหรับการส่งไปยังปลายทางของคุณในขณะนี้ คุณจะต้องยืนยันการดําเนินการนี้เนื่องจากข้อมูลที่ถูกจัดคิวจะถูกลบอย่างถาวรโดยไม่ได้รับการส่งมอบ

เมื่อเสร็จสมบูรณ์ เลือกถัดไป

การตั้งค่าการประมวลผล

การตั้งค่า มูลค่า คำอธิบาย
ท่อ <\defined_pipeline> ไปป์ไลน์ทางเลือกในการประมวลผลข้อมูลก่อนที่จะส่งออกโดยใช้ผลลัพธ์นี้
เขตข้อมูลระบบ cribl_pipe (ค่าเริ่มต้น), cribl_host, cribl_input, cribl_output, cribl_routeหรือ cribl_wp รายการของเขตข้อมูลที่จะถูกเพิ่มไปยังเหตุการณ์โดยอัตโนมัติก่อนที่จะถูกส่งไปยังปลายทาง รองรับสัญลักษณ์ที่ใช้แทนตัวอักขระ

เมื่อเสร็จสมบูรณ์ เลือกถัดไป

การตั้งค่า Parquet

แสดงเมื่อ เลือก Parquet สําหรับ รูปแบบข้อมูล

การเลือก Parquet จะเปิดแท็บการตั้งค่า Parquet เพื่อเลือก Schema Parquet

การตั้งค่า มูลค่า คำอธิบาย
เค้าร่างอัตโนมัติ เปิดหรือปิด เลือก บน เพื่อสร้าง Schema Parquet ตามเหตุการณ์ของแต่ละไฟล์ Parquet ที่ Cribl Stream เขียน
เค้าร่าง Parquet ดรอปดาวน์ แสดงเมื่อ Schema อัตโนมัติถูกตั้งค่าเป็น ปิด เพื่อให้คุณสามารถเลือก schema parquet ของคุณ
เวอร์ชัน Parquet 1.0, 2.4, 2.6 (ค่าเริ่มต้น) เวอร์ชันจะกําหนดชนิดข้อมูลที่ได้รับการสนับสนุนและวิธีการแสดง
เวอร์ชันของหน้าข้อมูล V1, V2 (ค่าเริ่มต้น) รูปแบบการทําให้เป็นอนุกรมของหน้าข้อมูล หากเครื่องอ่าน Parquet ของคุณไม่สนับสนุน Parquet V2 ให้ใช้ V1
ขีดจํากัดแถวของกลุ่ม 1000 (ค่าเริ่มต้น) จํานวนแถวสูงสุดที่ทุกกลุ่มสามารถมีได้
ขนาดหน้า 1 MB (ค่าเริ่มต้น) ขนาดหน่วยความจําเป้าหมายสําหรับเซกเมนต์หน้า ค่าที่ต่ํากว่าสามารถปรับปรุงความเร็วในการอ่าน ในขณะที่ค่าที่สูงขึ้นสามารถปรับปรุงการบีบอัดได้
บันทึกแถวที่ไม่ถูกต้อง ใช่หรือไม่ เมื่อ เลือก ใช่ และ ระดับ ไฟล์บันทึกถูกตั้งค่าเป็น debugเอาต์พุตสูงสุด 20 แถวที่ไม่ซ้ํากันที่ถูกข้ามเนื่องจากรูปแบบข้อมูลไม่ตรงกัน
เขียนสถิติ เปิด (ค่าเริ่มต้น) หรือ ปิด เลือก เปิด ถ้าคุณมีการกําหนดค่าเครื่องมือการดูสถิติ Parquet ไว้แล้ว
เขียนดัชนีหน้า เปิด (ค่าเริ่มต้น) หรือ ปิด เลือก เปิด ถ้าตัวอ่าน Parquet ของคุณใช้สถิติดัชนีหน้า Parquet เพื่อเปิดใช้งานการข้ามหน้า
เขียนหน้าการตรวจสอบ เปิดหรือปิด เลือก เปิด ถ้าคุณใช้เครื่องมือ Parquet เพื่อตรวจสอบความสมบูรณ์ของข้อมูลโดยใช้การตรวจสอบหน้า Parquet
เมตาดาต้า (ไม่บังคับ)* คุณสมบัติเมตาดาต้าของไฟล์ปลายทางที่สามารถรวมเป็นคู่ค่าคีย์

ลอง

แสดงเมื่อโหมดการนําเข้าถูกตั้งค่าเป็นสตรีมมิ่ง

การตั้งค่า มูลค่า คำอธิบาย
เกียรติยศ Retry-After header ใช่หรือไม่ ต้องการยกย่องส่วนหัว Retry-After หรือไม่ เมื่อเปิดใช้งาน ส่วนหัวที่ได้รับ Retry-After จะมีลําดับความสําคัญก่อนใช้ตัวเลือกที่กําหนดไว้อื่น ๆ ในส่วนลองใหม่ ตราบใดที่ส่วนหัวระบุความล่าช้า 180 วินาทีหรือน้อยกว่า มิฉะนั้น Retry-After ส่วนหัวจะถูกละเว้น
การตั้งค่าสําหรับคําขอ HTTP ที่ล้มเหลว รหัสสถานะ HTTP รายการของรหัสสถานะ HTTP เพื่อลองอีกครั้งโดยอัตโนมัติหากไม่สามารถเชื่อมต่อได้ Cribl Stream ลองคําขอที่ล้มเหลว 429 รายการโดยอัตโนมัติ
ลองการร้องขอ HTTP ที่หมดเวลาแล้ว เปิดหรือปิด เมื่อตั้งค่าแล้ว การตั้งค่าลักษณะการทํางานลองใหม่เพิ่มเติมจะพร้อมใช้งาน
ช่วงก่อนปิดบัญชี (ms) 1000 ms (ค่าเริ่มต้น) เวลารอก่อนลองใหม่
ตัวคูณย้อนหลัง 2 วินาที (ค่าเริ่มต้น) ใช้เป็นฐานสําหรับอัลกอริทึมการ backoff แบบเอ็กซ์โพเนนเชียล เพื่อกําหนดช่วงเวลาระหว่างการลองใหม่
ขีดจํากัดการค้างส่ง (มิลลิวินาที) 10,000 ms (ค่าเริ่มต้น) ช่วงการปิดบัญชีสูงสุดสําหรับการลองสตรีมขั้นสุดท้ายอีกครั้ง ค่าที่เป็นไปได้มีตั้งแต่ 10,000 มิลลิวินาที (10 วินาที) ถึง 180,000 มิลลิวินาที (3 นาที)

เมื่อเสร็จสมบูรณ์ เลือกถัดไป

การตั้งค่าขั้นสูง

เลือก การตั้งค่า ขั้นสูง จากแถบด้านข้าง รายการต่อไปนี้อธิบายการตั้งค่าขั้นสูงเมื่อมีการ เลือกชุดงาน :

การตั้งค่า มูลค่า คำอธิบาย
ล้างค่าทันที ใช่ หรือไม่ (ค่าเริ่มต้น) ตั้งค่าเป็น ใช่ เพื่อแทนที่การรวมข้อมูลใน Kusto สําหรับข้อมูลเพิ่มเติม ให้ดู แนวทางปฏิบัติที่ดีที่สุดสําหรับไลบรารี Kusto Ingest
รักษา blob ในความสําเร็จ ใช่ หรือไม่ (ค่าเริ่มต้น) ตั้งค่าเป็น ใช่ เพื่อเก็บ blob ของข้อมูลเมื่อการนําเข้าเสร็จสมบูรณ์
แท็กขอบเขต <\ExtentTag, ET2,...> ตั้งค่าแท็ก หากต้องการ ไปยังพาร์ติชันของตารางเป้าหมาย
บังคับใช้ข้อมูลเฉพาะผ่านค่าแท็ก เลือก เพิ่มค่า เพื่อระบุ ingest-by รายการค่าเพื่อใช้เพื่อกรองขอบเขตขาเข้าและละทิ้งขอบเขตที่ตรงกับค่าที่แสดงไว้ สําหรับข้อมูลเพิ่มเติม ให้ดู ขอบเขต (การแชร์ข้อมูล)
ระดับรายงาน DoNotReport, FailuresOnly (ค่าเริ่มต้น) และ FailuresAndSuccesses ระดับการรายงานสถานะการนําเข้า
วิธีการรายงาน คิว (ค่าเริ่มต้น), ตาราง และ QueueAndTable (แนะนํา) เป้าหมายสําหรับการรายงานสถานะการนําเข้า
ฟิลด์เพิ่มเติม เพิ่มคุณสมบัติการกําหนดค่าเพิ่มเติมหากต้องการเพื่อส่งไปยังบริการ ingestion
ตําแหน่งที่ตั้งการจัดเตรียม /tmp (ค่าเริ่มต้น) ตําแหน่งระบบไฟล์ภายในเครื่องที่จะบัฟเฟอร์ไฟล์ก่อนบีบอัดและย้ายไปยังปลายทางสุดท้าย Cribl แนะนําตําแหน่งที่ตั้งที่เสถียรและมีประสิทธิภาพสูง
นิพจน์คําต่อท้ายชื่อไฟล์ .${C.env["CRIBL_WORKER_ID"]}.${__format}${__compression === "gzip" ? ".gz" : ""}(ค่าเริ่มต้น) นิพจน์ JavaScript ที่ล้อมรอบด้วยเครื่องหมายอัญประกาศหรือแบ็กทิกที่ใช้เป็นคําต่อท้ายชื่อไฟล์ผลลัพธ์ formatสามารถเป็น JSON หรือดิบและ__compressionไม่สามารถเป็นได้หรือ gzip ลําดับสุ่มของอักขระหกตัวถูกผนวกเข้ากับส่วนท้ายของชื่อไฟล์เพื่อป้องกันไม่ให้เขียนทับ
ขนาดไฟล์สูงสุด (MB) 32 MB (ค่าเริ่มต้น) ขนาดสูงสุดของแฟ้มผลลัพธ์ที่ไม่บีบอัดที่แฟ้มสามารถเข้าถึงได้ก่อนที่จะปิดและถูกย้ายไปยังที่เก็บที่เก็บ
เวลาเปิดไฟล์สูงสุด (วินาที) 300 วินาที (ค่าเริ่มต้น) ระยะเวลาสูงสุดในการเขียนลงในไฟล์ก่อนที่จะปิดและย้ายไปยังคอนเทนเนอร์การจัดเก็บหน่วยเป็นวินาที
เวลาที่ไม่ได้ใช้งานไฟล์สูงสุด (วินาที) 30 วินาที (ค่าเริ่มต้น) ระยะเวลาสูงสุดในไม่กี่วินาทีเพื่อให้ไฟล์ที่ไม่ได้ใช้งานเปิดขึ้นก่อนที่จะปิดและถูกย้ายไปยังที่เก็บข้อมูล
เปิดไฟล์สูงสุด 100 (ค่าเริ่มต้น) จํานวนสูงสุดของไฟล์ที่จะเปิดในเวลาเดียวกันก่อนที่ไฟล์เปิดที่เก่าที่สุดจะถูกปิดและย้ายไปยังที่เก็บข้อมูล
ส่วนของไฟล์พร้อมกันสูงสุด 1 (ค่าเริ่มต้น) จํานวนสูงสุดของส่วนของไฟล์ที่จะอัปโหลดในเวลาเดียวกัน ค่าเริ่มต้นคือ 1 และสูงสุดคือ 10 การตั้งค่าเป็นค่าหนึ่งอนุญาตให้ส่งทีละส่วนตามลําดับ
ลบตัวแยกระยะที่ว่างเปล่า ใช่ (ค่าเริ่มต้น) หรือ ไม่ใช่ เมื่อสลับบน Cribl Stream จะลบไดเรกทอรีการกําหนดระยะที่ว่างเปล่าหลังจากย้ายไฟล์ สิ่งนี้ป้องกันการแพร่กระจายของไดเรกทอรีที่ว่างเปล่าที่ถูกกําพร้า เมื่อเปิดใช้งาน ให้แสดง ระยะเวลาการล้างข้อมูลการจัดเตรียม
รอบระยะเวลาการล้างข้อมูลการจัดเตรียม 300 (ค่าเริ่มต้น) ระยะเวลาเป็นวินาทีจนกว่าไดเรกทอรีที่ว่างเปล่าจะถูกลบเมื่อ เปิดใช้งานลบตัวแยก วิเคราะห์ขั้นออก แสดงเมื่อลบตัวแยกวิเคราะห์การจัดเตรียมที่ว่างเปล่าถูกตั้งค่าเป็น ใช่ ค่าต่ําสุดคือ 10 วินาที และสูงสุดคือ 86,400 วินาที (ทุก 24 ชั่วโมง)
สภาพแวดล้อม เมื่อว่างเปล่า (ค่าเริ่มต้น) การกําหนดค่าจะเปิดใช้งานทุกที่ ถ้าคุณกําลังใช้ GitOps คุณสามารถระบุสาขา Git ที่คุณต้องการเปิดใช้งานการกําหนดค่าได้

เมื่อดําเนินการเสร็จสิ้นแล้ว ให้เลือก บันทึก

การกําหนดค่าการเชื่อมต่อ

จากหน้าต่าง การกําหนดค่าการเชื่อมต่อ ที่เปิดขึ้น ให้เลือก การเชื่อมต่อ Passthru แล้ว บันทึก ตัวเชื่อมต่อเริ่มต้นการจัดคิวข้อมูล

ยืนยันการนําเข้าข้อมูล

  1. เมื่อข้อมูลมาถึงในตารางยืนยันการถ่ายโอนข้อมูลโดยการตรวจสอบจํานวนแถว:

    <Tablename> 
| count

  2. ยืนยันการนําเข้าที่จัดคิวในห้านาทีที่ผ่านมา:

    .show commands-and-queries 
| where Database == "" and CommandType == "DataIngestPull" 
| where LastUpdatedOn >= ago(5m)

  3. ยืนยันว่าไม่มีความล้มเหลวในกระบวนการการนําเข้าข้อมูล:

    • สําหรับการชุดงาน:
    .show ingestion failures
    • สําหรับการสตรีม:
    .show streamingingestion failures 
| order by LastFailureOn desc

  4. ตรวจสอบข้อมูลในตารางของคุณ:

    <TableName>
| take 10

สําหรับตัวอย่างและคําแนะนําคิวรี โปรดดูที่เอกสารเขียนคิวรีใน KQL และ Kusto Query Language

เนื้อหาที่เกี่ยวข้อง

  • Last updated on