데이터 수집 속성
적용 대상: ✅Microsoft Fabric✅Azure Data Explorer
데이터 수집은 데이터가 테이블에 추가되고 쿼리에 사용할 수 있게 되는 프로세스입니다. 수집 명령의 with 키워드 뒤에 속성을 추가할 수 있습니다.
수집 속성
Important
큐에 대기 중인 수집 데이터는 수집 속성을 사용하여 일괄 처리됩니다. 다른 ConstValue 값과 같이 사용되는 고유 수집 매핑 속성이 많을수록 수집이 조각화되어 성능이 저하될 수 있습니다.
다음 표에서는 지원되는 속성을 나열하고 설명하고 예제를 제공합니다.
| 속성 | Description | 예시 |
|---|---|---|
ingestionMapping |
원본 파일의 데이터를 테이블의 실제 열에 매핑하는 방법을 나타내는 문자열 값입니다. 관련 매핑 유형을 사용하여 format 값을 정의합니다. 데이터 매핑을 참조하세요. |
with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")(사용되지 않음: avroMapping, csvMapping, jsonMapping) |
ingestionMappingReference |
명명된 매핑 정책 개체를 사용하여 원본 파일에서 테이블의 실제 열로 데이터를 매핑하는 방법을 나타내는 문자열 값입니다. 관련 매핑 유형을 사용하여 format 값을 정의합니다. 데이터 매핑을 참조하세요. |
with (format="csv", ingestionMappingReference = "Mapping1")(사용되지 않음: avroMappingReference, csvMappingReference, jsonMappingReference) |
creationTime |
수집되는 데이터 범위를 만드는 시간에 사용할 날짜/시간 값(ISO8601 문자열 형식)입니다. 지정하지 않으면 현재 값(now())이 사용됩니다. 기본값 재정의는 보존 정책이 올바르게 적용되도록 이전 데이터를 수집할 때 유용합니다. 지정된 경우 대상 테이블의 유효한 익스텐트 병합 정책의 Lookback 속성이 지정된 값과 일치하는지 확인합니다. |
with (creationTime="2017-02-13") |
extend_schema |
지정하면 테이블의 스키마를 확장하도록 명령에 지시하는 부울 값(기본값: false)입니다. 이 옵션은 .append 및 .set-or-append 명령에만 적용됩니다. 허용되는 유일한 스키마 확장에는 마지막에 테이블에 추가된 열이 더 있습니다. |
원래 테이블 스키마가 (a:string, b:int)인 경우 유효한 스키마 확장은 (a:string, b:int, c:datetime, d:string)이지만 (a:string, c:datetime)은 유효하지 않습니다. |
folder |
ingest-from-query 명령의 경우 테이블에 할당할 폴더입니다. 테이블이 이미 있는 경우 이 속성은 테이블의 폴더를 재정의합니다. | with (folder="Tables/Temporary") |
format |
데이터 형식입니다(지원되는 데이터 형식 참조). | with (format="csv") |
ingestIfNotExists |
지정하면 동일한 값을 가진 ingest-by: 태그로 태그가 지정된 데이터가 테이블에 이미 있는 경우 수집하지 못하게 하는 문자열 값입니다. 이렇게 하면 idempotent(멱등원) 데이터 수집이 보장됩니다. 자세한 내용은 ingest-by: 태그를 참조하세요. |
with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') 속성은 태그가 ingest-by:Part0001인 데이터가 이미 있는 경우 현재 수집을 완료하지 않음을 나타냅니다. 아직 없는 경우 이 새 수집에는 이 태그가 설정되어 있어야 합니다(이후 수집에서 동일한 데이터를 다시 수집하려고 하는 경우). |
ignoreFirstRecord |
true로 설정하면 수집에서 모든 파일의 첫 번째 레코드를 무시해야 함을 나타내는 부울 값입니다. 이 속성은 파일의 첫 번째 레코드가 열 이름인 경우 CSV와 유사한 형식의 파일에 유용합니다. 기본적으로 false로 가정됩니다. |
with (ignoreFirstRecord=false) |
policy_ingestiontime |
지정하면 이 명령으로 만든 테이블에서 수집 시간 정책을 사용하도록 설정할지 여부를 설명하는 부울 값입니다. 기본값은 true입니다. |
with (policy_ingestiontime=false) |
recreate_schema |
지정하면 명령에서 테이블의 스키마를 다시 만들 수 있는지 여부를 설명하는 부울 값입니다. 이 속성은 .set-or-replace 명령에만 적용됩니다. 이 속성과 extend_schema 속성이 모두 설정되면 이 속성이 우선 적용됩니다. |
with (recreate_schema=true) |
tags |
수집된 데이터와 연결할 JSON 문자열 형식의 태그 목록입니다. | with (tags="['Tag1', 'Tag2']") |
TreatGzAsUncompressed |
확장 .gz 이 있는 파일이 압축되지 않음을 true나타내는 부울 값입니다. Amazon AWS S3에서 수집할 때 이 플래그가 필요한 경우도 있습니다. |
with (treatGzAsUncompressed=true) |
validationPolicy |
CSV 형식을 사용하여 표시되는 데이터를 수집하는 동안 실행할 유효성 검사를 나타내는 JSON 문자열입니다. 다양한 옵션에 관한 설명은 데이터 수집을 참조하세요. | with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (기본 정책) |
zipPattern |
ZIP 보관 파일이 있는 스토리지에서 데이터를 수집하는 경우 이 속성을 사용합니다. 이는 수집할 ZIP 보관 파일의 파일을 선택할 때 사용할 정규식을 나타내는 문자열 값입니다. 보관 파일의 다른 모든 파일은 무시됩니다. | with (zipPattern="*.csv") |
관련 콘텐츠
- 지원되는 데이터 형식에 대해 자세히 알아보기
- 데이터 수집에 대해 자세히 알아보세요.