적용 대상:
Azure Data Factory Azure Synapse Analytics
팁
Microsoft Fabric의 데이터 팩토리는 더 간단한 아키텍처, 기본 제공 AI 및 새로운 기능을 갖춘 차세대 Azure 데이터 팩토리입니다. 데이터 통합을 접하는 경우 Fabric Data Factory부터 시작합니다. 기존 ADF 워크로드는 Fabric 업그레이드하여 데이터 과학, 실시간 분석 및 보고 전반에 걸쳐 새로운 기능에 액세스할 수 있습니다.
데이터를 Iceberg 형식으로 쓰려는 경우 이 문서를 따릅니다.
다음 커넥터에 대해 Iceberg 형식이 지원됩니다.
복사 작업 Iceberg 데이터 세트를 사용할 수 있습니다.
데이터 세트 속성
데이터 세트 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트 문서를 참조하세요. 이 섹션에서는 Iceberg 형식 데이터 세트에서 지원하는 속성 목록을 제공합니다.
| 속성 | 설명 | 필수 |
|---|---|---|
| 타입 | 데이터 세트의 type 속성은 Iceberg로 설정해야 합니다. | 예 |
| 위치 | 파일의 위치 설정입니다. 각 파일 기반 커넥터에는 location의 고유한 위치 형식 및 지원되는 속성이 있습니다. |
예 |
다음은 Azure Data Lake Storage Gen2 Iceberg 데이터 세트의 예입니다.
{
"name": "IcebergDataset",
"properties": {
"type": "Iceberg",
"linkedServiceName": {
"referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
"type": "LinkedServiceReference"
},
"schema": [ < physical schema, optional, auto retrieved during authoring >
],
"typeProperties": {
"location": {
"type": "AzureBlobFSLocation",
"fileSystem": "filesystemname",
"folderPath": "folder/subfolder",
}
}
}
}
복사 작업 속성
작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인 문서를 참조하세요. 이 섹션에서는 Iceberg 싱크에서 지원하는 속성 목록을 제공합니다.
흡수원으로서의 빙산
복사 작업 *sink* 섹션에서 지원되는 속성은 다음과 같습니다.
| 속성 | 설명 | 필수 |
|---|---|---|
| 타입 | 복사 작업 원본의 type 속성을 IcebergSink로 설정해야 합니다. | 예 |
| 형식 설정 | 속성 그룹입니다. 아래의 Iceberg 쓰기 설정 표를 참조하세요. | 아니요 |
| 설정 저장 | 데이터 저장소에 데이터를 쓰는 방법에 대한 속성 그룹입니다. 각 파일 기반 커넥터에는 storeSettings 아래에 고유의 지원되는 쓰기 설정이 있습니다. |
아니요 |
지원되는 Iceberg 쓰기 설정은 다음과 같습니다.formatSettings
| 속성 | 설명 | 필수 |
|---|---|---|
| 타입 | formatSettings의 형식은 IcebergWriteSettings로 설정해야 합니다. | 예 |
관련 커넥터 및 형식
다음은 구분된 텍스트 형식과 관련된 몇 가지 일반적인 커넥터 및 형식입니다.