Microsoft OneLake의 바로 가기를 사용하면 OneLake를 전체 엔터프라이즈의 단일 가상 데이터 레이크로 만들어 도메인, 클라우드 및 계정 간에 데이터를 통합할 수 있습니다. 패브릭 환경 및 분석 엔진은 통합 네임스페이스를 통해 Azure, AWS(Amazon Web Services) 및 OneLake를 비롯한 기존 데이터 원본에 연결할 수 있습니다. OneLake는 모든 권한 및 자격 증명을 관리하므로 각 데이터 원본에 연결하도록 각 Fabric 워크로드를 별도로 구성할 필요가 없습니다. 또한 바로 가기를 사용하여 데이터의 엣지 복사본을 제거하고 데이터 복사본 및 스테이징과 관련된 프로세스 대기 시간을 줄일 수 있습니다.
바로 가기는 무엇인가요?
바로 가기는 다른 스토리지 위치를 가리키는 OneLake의 개체입니다. 위치는 OneLake 내부 또는 외부일 수 있습니다. 바로 가기가 가리키는 위치를 바로 가기의 대상 경로 라고 합니다. 바로 가기가 표시되는 위치를 바로 가기 경로라고 합니다.
바로 가기는 OneLake에 폴더로 표시되며 OneLake에 액세스할 수 있는 모든 워크로드 또는 서비스에서 사용할 수 있습니다. 바로 가기는 심볼릭 링크처럼 동작합니다. 그것들은 대상과 독립적인 객체입니다. 바로 가기를 삭제하면 대상은 영향을 받지 않습니다. 대상 경로를 이동, 이름 바꾸기 또는 삭제하면 바로 가기가 끊어질 수 있습니다.
바로 가기는 어디에서 만들 수 있나요?
레이크하우스 및 KQL(Kusto 쿼리 언어) 데이터베이스에서 바로가기를 만들 수 있습니다.
패브릭 포털을 사용하여 대화형으로 바로 가기를 만들 수 있으며 REST API 를 사용하여 프로그래밍 방식으로 바로 가기를 만들 수 있습니다.
레이크하우스
레이크하우스에서 바로 가기를 만들 때 항목의 폴더 구조를 이해해야 합니다. Lakehouse에는 테이블 폴더와 Files 폴더라는 두 개의 최상위 폴더가 있습니다. 테이블 폴더는 구조적 데이터 세트에 대한 Lakehouse의 관리 부분입니다. 파일 폴더는 비구조적 또는 반구조적 데이터에 대한 레이크하우스의 관리되지 않는 부분입니다.
테이블 폴더에서 최상위 수준에서만 바로 가기를 만들 수 있습니다. 바로 가기는 테이블 폴더의 하위 디렉터리에서 지원되지 않습니다. 테이블 섹션의 바로 가기는 일반적으로 OneLake 내의 내부 소스를 가리키거나 Delta 테이블 형식을 준수하는 다른 데이터 자산에 대한 링크를 가리킵니다. 바로 가기의 대상에 Delta Parquet 형식의 데이터가 포함된 경우 레이크하우스는 메타데이터를 자동으로 동기화하고 폴더를 테이블로 인식합니다. 테이블 섹션의 바로 가기는 단일 테이블 또는 여러 테이블의 부모 폴더인 스키마에 연결할 수 있습니다.
노트
델타 형식은 이름에 공백 문자가 있는 테이블을 지원하지 않습니다. 이름에 공백이 포함된 바로가기는 레이크하우스에서 델타 테이블로 인식되지 않습니다.
파일 폴더에는 바로 가기를 만들 수 있는 위치에 대한 제한이 없습니다. 폴더 계층 구조의 모든 수준에서 바로 가기를 만들 수 있습니다. 파일 폴더에서는 테이블 검색이 수행되지 않습니다. 여기서 바로 가기는 모든 형식의 데이터가 있는 내부 OneLake 및 외부 스토리지 시스템을 가리킬 수 있습니다.
KQL 데이터베이스
KQL 데이터베이스에서 바로 가기를 만들면 데이터베이스의 바로 가기 폴더에 표시됩니다. KQL 데이터베이스는 외부 테이블과 같은 바로 가기를 취급합니다. 바로 가기를 쿼리하려면 Kusto 쿼리 언어의 external_table 함수를 사용합니다.
어디에서 바로 가기에 액세스할 수 있나요?
OneLake에서 데이터에 액세스할 수 있는 Fabric 또는 비Fabric 서비스는 바로 가기를 사용할 수 있습니다. 바로 가기는 OneLake API를 통해 데이터에 액세스하는 모든 서비스에 투명합니다. 바로가기는 레이크 안의 또 다른 폴더처럼 나타납니다. Apache Spark, SQL, 실시간 인텔리전스 및 Analysis Services는 데이터를 쿼리할 때 모두 바로 가기를 활용할 수 있습니다.
Apache Spark
Apache Spark 노트북 및 Apache Spark 작업은 OneLake에서 만드는 바로 가기를 사용할 수 있습니다. 상대 파일 경로를 사용하여 바로 가기에서 직접 데이터를 읽습니다. 또한 레이크하우스의 테이블 섹션에서 바로 가기를 만들고 델타 형식인 경우 Apache Spark SQL 구문을 사용하여 관리되는 테이블로 읽을 수 있습니다.
df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)
df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)
SQL
레이크하우스의 테이블 섹션에서 레이크하우스의 SQL 분석 엔드포인트를 통해 단축키를 읽을 수 있습니다. 레이크하우스의 모드 선택기 또는 SSMS(SQL Server Management Studio)를 통해 SQL 분석 엔드포인트에 액세스할 수 있습니다.
SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]
실시간 인텔리전스
KQL 데이터베이스의 바로 가기는 외부 테이블로 인식됩니다. 바로 가기를 쿼리하려면 Kusto 쿼리 언어의 external_table 함수를 사용합니다.
external_table('MyShortcut')
| take 100
분석 서비스
레이크하우스의 Tables 섹션에서 바로 가기가 포함된 레이크하우스를 위한 의미 모델을 생성할 수 있습니다. 의미 체계 모델이 Direct Lake 모드에서 실행되면 Analysis Services는 바로 가기에서 직접 데이터를 읽을 수 있습니다.
비 패브릭 서비스
Fabric 외부의 애플리케이션 및 서비스는 OneLake API를 통해 바로 가기에 액세스할 수도 있습니다. OneLake는 ADLS Gen2 및 Blob Storage API의 하위 집합을 지원합니다. OneLake API에 대한 자세한 내용은 API를 사용한 OneLake 액세스를 참조하세요.
https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv
바로 가기 유형
OneLake 바로 가기는 여러 파일 시스템 데이터 원본을 지원합니다. 여기에는 내부 OneLake 위치 및 외부 또는 타사 원본이 포함됩니다.
또한 패브릭 온-프레미스 OPDG(데이터 게이트웨이)를 사용하여 온-프레미스 또는 네트워크 제한 위치에 대한 바로 가기를 만들 수도 있습니다.
내부 OneLake 바로 가기
내부 OneLake 바로 가기를 사용하면 다음을 포함하여 기존 Fabric 항목 내의 데이터를 참조할 수 있습니다.
- KQL 데이터베이스
- 레이크하우스
- 미러된 Azure Databricks 카탈로그
- 미러된 데이터베이스
- 의미 체계 모델
- SQL 데이터베이스
- 창고
내부 바로 가기를 만드는 지침은 내부 OneLake 바로 가기 만들기를 참조하세요.
바로 가기는 동일한 항목 내의 폴더 위치, 동일한 작업 영역 내의 항목 또는 다른 작업 영역의 항목 간에도 가리킬 수 있습니다. 항목 간에 바로 가기를 만들 때 항목 유형이 일치할 필요가 없습니다. 예를 들어 레이크하우스에서 데이터 웨어하우스의 데이터를 가리키는 바로 가기를 만들 수 있습니다.
사용자가 다른 OneLake 위치에 대한 바로 가기를 통해 데이터에 액세스하면 OneLake는 호출하는 사용자의 ID를 사용하여 바로 가기의 대상 경로에 있는 데이터에 대한 액세스 권한을 부여합니다. 사용자가 데이터를 읽으려면 대상 위치에 권한이 있어야 합니다.
중요
DirectLake를 사용하여 SQL 또는 T-SQL 엔진을 위임된 ID 모드에서 Power BI 의미 체계 모델에 접근하여 바로 가기를 사용할 때, 호출한 사용자의 ID가 바로 가기의 대상으로 전달되지 않습니다. 대신 호출 항목 소유자의 ID가 전달되어 호출 사용자에게 액세스 권한을 위임합니다. 이 문제를 해결하려면 OneLake 모드를 통해 DirectLake에서 Power BI 의미 체계 모델을 사용하거나 사용자의 ID 모드에서 T-SQL을 사용합니다.
외부 OneLake 바로 가기
특정 바로 가기 유형을 만드는 자세한 지침은 지원되는 외부 원본 목록에서 문서를 선택합니다.
- Amazon S3 바로 가기
- Amazon S3 호환 바로 가기
- ADLS(Azure Data Lake Storage) Gen 2 바로 가기
- Azure Blob Storage 바로 가기
- Dataverse 바로 가기
- Google Cloud Storage 바로 가기 키
- 빙산 바로 가기
- OneDrive 및 SharePoint 바로 가기
캐싱
바로 가기 캐싱은 클라우드 간 데이터 액세스와 관련된 전송 비용을 줄일 수 있습니다. 외부 바로 가기를 통해 파일을 읽을 때 파일은 Fabric 작업 영역의 캐시에 저장됩니다. 후속 읽기 요청은 원격 스토리지 공급자가 아닌 캐시에서 제공됩니다. 캐시된 파일의 보존 기간은 1~28일로 설정할 수 있습니다. 파일에 액세스할 때마다 보존 기간이 다시 설정됩니다. 원격 스토리지 공급자의 파일이 캐시의 파일보다 최신인 경우 요청은 원격 스토리지 공급자에서 제공되고 업데이트된 파일은 캐시에 저장됩니다. 선택한 보존 기간 이상 파일에 액세스하지 않은 경우 캐시에서 제거됩니다. 크기가 1GB보다 큰 개별 파일은 캐시되지 않습니다.
노트
바로 가기 캐싱은 현재 GCS, S3, S3 호환 및 온-프레미스 데이터 게이트웨이 바로 가기에 대해 지원됩니다.
바로 가기에 대한 캐싱을 사용하도록 설정하려면 작업 영역 설정 패널을 엽니다. OneLake 탭을 선택합니다. 캐시 설정을 켜기 전환하고 보존 기간선택합니다.
캐시는 언제든지 지울 수도 있습니다. 동일한 설정 페이지에서 캐시 다시 설정 단추를 선택합니다. 이 작업은 이 작업 영역의 바로 가기 캐시에서 모든 파일을 제거합니다.
바로 가기가 클라우드 연결을 활용하는 방법
ADLS 및 S3 바로 가기 권한 부여는 클라우드 연결을 사용하여 위임됩니다. 새 ADLS 또는 S3 바로 가기를 만들 때 새 연결을 만들거나 데이터 원본에 대한 기존 연결을 선택합니다. 바로 가기에 대한 연결을 설정하는 것은 바인딩 작업입니다. 연결 권한이 있는 사용자만 바인딩 작업을 수행할 수 있습니다. 연결에 대한 권한이 없는 경우 해당 연결을 사용하여 새 바로 가기를 만들 수 없습니다.
바로가기 보안
바로 가기를 관리 및 사용하려면 특정 권한이 필요합니다. OneLake 바로 가기의 보안 은 바로 가기를 만들고 이를 사용하여 데이터에 액세스하는 데 필요한 권한을 확인합니다.
바로 가기는 삭제를 어떻게 처리하나요?
바로 가기는 연쇄 삭제를 수행하지 않습니다. 바로 가기를 삭제할 때 바로 가기 개체만 삭제합니다. 바로 가기 대상의 데이터는 변경되지 않은 상태로 유지됩니다. 그러나 바로 가기 내에서 파일 또는 폴더를 삭제하고 바로 가기 대상에 삭제 작업을 수행할 수 있는 권한이 있는 경우 대상에서 파일 또는 폴더가 삭제됩니다.
예를 들어, 레이크하우스에 다음 경로 MyLakehouse\Files\MyShortcut\Foo\Bar가 있는 경우를 고려해 보십시오.
MyShortcut은 Foo\Bar 디렉터리를 포함하는 ADLS Gen2 계정을 가리키는 바로 가기입니다.
다음 경로: MyLakehouse\Files\MyShortcut에서 삭제 작업을 수행할 수 있습니다. 이 경우 MyShortcut 바로 가기는 레이크하우스에서 삭제되지만 ADLS Gen2 계정 Foo\Bar의 파일 및 디렉터리는 영향을 받지 않습니다.
다음 경로: MyLakehouse\Files\MyShortcut\Foo\Bar에서 삭제 작업을 수행할 수도 있습니다. 이 경우 ADLS Gen2 계정에 쓰기 권한이 있는 경우 ADLS Gen2 계정에서 Bar 디렉터리가 삭제됩니다.
작업 영역 계보 보기
작업 영역 내의 여러 Fabric 항목 간에 바로 가기를 만들 때 작업 영역 계보 보기를 통해 바로 가기 관계를 시각화할 수 있습니다. 작업 영역 탐색기의 오른쪽 위 모서리에서 계보 보기 버튼(
)를 선택합니다.
노트
계보 보기의 범위는 단일 작업 영역으로 지정됩니다. 선택한 작업 영역 외부의 위치에 대한 바로 가기가 표시되지 않습니다.
제한 사항 및 고려 사항
- Fabric 항목당 최대 바로 가기 수는 100,000개입니다. 이 컨텍스트에서 용어 항목은 앱, 레이크하우스, 웨어하우스, 보고서 등을 가리킵니다.
- 단일 OneLake 경로의 최대 바로 가기 수는 10개입니다.
- 바로 가기 링크에 대한 직접 바로 가기의 최대 수는 5개입니다.
- OneLake 바로 가기 이름, 부모 경로 및 대상 경로는 "%" 또는 "+" 문자를 포함할 수 없습니다.
- 바로 가기는 라틴 문자가 아닌 문자를 지원하지 않습니다.
- 데이터 웨어하우스 및 의미 체계 모델에 대한 바로 가기 계보는 현재 사용할 수 없습니다.
- 패브릭 바로 가기는 거의 즉시 원본과 동기화되지만 데이터 원본 성능, 캐시된 뷰 또는 네트워크 연결 문제로 인해 전파 시간이 달라질 수 있습니다.
- Table API가 새 바로 가기를 인식하는 데 최대 1분이 걸릴 수 있습니다.