이 문서에서는 Microsoft Fabric OneLake /Tables-type () 데이터를 ADLS(Azure Data Lake Storage) 계정으로 복사하고, 그 복사본을 기반으로 데이터 저장소를 만든 다음 Azure Machine Learning에서 사용할 수 있도록 하는 방법을 설명합니다. 스튜디오 UI에서 전체 작업을 수행합니다.
Azure Machine Learning 복사 없이 OneLake 데이터 저장소를 통해 OneLake 파일 형식(/Files) 데이터에 직접 연결할 수 있습니다. 복사하지 않는 데이터 저장소는 다음 스크린샷과 같이 레이크하우스 테이블을 지원하지 않으므로 이 문서에서는 테이블 데이터에 대한 UI 기반 해결 방법을 설명합니다.
메모
이 프로시저는 데이터를 Azure Data Lake Storage 복사합니다. 복사된 데이터는 라이브 링크가 아닌 지정 시간 스냅샷이므로 원본 테이블이 변경될 때 복사본을 다시 실행합니다. UI 전용 워크플로가 필요하지 않은 경우 먼저 복사 없는 옵션, 즉 /Files를 데이터용으로 사용하거나 컴퓨팅에서 직접 액세스하는 방안을 고려하세요. 모든 OneLake 통합 옵션에 대한 개요는 Azure Machine Learning OneLake 통합을 참조하세요.
이 방법을 사용하는 경우
이 두 조건이 모두 충족되는 경우 이 문서의 복사 기반 메서드를 사용합니다.
- 데이터는 OneLake 데이터 저장소에서 직접 참조할 수 없는 OneLake 테이블 형식(
/Tables) 데이터입니다. - CLI 또는 SDK 없이 Azure Machine Learning 스튜디오 연결을 완전히 빌드하려고 합니다.
라이브 액세스, 복사 없음 액세스가 필요하거나 데이터가 Lakehouse /Files 섹션에 있는 경우 OneLake 데이터 저장소 를 대신 사용합니다.
필수 조건
- Azure 구독이 필요합니다. 아직 Azure 구독이 없다면 시작하기 전에 무료 계정을 만드세요.
- Azure Machine Learning 작업 영역 작업 영역 리소스 만들기를 방문하세요.
- ADLS(Azure Data Lake Storage) 스토리지 계정. ADLS(Azure Data Lake Storage) 스토리지 계정 만들기를 방문하세요.
- Azure Storage 계정에서 역할 할당에 대한 지식
- 테이블 형식의 데이터가 포함된 레이크하우스가 있는 Microsoft Fabric 작업 영역에 대한 액세스
- Fabric 워크스페이스에서 데이터 파이프라인을 만들 수 있는 권한(예: Contributor 또는 Member 워크스페이스 역할)
복사 워크플로 작동 방식
이 해결 방법은 다음 세 부분으로 구성합니다.
- Azure 포털에서 Data Lake Storage 계정을 만들고 설정합니다.
- Fabric 데이터 파이프라인을 사용하여 OneLake에서 Azure Data Lake Storage 테이블 데이터를 복사합니다.
- Azure Data Lake Storage 컨테이너를 통해 Azure Machine Learning 데이터 저장소를 만듭니다.
다음 다이어그램은 전체 흐름을 보여줍니다.
Important
이 방법은 데이터를 복사하기 때문에 Azure Machine Learning 데이터 저장소는 지정 시간 스냅샷을 보유합니다. 원본 레이크하우스 테이블이 변경되면 복사본을 다시 실행합니다. 또한 복사본은 스토리지를 복제하여 비용을 추가하고 OneLake 거버넌스 또는 계보를 유지하지 않습니다.
Azure Portal에서 데이터 레이크 Storage 계정 설정
스토리지 Blob 데이터 기여자 및 스토리지 파일 데이터 권한 있는 기여자 역할을 사용자 ID 또는 서비스 주체에 할당하여 컨테이너를 만들 수 있는 데이터 평면 액세스 권한 및 권한을 부여합니다. 계정 키 액세스는 스토리지 계정 키 액세스 허용 설정에 의해 별도로 제어되며, 이후 단계에서 사용하도록 설정합니다. 사용자 ID에 역할을 할당하려면 다음을 수행합니다.
Microsoft Azure Portal을 엽니다.
Storage 계정 서비스를 선택합니다.
스토리지 계정 페이지에서 필수 구성 요소 단계에서 만든 Data Lake Storage 계정을 선택합니다. 스토리지 계정 속성을 보여 주는 페이지가 열립니다.
왼쪽 패널에서 액세스 키를 선택하고 키를 기록합니다. 이 값은 이후 단계에서 필요합니다.
다음 스크린샷과 같이 스토리지 계정 키 액세스 허용 을 선택하고 사용하도록 설정합니다.
팁 (조언)
프로덕션 워크로드의 경우 계정 키 대신 ID 기반 인증(Microsoft Entra ID)을 사용합니다. 자세한 내용은 데이터 저장소 만들기를 참조하세요.
왼쪽 패널에서 Access Control(IAM)를 선택하고 Storage Blob 데이터 기여자 및 스토리지 파일 데이터 권한 있는 기여자 역할을 서비스 주체에 할당합니다.
스토리지 계정에 컨테이너를 만듭니다. 이름을 onelake-table로 지정합니다.
패브릭 데이터 파이프라인을 사용하여 Azure Data Lake Storage 계정에 데이터 복사
팁 (조언)
데이터 복사 시나리오에 더 간단한 환경을 제공하는 패브릭 복사 작업을 사용할 수도 있습니다.
패브릭 포털의 새 항목 페이지에서 데이터 파이프라인 을 선택합니다.
데이터 복사 도우미를 선택합니다.
데이터 복사 도우미에서 Azure Blob을 선택합니다.
Azure 데이터 레이크 Storage 계정에 대한 연결을 만들려면 인증 종류: 계정 키를 선택한 다음 다음을 선택합니다.
팁 (조언)
계정 키를 방지하려면 조직 계정과 같은 ID 기반 인증 종류를 선택하고 ID 기반 액세스 권한이 있는 Azure Machine Learning 데이터 저장소를 만듭니다. 이 방법은 이전에 할당한 데이터 평면 역할을 사용하며 계정 키 액세스를 사용하도록 설정할 필요가 없습니다.
데이터 대상을 선택하고 다음을 선택합니다.
데이터 대상에 연결하고 다음을 선택합니다.
이 단계에서는 데이터 복사 작업을 자동으로 시작합니다.
이 단계는 시간이 걸릴 수 있습니다. 다음 단계로 직접 연결합니다.
데이터 복사 작업이 성공적으로 완료되었는지 확인합니다.
Azure Data Lake Storage 컨테이너를 통해 Azure Machine Learning 데이터 저장소 만들기
이제 데이터가 Azure 데이터 레이크 Storage 리소스에 있으므로 Azure Machine Learning 데이터 저장소를 만들 수 있습니다.
Azure Storage 계정에서 왼쪽에 표시된 컨테이너 에는 오른쪽에 표시된 것처럼 데이터가 있습니다.
Azure Machine Learning 스튜디오에서 데이터 자산을 생성합니다. 형식을 결정하려면 onelake-table 컨테이너를 열고 복사본이 단일 파일 또는 파일 폴더를 생성했는지 확인합니다. 단일 파일의 경우 파일(uri_file) 을 선택하거나 파일 폴더의 경우 폴더(uri_folder) 를 선택합니다. 테이블이 여러 파일로 내보내는 경우에 일반적입니다.
Azure Storage에서 선택:
이전의 계정 키 값을 사용하여 Azure 데이터 레이크 Storage 계정 단계에 대한 연결 만들기 를 사용하여 새 데이터 저장소를 만듭니다.
Azure Machine Learning 스튜디오에서 데이터 저장소를 직접 만들 수도 있습니다.
만든 데이터 저장소의 세부 정보를 검토할 수 있습니다.
데이터 저장소의 데이터 검토
이제 Azure Machine Learning에서 데이터 저장소를 성공적으로 만들었으므로 기계 학습 연습에서 사용할 수 있습니다.
Troubleshooting
- 역할 할당이 아직 유효하지 않음: Azure 역할 할당이 전파되는 데 몇 분 정도 걸릴 수 있습니다. 권한 부여 오류로 복사 작업 또는 데이터 저장소 만들기가 실패하는 경우 몇 분 정도 기다렸다가 다시 시도합니다.
- 계정 키 액세스 사용 안 함: 계정 키를 검색하거나 사용할 수 없는 경우 스토리지 계정에서 스토리지 계정 키 액세스 허용 이 사용하도록 설정되어 있는지 확인합니다.
- 연결 실패 Fabric: 스토리지 계정 이름 및 키를 확인하고 onelake 테이블 컨테이너가 있는지 확인합니다.
- 스냅샷이 오래됨: 복사본은 특정 시점의 스냅샷을 생성합니다. 최신 상태로 유지하려면 Fabric 데이터 파이프라인이 되풀이 주기로 실행되도록 예약합니다.
관련 콘텐츠
- 데이터 저장소 만들기
- OneLake(Microsoft Fabric) 데이터 저장소 만들기(미리 보기)
- 데이터 자산 만들기
- OneLake를 Azure Machine Learning 통합