Microsoft 검색은 저장소 컨테이너 및 저장소 자산을 사용하여 작업 영역에 대한 데이터를 구성합니다. 스토리지 컨테이너는 Azure Blob Storage 계정(또는 Azure NetApp Files 볼륨)에 대한 논리적 참조를 만드는 반면 스토리지 자산은 해당 계정 내의 특정 Blob 경로를 가리킵니다. 에이전트, 도구, 조사 기능을 통해 데이터를 읽고 쓸 수 있는 통합 데이터 계층을 제공합니다.
주요 개념
| 개념 | 그것이 무엇인지 | Azure 리소스 종류 |
|---|---|---|
| 스토리지 컨테이너 | Azure Blob Storage 계정을 참조하는 작업 영역 자식 리소스입니다. | Microsoft.Discovery/storageContainers |
| 스토리지 자산 | 특정 Blob 경로를 참조하는 스토리지 컨테이너의 자식 리소스입니다. | Microsoft.Discovery/storageContainers/storageAssets |
| 스토리지 계정 | 실제 데이터를 보유하는 기본 Azure Blob Storage 계정입니다. | Microsoft.Storage/storageAccounts |
리소스 계층 구조
스토리지 컨테이너 및 스토리지 자산은 프로젝트를 통해 작업 영역에서 참조하는 리소스 그룹 수준의 2개 수준 계층에 있습니다.
작업 영역에는 각각 다른 스토리지 계정을 가리키는 여러 스토리지 컨테이너가 있을 수 있습니다. 스토리지 컨테이너에는 각각 동일한 스토리지 계정 내의 다른 Blob 경로를 가리키는 여러 스토리지 자산이 있을 수 있습니다.
스토리지 컨테이너의 작동 방식
데이터 이동이 아닌 등록
Azure Blob Storage 계정을 작업 영역에 등록하여 스토리지 컨테이너를 생성하는 것은 데이터를 이동하거나 복사하지 않습니다. 실제 Blob은 사용자의 제어 하에 스토리지 계정에 남아 있습니다. 검색은 작업 영역 리소스(프로젝트, 에이전트, 도구)가 데이터를 찾아서 액세스할 수 있도록 참조를 만듭니다.
지원되는 스토리지 종류
검색 기능은 다음과 같은 스토리지 종류를 지원합니다.
| Kind | 가치 | 설명 |
|---|---|---|
| Azure Blob Storage | AzureStorageBlob |
표준 Azure Blob Storage 계정입니다. 계층 구조 네임스페이스(Data Lake Storage Gen2)는 필요하지 않습니다. |
| Azure NetApp Files | AzureNetAppFiles |
Azure NetApp Files의 고성능 파일 스토리지 볼륨.
netAppVolumeId 대신 storageAccountId을 지정합니다. |
Azure Blob Storage 범용 데이터 수집 및 출력에 가장 일반적인 선택입니다. Azure NetApp Files 처리량이 높은 NFS 기반 파일 액세스가 필요한 워크로드에 사용할 수 있습니다.
인증
스토리지 컨테이너는 작업 영역의 UAMI(사용자 할당 관리 ID) 를 사용하여 스토리지 계정에 대해 인증합니다. 스토리지 컨테이너를 생성하기에 앞서, 해당 스토리지 계정에 대한 스토리지 Blob 데이터 기여자 권한이 UAMI에 반드시 부여되어 있어야 합니다. 자세한 내용은 Microsoft 검색의 관리 ID 참조하세요.
스토리지 자산의 작동 방식
스토리지 자산은 부모 스토리지 컨테이너에서 참조하는 스토리지 계정 내의 특정 Blob 경로를 나타냅니다. 스토리지 자산은 Discovery 조사에서 데이터가 유입되고 유출되는 주요 경로입니다.
입력 데이터
기존 블롭 또는 블롭 접두사를 가리키는 저장 자산을 path 생성할 때 슈퍼컴퓨터에서 실행되는 도구 및 에이전트는 해당 데이터를 읽을 수 있습니다. 예를 들어 실험에 대한 CSV 파일이 포함된 Blob 접두사를 가리키는 스토리지 자산을 만들 수 있습니다.
출력 데이터
에이전트 및 도구가 출력(연구 보고서, 데이터 세트, 분석 결과)을 생성하는 경우 플랫폼은 조사의 스토리지 컨테이너에 스토리지 자산을 자동으로 만듭니다. 각 출력 파일은 고유한 경로가 있는 스토리지 자산을 가져옵니다. 에이전트가 파일을 작성하는 방법에 대한 자세한 내용은 파일 및 스토리지 자산을 참조하세요.
주소 지정
스토리지 자산은 플랫폼 내에서 discovery:// URI로 지정됩니다.
discovery://resources/{storageContainerName}/paths/{blobPath}
에이전트는 GetResourceContext 및 PreviewResource 와 같은 기본 제공 도구를 사용하여 이러한 URI를 통해 파일을 검색하고 읽습니다. 플랫폼은 런타임에 URI를 실제 Blob Storage 위치로 변환 discovery:// 합니다.
검색 리소스에서 스토리지를 사용하는 방법
| Resource | 스토리지를 사용하는 방법 |
|---|---|
| Project | 하나 이상의 스토리지 컨테이너를 해당 데이터 원본으로 참조합니다. 프로젝트 내의 도구 및 조사는 이러한 컨테이너에서 읽고 씁니다. |
| 도구 실행 | 스토리지 컨테이너를 입력 및 출력 데이터 볼륨으로 탑재합니다. 입력 탑재는 읽기 액세스를 제공합니다. 출력 탑재는 결과를 수집합니다. |
| 에이전트 | 기본 제공 파일 도구(WriteResource, PreviewResource)를 사용하여 조사 중에 스토리지 자산을 만들고 읽습니다. |
| 조사 | 작업이 완료되면 스토리지 자산을 누적합니다. 루트 작업은 위쪽 전파를 통해 모든 출력 파일 참조를 수집합니다. |
| 책장 | 스토리지를 사용하여 기술 자료 인덱싱을 위해 문서를 수집합니다. 인덱싱을 위한 원본 데이터는 스토리지 자산에서 가져옵니다. |
스토리지 컨테이너 수명 주기
| 단계 | 어떻게 되나요? |
|---|---|
| 창조하다 | 스토리지 컨테이너(PUT)를 만들어 스토리지 계정을 등록합니다. 검색은 스토리지 계정의 존재 여부와 UAMI의 접근 권한을 검증합니다. |
| 사용 | 프로젝트, 도구 및 에이전트는 등록된 컨테이너를 통해 스토리지 계정에서 읽고 씁니다. |
| Update | 스토리지 컨테이너 속성(예: 스토리지 계정 참조)은 만든 후에 변경할 수 없습니다. 백업 스토리지 계정을 변경하려면 컨테이너를 삭제하고 다시 만듭니다. |
| Delete | 스토리지 컨테이너를 삭제하면 검색 참조가 제거됩니다. 기본 Azure Blob Storage 계정 및 해당 데이터는 삭제되지 않습니다. 부모 컨테이너를 삭제하기 전에 자식 스토리지 자산을 삭제합니다. |
중요합니다
스토리지 컨테이너를 삭제해도 데이터가 삭제되지 않습니다. 실체 Blob은 Azure Storage 계정에 남아 있습니다. 검색 리소스 참조만 제거됩니다.
네트워킹 고려 사항
스토리지 컨테이너를 지원하는 스토리지 계정은 Discovery 플랫폼에서 네트워크에 액세스할 수 있어야 합니다.
- 스토리지 계정은 슈퍼컴퓨터, 작업 영역 및 에이전트에서 사용하는 가상 네트워크 서브넷 의 액세스를 허용해야 합니다.
- 스토리지 계정에 대한 공용 액세스를 제한하는 경우 플랫폼이 액세스할 수 있도록 가상 네트워크 규칙 또는 프라이빗 엔드포인트 를 구성합니다.
- CORS 요구 사항(Discovery Studio의 파일 검색에 필요)에 대한 자세한 내용은 Microsoft Discovery의 Azure Blob Storage를 참조하세요.
제한점
- 스토리지 컨테이너 속성(스토리지 저장소 참조, 종류)은 만든 후에 변경할 수 없습니다 .
- 스토리지 컨테이너는 하나의 스토리지 백 엔드(스토리지 계정 또는 NetApp 볼륨)만 참조할 수 있습니다. 여러 백 엔드에 액세스하려면 여러 스토리지 컨테이너를 만듭니다.
- 스토리지 자산은 개별 Blob이 아닌 Blob 경로를 참조합니다. 단일 경로에는 여러 Blob(접두사 기반 액세스)이 포함될 수 있습니다.
- 스토리지 컨테이너를 만들기 전에 작업 영역 UAMI에는 스토리지 백 엔드에 적절한 역할(Azure Blob에 대한 Storage Blob 데이터 기여자 또는 NetApp Files에 해당하는 역할)이 있어야 합니다.
관련 콘텐츠
- 스토리지 컨테이너 및 스토리지 자산 관리 - 스토리지 컨테이너 및 자산을 만들고 나열하고 삭제하기 위한 단계별 가이드입니다.
- Microsoft 검색의 Azure Blob Storage - 네트워킹, CORS 및 ID 액세스를 포함한 스토리지 계정 필수 구성 요소입니다.
- 파일 및 스토리지 자산 - 에이전트가 조사 중에 파일을 생성하고 사용하는 방법입니다.
- Microsoft 검색의 관리 ID - 스토리지 액세스에 대한 ID 요구 사항입니다.