파워 쿼리 커넥터(미리 보기 - 사용 중지됨)

  • 아티클

중요

파워 쿼리 커넥터 지원은 Microsoft Azure 미리 보기에 대한 보충 사용 약관에 제한된 공개 미리 보기로 도입되었지만 지금은 중단되었습니다. 파워 쿼리 커넥터를 사용하는 쿼리 솔루션이 있는 경우 대체 솔루션으로 마이그레이션하세요.

2022년 11월 28일까지 마이그레이션

파워 쿼리 커넥터 미리 보기는 2021년 5월에 발표되었으며 일반 공급으로 진행되지 않습니다. 다음 마이그레이션 지침은 Snowflake 및 PostgreSQL에 사용할 수 있습니다. 다른 커넥터를 사용 중이고 마이그레이션 지침이 필요한 경우 미리 보기 등록에 제공된 이메일 연락처 정보를 사용하여 도움을 요청하거나 Azure 지원에 티켓을 엽니다.

필수 구성 요소

Snowflake 데이터 파이프라인 마이그레이션

이 섹션에서는 Snowflake 데이터베이스에서 Azure Cognitive Search 인덱스로 데이터를 복사하는 방법을 설명합니다. Snowflake에서 Azure Cognitive Search로 직접 인덱싱하는 프로세스가 없으므로 이 섹션에는 데이터베이스 콘텐츠를 Azure Storage Blob 컨테이너에 복사하는 준비 단계가 포함되어 있습니다. 그런 다음 Data Factory 파이프라인을 사용하여 스테이징 컨테이너에서 인덱스를 생성합니다.

1단계: Snowflake 데이터베이스 정보 검색

  1. Snowflake로 이동하여 Snowflake 계정에 로그인합니다. Snowflake 계정은 https://<account_name>.snowflakecomputing.com과 같은 형식입니다.

  2. 로그인한 후 왼쪽 창에서 다음 정보를 수집합니다. 다음 단계에서 이 정보를 사용합니다.

    • 데이터에서 데이터베이스를 선택하고 데이터베이스 원본의 이름을 복사합니다.
    • 관리역할 & 사용자를 선택하고 사용자의 이름을 복사합니다. 사용자에게 읽기 권한이 있는지 확인합니다.
    • 관리에서 계정을 선택하고 계정의 LOCATOR 값을 복사합니다.
    • Snowflake URL에서 https://app.snowflake.com/<region_name>/xy12345/organization)과 유사합니다. 지역 이름을 복사합니다. 예를 들어, https://app.snowflake.com/south-central-us.azure/xy12345/organization에서 지역 이름은 south-central-us.azure입니다.
    • 관리에서 웨어하우스를 선택하고 원본으로 사용할 데이터베이스와 연결된 웨어하우스의 이름을 복사합니다.

2단계: Snowflake 연결된 서비스 구성

  1. Azure 계정으로 Azure Data Factory Studio에 로그인합니다.

  2. 데이터 팩터리를 선택한 다음 계속을 선택합니다.

  3. 왼쪽 메뉴에서 관리 아이콘을 선택합니다.

    Azure Data Factory에서 관리 아이콘을 선택하여 Snowflake 연결된 서비스를 구성하는 방법을 보여 주는 스크린샷.

  4. 연결된 서비스에서 새로 만들기를 선택합니다.

    Azure Data Factory에서 새 연결된 서비스를 선택하는 방법을 보여 주는 스크린샷

  5. 오른쪽 창의 데이터 저장소 검색에서 "snowflake"를 입력합니다. Snowflake 타일을 선택하고 계속을 선택합니다.

    새 연결된 서비스 데이터 저장소에서 Snowflake 타일을 선택하는 방법을 보여 주는 스크린샷.

  6. 이전 단계에서 수집한 데이터로 새로 연결된 서비스 양식을 작성합니다. 계정 이름에는 LOCATOR 값과 지역(예: xy56789south-central-us.azure)이 포함됩니다.

    Snowflake 연결된 서비스 양식을 작성하는 방법을 보여 주는 스크린샷.

  7. 양식을 작성한 후 연결 테스트를 선택합니다.

  8. 테스트에 성공하면 만들기를 선택합니다.

3단계: Snowflake 데이터 세트 구성

  1. 왼쪽 메뉴에서 작성자 아이콘을 선택합니다.

  2. 데이터 세트를 선택한 다음 데이터 세트 작업 줄임표 메뉴(...)를 선택합니다.

    작성 아이콘 및 데이터 세트 옵션을 선택하는 방법을 보여 주는 스크린샷.

  3. 새 데이터 세트를 선택합니다.

    Snowflake용 Azure Data Factory에서 새 데이터 세트를 선택하는 방법을 보여 주는 스크린샷.

  4. 오른쪽 창의 데이터 저장소 검색에서 "snowflake"를 입력합니다. Snowflake 타일을 선택하고 계속을 선택합니다.

    데이터 세트의 데이터 원본에서 Snowflake를 선택하는 방법을 보여 주는 스크린샷.

  5. 속성 설정에서:

    • 2단계에서 만든 연결된 서비스를 선택합니다.
    • 가져올 테이블을 선택한 다음 확인을 선택합니다.

    Snowflake의 데이터 세트 속성을 구성하는 방법을 보여 주는 스크린샷.

  6. 저장을 선택합니다.

현재 Snowflake 데이터에 대해 구성한 스키마와 동일한 스키마를 사용하여 Azure Cognitive Search Service에서 새 인덱스를 만듭니다.

현재 Snowflake 전원 커넥터에 사용 중인 인덱스를 용도 변경할 수 있습니다. Azure Portal에서 인덱스를 찾은 다음 인덱스 정의(JSON)를 선택합니다. 정의를 선택하고 새 인덱스 요청의 본문에 복사합니다.

기존 Snowflake 인덱스에 대한 기존 Azure Cognitive Search 인덱스 JSON 구성을 복사하는 방법을 보여 주는 스크린샷.

5단계: Azure Cognitive Search 연결된 서비스 구성

  1. 왼쪽 메뉴에서 관리 아이콘을 선택합니다.

    Azure Data Factory에서 관리 아이콘을 선택하여 연결된 새 서비스를 추가하는 방법을 보여 주는 스크린샷.

  2. 연결된 서비스에서 새로 만들기를 선택합니다.

    Cognitive Search를 위해 Azure Data Factory에서 새 연결된 서비스를 선택하는 방법을 보여 주는 스크린샷.

  3. 오른쪽 창의 데이터 저장소 검색에서 "search"를 입력합니다. Azure Search 타일을 선택하고 계속을 선택합니다.

    Snowflake에서 가져오기 위해 Azure Data Factory에서 새 연결된 검색을 선택하는 방법을 보여 주는 스크린샷.

  4. 새 연결된 서비스 값을 작성합니다.

    • Azure Cognitive Search Service가 있는 Azure 구독을 선택합니다.
    • 파워 쿼리 커넥터 인덱서가 있는 Azure Cognitive Search Service를 선택합니다.
    • 만들기를 선택합니다.

    Snowflake에서 가져올 속성과 함께 Azure Data Factory에서 새 연결된 검색 서비스를 선택하는 방법을 보여 주는 스크린샷.

6단계: Azure Cognitive Search 데이터 세트 구성

  1. 왼쪽 메뉴에서 작성자 아이콘을 선택합니다.

  2. 데이터 세트를 선택한 다음 데이터 세트 작업 줄임표 메뉴(...)를 선택합니다.

    Cognitive Search에 대한 작성 아이콘 및 데이터 세트 옵션을 선택하는 방법을 보여 주는 스크린샷.

  3. 새 데이터 세트를 선택합니다.

    Azure Data Factory에서 새 데이터 세트를 선택하는 방법을 보여 주는 스크린샷.

  4. 오른쪽 창의 데이터 저장소 검색에서 "search"를 입력합니다. Azure Search 타일을 선택하고 계속을 선택합니다.

    싱크로 사용할 Azure Data Factory의 데이터 세트에 대한 Azure Cognitive Search Service를 선택하는 방법을 보여 주는 스크린샷.

  5. 속성 설정에서:

    • 5단계에서 최근에 만든 연결된 서비스를 선택합니다.

    • 4단계에서 만든 검색 인덱스를 선택합니다.

    • 확인을 선택합니다.

      Snowflake용 Azure Data Factory에서 새 검색 연결 서비스를 선택하는 방법을 보여 주는 스크린샷.

  6. 저장을 선택합니다.

7단계: Azure Blob Storage 연결된 서비스 구성

  1. 왼쪽 메뉴에서 관리 아이콘을 선택합니다.

    Azure Data Factory에서 관리 아이콘을 선택하여 새 서비스를 연결하는 방법을 보여 주는 스크린샷.

  2. 연결된 서비스에서 새로 만들기를 선택합니다.

    Azure Data Factory에서 새 연결된 서비스를 선택하여 스토리지 계정을 할당하는 방법을 보여 주는 스크린샷.

  3. 오른쪽 창의 데이터 저장소 검색에서 "storage"를 입력합니다. Azure Blob Storage 타일을 선택하고 계속을 선택합니다.

    Azure Data Factory에서 Snowflake의 싱크로 사용할 새 연결된 Blob Storage 서비스를 선택하는 방법을 보여 주는 스크린샷.

  4. 새 연결된 서비스 값을 작성합니다.

    • 인증 형식: SAS URI를 선택합니다. 이 인증 형식만 Snowflake에서 Azure Blob Storage로 데이터를 가져오는 데 사용할 수 있습니다.

    • 스테이징에 사용할 스토리지 계정에 대한 SAS URL을 생성합니다. Blob SAS URL을 SAS URL 필드에 붙여넣습니다.

    • 만들기를 선택합니다.

      SnowFlake에서 가져올 속성으로 Azure Data Factory의 새 연결된 검색 서비스 양식을 작성하는 방법을 보여 주는 스크린샷.

8단계: 스토리지 데이터 세트 구성

  1. 왼쪽 메뉴에서 작성자 아이콘을 선택합니다.

  2. 데이터 세트를 선택한 다음 데이터 세트 작업 줄임표 메뉴(...)를 선택합니다.

    작성 아이콘 및 데이터 세트 옵션을 선택하는 방법을 보여 주는 스크린샷.

  3. 새 데이터 세트를 선택합니다.

    Azure Data Factory에서 스토리지로 사용할 새 데이터 세트를 선택하는 방법을 보여 주는 스크린샷.

  4. 오른쪽 창의 데이터 저장소 검색에서 "storage"를 입력합니다. Azure Blob Storage 타일을 선택하고 계속을 선택합니다.

    준비를 위해 Azure Data Factory에서 새 Blob Storage 데이터 저장소를 선택하는 방법을 보여 주는 스크린샷.

  5. DelimitedText 형식을 선택하고 계속을 선택합니다.

  6. 속성 설정에서:

    • 연결된 서비스에서 7단계에서 만든 연결된 서비스를 선택합니다.

    • 파일 경로에서 준비 프로세스의 싱크가 될 컨테이너를 선택하고 확인을 선택합니다.

      Azure Data Factory에서 Snowflake용 스토리지 데이터 세트의 속성을 구성하는 방법을 보여 주는 스크린샷.

    • 행 구분 기호에서 줄 바꿈(\n)을 선택합니다.

    • 첫 번째 행을 머리글로 확인란을 선택합니다.

    • 저장을 선택합니다.

      Snowflake의 싱크로 사용할 DelimitedText 구성을 저장하는 방법을 보여 주는 스크린샷.

9단계: 파이프라인 구성

  1. 왼쪽 메뉴에서 작성자 아이콘을 선택합니다.

  2. 파이프라인을 선택한 다음 파이프라인 작업 줄임표 메뉴(...)를 선택합니다.

    작성 아이콘 및 파이프라인 옵션을 선택하여 Snowflake 데이터 변환을 위한 파이프라인을 구성하는 방법을 보여 주는 스크린샷.

  3. 새 파이프라인을 선택합니다.

    Azure Data Factory에서 Snowflake 데이터 수집을 위해 만들 새 파이프라인을 선택하는 방법을 보여 주는 스크린샷.

  4. Snowflake에서 Azure Storage 컨테이너로 복사하는 Data Factory 작업을 만들고 구성합니다.

    • 이동 & 변환 섹션을 확장하고 데이터 복사 작업을 빈 파이프라인 편집기 캔버스로 끌어서 놓습니다.

      파이프라인 캔버스에서 데이터 복사 작업을 끌어서 놓기하여 Snowflake에서 데이터를 복사하는 방법을 보여 주는 스크린샷.

    • 일반 탭을 엽니다. 실행을 사용자 지정해야 하는 경우가 아니면 기본값을 수락합니다.

    • 원본 탭에서 Snowflake 테이블을 선택합니다. 나머지 옵션은 기본값으로 둡니다.

      Snowflake에서 데이터를 가져오기 위해 파이프라인에서 원본을 구성하는 방법을 보여 주는 스크린샷.

    • 싱크 탭에서:

      • 8단계에서 만든 Storage DelimitedText 데이터 세트를 선택합니다.

      • 파일 확장자에서 .csv를 추가합니다.

      • 나머지 옵션은 기본값으로 둡니다.

        Snowflake에서 Azure Storage로 데이터를 이동하기 위해 파이프라인의 싱크를 구성하는 방법을 보여 주는 스크린샷.

    • 저장을 선택합니다.

  5. Azure Storage Blob에서 검색 인덱스로 복사하는 작업을 구성합니다.

    • 이동 & 변환 섹션을 확장하고 데이터 복사 작업을 빈 파이프라인 편집기 캔버스로 끌어서 놓습니다.

      파이프라인 캔버스에서 데이터 복사 작업을 스토리지에서 인덱스로 끌어서 놓는 방법을 보여 주는 스크린샷.

    • 실행을 사용자 지정해야 하는 경우가 아니면 일반 탭에서 기본값을 수락합니다.

    • 원본 탭에서:

      • 8단계에서 만든 Storage DelimitedText 데이터 세트를 선택합니다.
      • 파일 경로 형식에서 와일드카드 파일 경로를 선택합니다.
      • 나머지 필드는 모두 기본값으로 둡니다.

      준비 단계를 위해 Blob Storage에서 Azure Cognitive Search 인덱스로 데이터를 가져오도록 파이프라인에서 원본을 구성하는 방법을 보여 주는 스크린샷.

    • 싱크 탭에서 Azure Cognitive Search 인덱스를 선택합니다. 나머지 옵션은 기본값으로 둡니다.

      파이프라인의 마지막 단계로 Blob Storage에서 Azure Cognitive Search 인덱스로 데이터를 가져오도록 파이프라인에서 싱크를 구성하는 방법을 보여 주는 스크린샷.

    • 저장을 선택합니다.

10단계: 작업 순서 구성

  1. 파이프라인 캔버스 편집기에서 파이프라인 작업 타일의 가장자리에 있는 작은 녹색 사각형을 선택합니다. 실행 순서를 설정하려면 "스토리지 계정에서 Azure Cognitive Search로의 인덱스" 작업으로 끌어서 놓습니다.

  2. 저장을 선택합니다.

    Snowflake의 실행 순서를 제공하기 위해 파이프라인 작업을 연결하는 방법을 보여 주는 스크린샷.

11단계: 파이프라인 트리거 추가

  1. 트리거 추가를 선택하여 파이프라인 실행을 예약하고 새로 만들기/편집을 선택합니다.

    Snowflake에 대해 실행할 Data Factory의 파이프라인에 대한 새 트리거를 추가하는 방법을 보여 주는 스크린샷.

  2. 트리거 선택 드롭다운에서 새로 만들기를 선택합니다.

    Snowflake용 Data Factory에서 파이프라인에 대한 새 트리거 추가를 선택하는 방법을 보여 주는 스크린샷.

  3. 트리거 옵션을 검토하여 파이프라인을 실행하고 확인을 선택합니다.

    Snowflake용 Data Factory에서 파이프라인을 실행하도록 트리거를 구성하는 방법을 보여 주는 스크린샷.

  4. 저장을 선택합니다.

  5. 게시를 선택합니다.

    Snowflake용 Data Factory 수집에 파이프라인을 게시하여 인덱싱하는 방법.

PostgreSQL 데이터 파이프라인 마이그레이션

이 섹션에서는 PostgreSQL 데이터베이스에서 Azure Cognitive Search 인덱스으로 데이터를 복사하는 방법을 설명합니다. PostgreSQL에서 Azure Cognitive Search로 직접 인덱싱하는 프로세스가 없으므로 이 섹션에는 데이터베이스 콘텐츠를 Azure Storage Blob 컨테이너에 복사하는 준비 단계가 포함되어 있습니다. 그런 다음 Data Factory 파이프라인을 사용하여 스테이징 컨테이너에서 인덱스를 생성합니다.

1단계: PostgreSQL 연결된 서비스 구성

  1. Azure 계정으로 Azure Data Factory Studio에 로그인합니다.

  2. Data Factory를 선택하고 계속을 선택합니다.

  3. 왼쪽 메뉴에서 관리 아이콘을 선택합니다.

    Azure Data Factory에서 관리 아이콘을 선택하는 방법

  4. 연결된 서비스에서 새로 만들기를 선택합니다.

    Azure Data Factory에서 새 연결된 서비스를 선택하는 방법을 보여 주는 스크린샷

  5. 오른쪽 창의 데이터 저장소 검색에서 "postgresql"을 입력합니다. PostgreSQL 데이터베이스가 있는 위치(Azure 또는 기타)를 나타내는 PostgreSQL 타일을 선택하고 계속을 선택합니다. 이 예에서 PostgreSQL 데이터베이스는 Azure에 있습니다.

    Azure Data Factory에서 연결된 서비스에 대한 PostgreSQL 데이터 저장소를 선택하는 방법

  6. 새 연결된 서비스 값을 작성합니다.

    • 계정 선택 방법에서 수동 입력을 선택합니다.

    • Azure Portal의 Azure Database for PostgreSQL 개요 페이지에서 다음 값을 해당 필드에 붙여넣습니다.

      • 서버 이름을 정규화된 도메인 이름에 추가합니다.
      • 관리 사용자 이름을 사용자 이름에 추가합니다.
      • 데이터베이스를 데이터베이스 이름에 추가합니다.
      • 사용자 이름 암호에 관리 사용자 이름 암호를 입력합니다.
      • 만들기를 선택합니다.

      Azure Data Factory에서 관리 아이콘 선택

2단계: PostgreSQL 데이터 세트 구성

  1. 왼쪽 메뉴에서 작성자 아이콘을 선택합니다.

  2. 데이터 세트를 선택한 다음 데이터 세트 작업 줄임표 메뉴(...)를 선택합니다.

    작성 아이콘 및 데이터 세트 옵션을 선택하는 방법을 보여 주는 스크린샷.

  3. 새 데이터 세트를 선택합니다.

    Azure Data Factory에서 새 데이터 세트를 선택하는 방법을 보여 주는 스크린샷.

  4. 오른쪽 창의 데이터 저장소 검색에서 "postgresql"을 입력합니다. Azure PostgreSQL 타일을 선택합니다. 계속을 선택합니다.

    Azure Data Factory에서 데이터 세트에 대한 PostgreSQL 데이터 저장소를 선택하는 방법을 보여 주는 스크린샷.

  5. 속성 설정 값을 작성합니다.

    • 1단계에서 만든 PostgreSQL 연결 서비스를 선택합니다.

    • 가져오거나 인덱싱할 테이블을 선택합니다.

    • 확인을 선택합니다.

      Azure Data Factory에서 데이터 세트의 PostgreSQL 속성을 설정하는 방법을 보여 주는 스크린샷.

  6. 저장을 선택합니다.

PostgreSQL 데이터에 사용된 스키마와 동일한 스키마를 사용하여 Azure Cognitive Search Service에서 새 인덱스를 만듭니다.

현재 PostgreSQL 전원 커넥터에 사용 중인 인덱스를 용도 변경할 수 있습니다. Azure Portal에서 인덱스를 찾은 다음 인덱스 정의(JSON)를 선택합니다. 정의를 선택하고 새 인덱스 요청의 본문에 복사합니다.

기존 Azure Cognitive Search 인덱스 JSON 구성을 복사하는 방법을 보여 주는 스크린샷.

4단계: Azure Cognitive Search 연결된 서비스 구성

  1. 왼쪽 메뉴에서 관리 아이콘을 선택합니다.

    Azure Data Factory에서 관리 아이콘을 선택하여 서비스를 연결하는 방법을 보여 주는 스크린샷.

  2. 연결된 서비스에서 새로 만들기를 선택합니다.

    Azure Data Factory에서 새 연결된 서비스를 선택하는 방법을 보여 주는 스크린샷

  3. 오른쪽 창의 데이터 저장소 검색에서 "search"를 입력합니다. Azure Search 타일을 선택하고 계속을 선택합니다.

    Azure Data Factory에서 새 연결된 검색 서비스를 선택하는 방법을 보여 주는 스크린샷.

  4. 새 연결된 서비스 값을 작성합니다.

    • Azure Cognitive Search Service가 있는 Azure 구독을 선택합니다.
    • 파워 쿼리 커넥터 인덱서가 있는 Azure Cognitive Search Service를 선택합니다.
    • 만들기를 선택합니다.

    PostgreSQL에서 가져올 속성과 함께 Azure Data Factory에서 새 연결된 검색 서비스를 선택하는 방법을 보여 주는 스크린샷.

5단계: Azure Cognitive Search 데이터 세트 구성

  1. 왼쪽 메뉴에서 작성자 아이콘을 선택합니다.

  2. 데이터 세트를 선택한 다음 데이터 세트 작업 줄임표 메뉴(...)를 선택합니다.

    작성 아이콘 및 데이터 세트 옵션을 선택하는 방법을 보여 주는 스크린샷.

  3. 새 데이터 세트를 선택합니다.

    Azure Data Factory에서 새 데이터 세트를 선택하는 방법을 보여 주는 스크린샷.

  4. 오른쪽 창의 데이터 저장소 검색에서 "search"를 입력합니다. Azure Search 타일을 선택하고 계속을 선택합니다.

    Azure Data Factory에서 데이터 세트에 대한 Azure Cognitive Search Service를 선택하는 방법을 보여 주는 스크린샷.

  5. 속성 설정에서:

    • 4단계에서 Azure Cognitive Search용으로 만들어진 연결된 서비스를 선택합니다.

    • 3단계에서 만든 인덱스를 선택합니다.

    • 확인을 선택합니다.

      검색 데이터 세트의 속성 설정을 작성하는 방법을 보여 주는 스크린샷.

  6. 저장을 선택합니다.

6단계: Azure Blob Storage 연결된 서비스 구성

  1. 왼쪽 메뉴에서 관리 아이콘을 선택합니다.

    Azure Data Factory에서 관리 아이콘을 선택하여 서비스를 연결하는 방법을 보여 주는 스크린샷.

  2. 연결된 서비스에서 새로 만들기를 선택합니다.

    Azure Data Factory에서 새 연결된 서비스를 선택하는 방법을 보여 주는 스크린샷

  3. 오른쪽 창의 데이터 저장소 검색에서 "storage"를 입력합니다. Azure Blob Storage 타일을 선택하고 계속을 선택합니다.

    새 데이터 저장소를 선택하는 방법을 보여 주는 스크린샷.

  4. 새 연결된 서비스 값을 작성합니다.

    • 인증 형식: SAS URI를 선택합니다. PostgreSQL에서 Azure Blob Storage로 데이터를 가져오는 데는 이 방법만 사용할 수 있습니다.

    • 스테이징에 사용할 스토리지 계정에 대한 SAS URL을 생성하고 Blob SAS URL을 SAS URL 필드에 복사합니다.

    • 만들기를 선택합니다.

      PostgreSQL에서 가져올 속성으로 Azure Data Factory의 새 연결된 검색 서비스 양식을 작성하는 방법을 보여 주는 스크린샷.

7단계: 스토리지 데이터 세트 구성

  1. 왼쪽 메뉴에서 작성자 아이콘을 선택합니다.

  2. 데이터 세트를 선택한 다음 데이터 세트 작업 줄임표 메뉴(...)를 선택합니다.

    작성 아이콘 및 데이터 세트 옵션을 선택하는 방법을 보여 주는 스크린샷.

  3. 새 데이터 세트를 선택합니다.

    Azure Data Factory에서 새 데이터 세트를 선택하는 방법을 보여 주는 스크린샷.

  4. 오른쪽 창의 데이터 저장소 검색에서 "storage"를 입력합니다. Azure Blob Storage 타일을 선택하고 계속을 선택합니다.

    Azure Data Factory에서 새 Blob Storage 데이터 저장소를 선택하는 방법을 보여 주는 스크린샷.

  5. DelimitedText 형식을 선택하고 계속을 선택합니다.

  6. 행 구분 기호에서 줄 바꿈(\n)을 선택합니다.

  7. 첫 번째 행을 머리글로 확인란을 선택합니다.

  8. 저장을 선택합니다.

    Azure Storage Blob으로 데이터를 가져오는 옵션을 보여 주는 스크린샷.

8단계: 파이프라인 구성

  1. 왼쪽 메뉴에서 작성자 아이콘을 선택합니다.

  2. 파이프라인을 선택한 다음 파이프라인 작업 줄임표 메뉴(...)를 선택합니다.

    작성 아이콘 및 파이프라인 옵션을 선택하는 방법을 보여 주는 스크린샷.

  3. 새 파이프라인을 선택합니다.

    Azure Data Factory에서 새 파이프라인을 선택하는 방법을 보여 주는 스크린샷.

  4. PostgreSQL에서 Azure Storage 컨테이너로 복사하는 Data Factory 작업을 만들고 구성합니다.

    • 이동 & 변환 섹션을 확장하고 데이터 복사 작업을 빈 파이프라인 편집기 캔버스로 끌어서 놓습니다.

      Azure Data Factory에서 끌어서 놓아 PostgreSQL에서 데이터를 복사하는 방법을 보여 주는 스크린샷.

    • 실행을 사용자 지정해야 하는 경우가 아니면 일반 탭을 열고 기본값을 수락합니다.

    • 원본 탭에서 PostgreSQL 테이블을 선택합니다. 나머지 옵션은 기본값으로 둡니다.

      준비 단계에서 PostgreSQL에서 Azure Storage Blob으로 데이터를 가져오도록 원본을 구성하는 방법을 보여 주는 스크린샷.

    • 싱크 탭에서:

      • 7단계에서 구성된 Storage DelimitedText PostgreSQL 데이터 세트를 선택합니다.

      • 파일 확장자에서 .csv를 추가합니다.

      • 나머지 옵션은 기본값으로 둡니다.

        PostgreSQL에서 Azure Storage Blob으로 데이터를 가져오도록 싱크를 구성하는 방법을 보여 주는 스크린샷.

    • 저장을 선택합니다.

  5. Azure Storage에서 검색 인덱스로 복사하는 작업을 구성합니다.

    • 이동 & 변환 섹션을 확장하고 데이터 복사 작업을 빈 파이프라인 편집기 캔버스로 끌어서 놓습니다.

      복사 작업을 구성하기 위해 Azure Data Factory에서 끌어서 놓기하는 방법을 보여 주는 스크린샷.

    • 실행을 사용자 지정해야 하는 경우가 아니면 일반 탭에서 기본값을 그대로 둡니다.

    • 원본 탭에서:

      • 7단계에서 구성된 스토리지 원본 데이터 세트를 선택합니다.
      • 파일 경로 형식 입력란에서 와일드카드 파일 경로를 선택합니다.
      • 나머지 필드는 모두 기본값으로 둡니다.

      Storage에서 Azure Cognitive Search 인덱스로 인덱스를 생성하기 위해 원본을 구성하는 방법을 보여 주는 스크린샷.

    • 싱크 탭에서 Azure Cognitive Search 인덱스를 선택합니다. 나머지 옵션은 기본값으로 둡니다.

      Storage에서 Azure Cognitive Search 인덱스로 인덱스를 생성하기 위해 Sink를 구성하는 방법을 보여 주는 스크린샷.

    • 저장을 선택합니다.

9단계: 작업 순서 구성

  1. 파이프라인 캔버스 편집기에서 파이프라인 작업의 가장자리에 있는 작은 녹색 사각형을 선택합니다. 실행 순서를 설정하려면 "스토리지 계정에서 Azure Cognitive Search로의 인덱스" 작업으로 끌어서 놓습니다.

  2. 저장을 선택합니다.

    적절한 실행을 위해 파이프라인에서 작업 순서를 구성하는 방법을 보여 주는 스크린샷.

10단계: 파이프라인 트리거 추가

  1. 트리거 추가를 선택하여 파이프라인 실행을 예약하고 새로 만들기/편집을 선택합니다.

    Data Factory에서 파이프라인에 대한 새 트리거를 추가하는 방법을 보여 주는 스크린샷.

  2. 트리거 선택 드롭다운에서 새로 만들기를 선택합니다.

    Data Factory에서 파이프라인에 대한 새 트리거 추가를 선택하는 방법을 보여 주는 스크린샷.

  3. 트리거 옵션을 검토하여 파이프라인을 실행하고 확인을 선택합니다.

    Data Factory에서 파이프라인을 실행하도록 트리거를 구성하는 방법을 보여 주는 스크린샷.

  4. 저장을 선택합니다.

  5. 게시를 선택합니다.

    PostgreSQL 데이터 복사본을 위해 Data Factory에 파이프라인을 게시하는 방법을 보여 주는 스크린샷.

파워 쿼리 커넥터 미리 보기의 레거시 콘텐츠

파워 쿼리 커넥터는 쿼리 인덱서와 함께 사용되어 다른 클라우드 공급자의 데이터 원본을 포함하여 다양한 데이터 원본의 데이터 수집을 자동화합니다. 파워 쿼리를 사용하여 데이터를 쿼리합니다.

미리 보기에서 지원되는 데이터 원본은 다음과 같습니다.

  • Amazon Redshift
  • Elasticsearch
  • PostgreSQL
  • Salesforce 개체
  • Salesforce 보고서
  • Smartsheet
  • Snowflake

지원되는 기능

파워 쿼리 커넥터는 인덱서에 사용됩니다. Azure Cognitive Search의 인덱서는 외부 데이터 원본에서 검색 가능한 데이터 및 메타데이터를 추출하고 인덱스와 데이터 원본 간의 필드 간 매핑에 따라 인덱스를 채우는 크롤러입니다. 이 접근 방식은 인덱스에 데이터를 추가하는 코드를 작성하지 않고도 서비스에서 데이터를 가져오기 때문에 ‘끌어오기 모델’로도 불립니다. 인덱서를 사용하면 사용자가 자신의 크롤러 또는 푸시 모델을 작성하지 않고도 데이터 원본에서 콘텐츠를 편리하게 인덱싱할 수 있습니다.

파워 쿼리 데이터 원본을 참조하는 인덱서는 다른 인덱서가 지원하는 기술 세트, 일정, 상위 워터마크 변경 검색 논리 및 대부분의 매개 변수를 동일한 수준으로 지원합니다.

사전 요구 사항

이 기능은 더 이상 사용할 수 없지만 미리 보기에 있는 동안 다음과 같은 요구 사항이 있었습니다.

  • 지원되는 지역의 Azure Cognitive Search Service.

  • 미리 보기 등록. 이 기능은 백 엔드에서 사용하도록 설정해야 합니다.

  • 데이터의 매개자로 사용되는 Azure Blob Storage 계정. 데이터는 데이터 원본, Blob Storage, 인덱스로 차례로 전달됩니다. 이 요구 사항은 초기의 제어된 미리 보기에만 있습니다.

국가별 가용성

미리 보기는 다음 지역의 검색 서비스에서만 사용할 수 있었습니다.

  • 미국 중부
  • 미국 동부
  • 미국 동부 2
  • 미국 중북부
  • 북유럽
  • 미국 중남부
  • 미국 중서부
  • 서유럽
  • 미국 서부
  • 미국 서부 2

미리 보기 제한 사항

이 섹션에서는 현재 미리 보기 버전과 관련한 제한 사항에 대해 설명합니다.

  • 데이터 원본에서 이진 데이터를 가져오는 것은 지원되지 않습니다.

  • 디버그 세션은 지원되지 않습니다.

Azure Portal을 사용하여 시작하기

Azure Portal은 파워 쿼리 커넥터에 대한 지원을 제공합니다. Azure Cognitive Search의 데이터 가져오기 마법사는 데이터를 샘플링하고 컨테이너에서 메타데이터를 읽음으로써 기본 인덱스를 만들고, 원본 필드를 대상 인덱스 필드에 매핑하고, 인덱스를 로드하는 과정을 단일 작업으로 수행할 수 있습니다. 원본 데이터의 크기 및 복잡성에 따라 몇 분 안에 운영 작업에 대한 전체 텍스트 검색 인덱스를 사용할 수 있습니다.

다음 비디오에서는 Azure Cognitive Search에서 파워 쿼리 커넥터를 설정하는 방법을 보여 줍니다.

1단계 - 원본 데이터 준비

데이터 원본에 데이터가 포함되어 있는지 확인합니다. 데이터 가져오기 마법사는 메타데이터를 읽고 데이터 샘플링을 수행하여 인덱스 스키마를 유추하지만 데이터 원본에서도 데이터를 로드합니다. 데이터가 없으면 마법사가 중지되고 오류를 반환합니다.

2단계 - 데이터 가져오기 마법사 시작

미리 보기가 승인되면 Azure Cognitive Search 팀에서 기능 플래그를 사용하는 Azure Portal 링크를 제공하며 사용자는 이 링크를 사용하여 파워 쿼리 커넥터에 액세스할 수 있습니다. 이 페이지를 열고 데이터 가져오기를 선택하여 Azure Cognitive Search 서비스 페이지의 명령 모음에서 마법사를 시작합니다.

3단계 - 데이터 원본 선택

이 미리 보기를 사용하여 데이터를 끌어올 수 있는 출처로 몇 가지 데이터 원본이 있습니다. 파워 쿼리를 사용하는 모든 데이터 원본은 타일에 “파워 쿼리에서 제공”이라는 문구가 포함되어 있습니다. 데이터 원본을 선택합니다.

데이터 원본 선택 페이지의 스크린샷.

데이터 원본을 선택한 후 다음: 데이터 구성을 선택하여 다음 섹션으로 이동합니다.

4단계 - 데이터 구성

이 단계에서는 연결을 구성합니다. 데이터 원본별로 필요한 정보가 서로 다릅니다. 일부 데이터 원본의 경우 파워 쿼리 설명서에서 데이터에 연결하는 방법에 대해 자세히 설명합니다.

연결 자격 증명을 입력한 후 다음을 선택합니다.

5단계 - 데이터 선택

가져오기 마법사가 데이터 원본에서 사용할 수 있는 다양한 테이블을 미리 보여 줍니다. 이 단계에서는 인덱스로 가져올 데이터가 포함된 테이블 1개를 확인합니다.

데이터 미리 보기 스크린샷.

테이블을 선택한 후 다음을 선택합니다.

6단계 – 데이터 변환(선택 사항)

파워 쿼리 커넥터는 인덱스에 올바른 데이터가 전송되도록 데이터를 조작할 수 있는 풍부한 UI 환경을 제공합니다. 열 제거, 행 필터링 등 다양한 작업을 수행할 수 있습니다.

데이터를 변환한 후에 Azure Cognitive Search로 가져와야 하는 것은 아닙니다.

데이터 변환 페이지 스크린샷.

파워 쿼리를 사용한 데이터 변환에 대해 자세히 알아보려면 Power BI Desktop에서 파워 쿼리 사용을 참조하세요.

데이터가 변환되면 다음을 선택합니다.

7단계 – Azure Blob Storage 추가

현재 파워 쿼리 커넥터 미리 보기를 사용하려면 Blob Storage 계정을 제공해야 합니다. 이 단계는 초기의 제어된 미리 보기에만 있습니다. 이 Blob Storage 계정은 데이터 원본에서 Azure Cognitive Search 인덱스로 이동하는 데이터의 임시 스토리지 역할을 합니다.

전체 액세스 스토리지 계정 연결 문자열을 제공하는 것이 좋습니다.

{ "connectionString" : "DefaultEndpointsProtocol=https;AccountName=<your storage account>;AccountKey=<your account key>;" }

Azure Portal에서 스토리지 계정 블레이드 > 설정 > 키(클래식 스토리지 계정) 또는 설정 > 액세스 키(Azure Resource Manager 스토리지 계정)로 이동하여 연결 문자열을 가져올 수 있습니다.

데이터 원본 이름 및 연결 문자열을 제공한 후 “다음: 인식 기술 추가(선택 사항)”를 선택합니다.

8단계 - 인지 기술 추가(선택 사항)

AI 보강은 콘텐츠의 검색 가능성을 높일 수 있도록 인덱서를 확장한 것입니다.

시나리오에 이점을 추가하는 보강을 추가할 수 있습니다. 완료되면 다음: 대상 인덱스 사용자 지정을 선택합니다.

9단계 - 대상 인덱스 사용자 지정

인덱스 페이지에는 데이터 형식을 포함하는 필드 목록과 인덱스 특성을 설정하기 위한 여러 확인란이 표시됩니다. 마법사는 메타데이터에 따라, 원본 데이터를 샘플링하여 필드 목록을 생성할 수 있습니다.

특성 열 상단에 있는 확인란을 선택하여 특성을 일괄 선택할 수 있습니다. 클라이언트 앱에 반환되어야 하고 전체 텍스트 검색 처리를 적용받아야 하는 모든 필드에 대해 조회 가능 및 검색 가능을 선택합니다. 정수는 전체 텍스트 또는 유사 항목 검색이 불가능하다는 것을 알 수 있습니다(숫자는 그대로 평가되며 필터에 유용한 경우가 많습니다).

자세한 내용은 인덱스 특성 및 언어 분석기에 대한 설명을 검토하세요.

시간을 내서 선택 항목을 검토합니다. 마법사를 실행하면 실제 데이터 구조가 만들어지며, 모든 개체를 삭제했다가 다시 만들지 않으면 해당 필드의 속성 대부분을 편집할 수 없습니다.

인덱스 만들기 페이지 스크린샷.

완료되면 다음: 인덱서 만들기를 선택합니다.

10단계 - 인덱서 만들기

마지막 단계에서는 인덱서를 만듭니다. 인덱서 이름을 지정하면 인덱서가 동일한 마법사 시퀀스에서 만든 인덱스 및 데이터 원본 개체와는 별도로 예약하고 관리할 수 있는 독립 실행형 리소스가 될 수 있습니다.

데이터 가져오기 마법사를 실행하면 데이터 원본을 크롤링하고 선택한 데이터를 Azure Cognitive Search의 인덱스로 가져오는 인덱서가 제공됩니다.

인덱서를 만들 때 필요에 따라 인덱서가 예약된 시간에 실행되도록 선택하고 변경 검색을 추가할 수 있습니다. 변경 검색을 추가하려면 ‘상위 워터마크’ 열을 지정합니다.

인덱서 만들기 페이지의 스크린샷.

페이지 작성을 마친 후 제출을 선택합니다.

상위 워터마크 변경 검색 정책

이 변경 검색 정책은 행이 마지막으로 업데이트된 버전 또는 시간을 캡처하는 “상위 워터 마크” 열을 사용합니다.

요구 사항

  • 모든 삽입 시 열의 값을 지정합니다.
  • 항목에 대한 모든 업데이트는 열의 값도 변경합니다.
  • 삽입 또는 업데이트할 때마다 이 열의 값이 증가합니다.

지원되지 않는 열 이름

Azure Cognitive Search 인덱스의 필드 이름은 특정 요구 사항을 충족해야 합니다. 이러한 요구 사항 중 하나는 "/"와 같은 일부 문자가 허용되지 않는다는 것입니다. 데이터베이스의 열 이름이 해당 요구 사항을 충족하지 않는 경우 인덱스 스키마 검색에서 해당 열을 유효한 필드 이름으로 인식하지 못하며 해당 열이 인덱스의 제안되는 필드 목록에 표시되지 않습니다. 일반적으로 이 문제는 필드 매핑을 통해 해결되지만 포털에서는 필드 매핑이 지원되지 않습니다.

지원되지 않는 필드 이름이 있는 테이블의 열에서 콘텐츠를 인덱싱하려면 데이터 가져오기 프로세스의 “데이터 변환” 단계에서 열의 이름을 바꿉니다. 예를 들어 “청구 코드/우편 번호”라는 열의 이름을 “우편 번호”로 바꿀 수 있습니다. 열 이름을 바꾸면 인덱스 스키마 검색에서 열 이름을 유효한 필드 이름으로 인식하고 인덱스 정의에 제안 사항으로 추가합니다.

다음 단계

이 문서에서는 파워 쿼리 커넥터를 사용하여 데이터를 끌어오는 방법을 설명했습니다. 이 미리 보기 기능은 중단되었으므로 기존 솔루션을 지원되는 시나리오로 마이그레이션하는 방법도 설명합니다.

인덱서에 대한 자세한 내용은 Azure Cognitive Search의 인덱서를 참조하세요.