다음을 통해 공유

Fivetran에 연결

  • 아티클

Fivetran의 자동화된 데이터 통합은 스키마 및 API가 변경되면 조정됩니다. 즉시 쿼리할 수 있는 스키마를 사용하여 안정적인 데이터 액세스 및 간소화된 분석을 보장합니다.

Databricks SQL 웨어하우스(이전 명칭 Databricks SQL 엔드포인트) 및 Azure Databricks 클러스터를 Fivetran과 통합할 수 있습니다. Fivetran과 Azure Databricks를 통합하면 서로 다른 데이터 원본의 데이터를 Delta Lake로 중앙 집중화할 수 있습니다.

Partner Connect를 사용하여 Fivetran에 연결

이 섹션에서는 Partner Connect를 사용하여 Fivetran에 연결하는 방법을 설명합니다. 각 사용자는 고유한 연결을 만듭니다.

참고 항목

사용자별 연결 환경은 공개 미리 보기로 제공됩니다. Azure Databricks 계정 팀에 문의하여 사용자별 연결을 만드는 기능을 사용 중지할 수 있습니다.

Partner Connect를 사용하여 연결하기 전에

Partner Connect를 사용하여 Fivetran에 연결하기 전에 다음 사항이 있는지 확인하세요.

  • 작업 영역 관리 사용자 역할 또는 다음 권한:
    • SQL 웨어하우스에 대한 CAN USE 권한
    • 토큰 사용량에 대한 CAN USE 권한
  • Unity Catalog에서 관리하는 데이터의 경우 Fivetran에서 쓰기를 원하는 카탈로그에 대한 다음 메타스토어 개체 권한이 필요합니다.
    • 카탈로그의 USE CATALOG 및CREATE SCHEMA입니다.
    • (선택 사항) 목적지 위치를 지정하려면 외부 위치에 CREATE EXTERNAL TABLE을 생성하고 클라우드 개체 스토리지의 데이터에 액세스합니다.
  • 레거시 Hive 메타스토어에서 관리하는 데이터의 경우 Fivetran에서 쓰기를 원하는 카탈로그에 대한 다음 메타스토어 개체 권한이 필요합니다.
    • 카탈로그의 USAGE 및CREATE
    • (선택 사항) 목적지 위치를 지정하려면 클라우드 개체 스토리지의 데이터에 액세스합니다.

Unity Catalog 메타스토어 개체의 권한은 메타스토어 관리자, 개체 소유자 또는 개체가 포함된 카탈로그나 스키마 소유자가 부여할 수 있습니다. 자세한 내용은 Unity Catalog 권한 및 보안 개체를 참조하세요.

레거시 Hive 메타스토어 개체에 대한 권한은 작업 영역 관리자나 개체 소유자가 부여할 수 있습니다. 자세한 내용은 Hive 메타스토어 권한 및 보안 개체(레거시)를 참조하세요.

클라우드 개체 스토리지의 데이터에 대한 액세스는 클라우드 개체 스토리지 계정에 충분한 권한이 있는 작업 영역 관리자가 구성해야 합니다. 자세한 정보는 데이터 엑세스 구성 사용을 참조하세요.

Partner Connect 단계

Partner Connect를 사용하여 Azure Databricks 작업 영역을 Fivetran에 연결하려면 다음을 수행합니다.

  1. 사이드바에서 Partner Connect를 클릭합니다.

  2. Fivetran 타일을 클릭합니다.

    이 섹션의 단계에서는 사용자 수준의 Fivetran 평가판 계정을 만듭니다. 기존 작업 영역 수준 Fivetran 평가판 계정에 로그인하려면 기존 연결 사용을 클릭하고 화면상의 지침에 따라 Fivetran에 로그인한 다음 이 문서의 나머지 단계는 건너뜁니다.

  3. SQL Warehouse를 선택합니다. SQL 웨어하우스가 중지되면 시작을 클릭합니다.

  4. 작업 영역에서 Unity Catalog가 사용되는 경우 Fivetran에서 쓸 카탈로그를 선택한 후 다음을 클릭합니다.

    Partner Connect는 사용자와 연결된 Azure Databricks 개인용 액세스 토큰을 생성합니다.

  5. Fivetran에 연결을 클릭합니다.

    웹 브라우저에 새 탭이 열리고 Fivetran 웹 사이트가 표시됩니다.

  6. Fivetran 웹 사이트에서 화면의 지시를 완료하여 평가판 파트너 계정을 만드세요.

Fivetran에 수동으로 연결

수동 연결 절차에 대한 개요는 본 YouTube 동영상(2분)을 시청하세요.

참고 항목

SQL 웨어하우스를 Fivetran과 더 빠르게 연결하려면 Partner Connect를 사용하세요.

수동으로 연결하기 전에

Fivetran에 연결에 수동으로 연결하기 전에 다음 항목이 있어야 합니다.

  • Azure Databricks 작업 영역의 클러스터 또는 SQL 웨어하우스

  • 클러스터 또는 SQL 웨어하우스, 특히 서버 호스트 이름, 포트 및 HTTP 경로 값에 대한 연결 세부 정보.

  • Azure Databricks 개인용 액세스 토큰 또는 Microsoft Entra ID(이전 Azure Active Directory) 토큰. 개인용 액세스 토큰을 만들려면 다음을 수행합니다.

    1. Azure Databricks 작업 영역의 위쪽 표시줄에서 Azure Databricks 사용자 이름을 클릭한 다음 드롭다운에서 설정을 선택합니다.
    2. 개발자를 클릭합니다.
    3. 액세스 토큰 옆에 있는 관리를 클릭합니다.
    4. 새 토큰 생성을 클릭합니다.
    5. (선택 사항) 나중에 이 토큰을 식별할 수 있도록 하는 설명을 입력하고 토큰의 기본 수명을 90일로 변경합니다. 수명이 없는 토큰을 만들려면(권장하지 않음) 수명(일) 상자를 비워 둡니다(공백).
    6. 생성을 클릭합니다.
    7. 표시된 토큰을 안전한 장소로 복사한 다음, 완료를 클릭합니다.

    참고 항목

    복사한 토큰을 안전한 위치에 저장합니다. 복사한 토큰을 다른 사용자와 공유하지 마세요. 복사한 토큰을 분실하면 정확히 동일한 토큰을 다시 생성할 수 없습니다. 대신 이 프로시저를 반복하여 새 토큰을 만들어야 합니다. 복사한 토큰을 분실한 경우, 또는 토큰이 손상되었다고 생각되면, Databricks의 권장 사항에 따라 액세스 토큰 페이지에서 토큰 옆에 있는 휴지통(취소)아이콘을 클릭하여 작업 영역에서 해당 토큰을 즉시 삭제할 것을 강력하게 권장합니다.

    작업 영역에서 토큰을 만들거나 사용할 수 없는 경우, 작업 영역 관리자가 토큰을 사용하지 않도록 설정했거나 토큰을 만들거나 사용할 수 있는 권한을 부여하지 않았기 때문일 수 있습니다. 작업 영역 관리자 또는 다음 주제를 참조하세요.

    참고 항목

    보안 모범 사례로, 자동화된 도구, 시스템, 스크립트, 앱을 사용하여 인증할 때 Databricks는 작업 영역 사용자 대신 서비스 주체에 속한 개인용 액세스 토큰을 사용하는 것을 권장합니다. 서비스 주체에 대한 토큰을 만들려면 서비스 주체에 대한 토큰 관리를 참조하세요.

팁

작업 영역에서 Partner Connect의 Fivetran 타일 안에 확인 표시 아이콘이 있는 경우 타일을 클릭한 다음, 연결 세부 정보를 확장하여 연결된 SQL 웨어하우스에 대한 연결 세부 정보를 가져올 수 있습니다. 개인용 액세스 토큰은 숨겨져 있습니다. 대체 개인용 액세스 토큰을 만들고 Fivetran에서 요청하면 대신 새 토큰을 입력해야 합니다.

수동 단계

Fivetran에 수동으로 연결하려면 다음을 수행합니다.

  1. https://fivetran.com/login에서 Fivetran 계정에 로그인하거나 새 Fivetran 계정을 만듭니다.

    Important

    조직의 Fivetran 계정에 로그인하는 경우 대상 선택 페이지가 표시되어 Databricks 로고가 있는 하나 이상의 기존 대상 항목이 나열됩니다. 이러한 항목에는 사용자와 별개인 작업 영역에서 컴퓨팅 리소스에 대한 연결 세부 정보가 포함될 수 있습니다. 이러한 연결 중 하나를 다시 사용하려는 경우 컴퓨팅 리소스를 신뢰하고 액세스 권한이 있는 경우 해당 대상을 선택한 후 다음 단계로 건너뜁니다. 그렇지 않은 경우, 이 페이지를 통과하기 위해 이용 가능한 목적지를 선택하세요.

  2. Fivetran의 대시보드 페이지에서 목적지 탭을 클릭합니다.

  3. 대상 추가를 클릭합니다.

  4. 대상 이름을 입력하고 추가를 클릭합니다.

  5. Fivetran은 최신 ELT입니다 페이지에서 커넥터 설정을 클릭합니다.

  6. 데이터 원본을 클릭한 다음 다음을 클릭합니다.

  7. Fivetran의 설치 가이드에 있는 화면의 지침에 따라 커넥터 설정을 완료합니다.

  8. 저장 및 테스트를 클릭합니다.

  9. 테스트가 성공하면 계속을 클릭합니다.

  10. 데이터의 대상 선택 페이지에서 Azure의 Databricks를 클릭합니다.

  11. 설치 계속을 클릭합니다.

  12. Fivetran의 화면 지침을 완료하여 기존 Azure Databricks 컴퓨팅 리소스, 특히 서버 호스트 이름 및 HTTP 경로 필드 값, 이전에 생성한 토큰에 대한 연결 세부 정보를 입력합니다.

  13. 저장 및 테스트를 클릭합니다.

  14. 테스트가 완료되면 계속을 클릭합니다.

  15. 다음 단계를 계속 진행합니다.

추가 리소스

Fivetran 웹 사이트에서 다음 리소스 중 하나 이상을 살펴봅니다.