ADLS에 커넥트 Azure Databricks를 사용하여 데이터 변환

이 가이드에서는 다음을 수행합니다.

• Azure Databricks를 사용하여 ADLS(Azure Data Lake Storage) Gen2 계정에 델타 테이블을 만듭니다.

• ADLS에서 델타 테이블에 대한 OneLake 바로 가기를 만듭니다.

• Power BI를 사용하여 ADLS 바로 가기를 통해 데이터를 분석합니다.

필수 조건

시작하기 전에 다음이 있어야 합니다.

• Lakehouse 항목이 있는 작업 영역

• Azure Databricks 작업 영역

• 델타 테이블을 저장할 ADLS Gen2 계정

델타 테이블 만들기, 바로 가기 만들기 및 데이터 분석

1. Azure Databricks Notebook을 사용하여 ADLS Gen2 계정에 델타 테이블을 만듭니다.

    # Replace the path below to refer to your sample parquet data with this syntax "abfss://<storage name>@<container name>.dfs.core.windows.net/<filepath>"
   
    # Read Parquet files from an ADLS account
    df = spark.read.format('Parquet').load("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/full/dimension_city/")
   
    # Write Delta tables to ADLS account
    df.write.mode("overwrite").format("delta").save("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/adb_dim_city_delta/")
   

2. 레이크하우스에서 테이블 옆에 있는 줄임표(...)를 선택한 다음 새 바로 가기를 선택합니다.

   

3. 새 바로 가기 화면에서 Azure Data Lake Storage Gen2 타일을 선택합니다.

   

4. 바로 가기에 대한 연결 세부 정보를 지정하고 다음을 선택합니다.

   

5. 바로 가기 세부 정보를 지정합니다. 바로 가기 이름 및 하위 경로 세부 정보를 제공한 다음 만들기를 선택합니다. 하위 경로는 델타 테이블이 있는 디렉터리를 가리킵니다.

   

6. 바로 가기는 테이블 아래에 델타 테이블로 표시됩니다.

   

7. 이제 Notebook에서 직접 이 데이터를 쿼리할 수 있습니다.

   df = spark.sql("SELECT * FROM lakehouse1.adls_shortcut_adb_dim_city_delta LIMIT 1000")
   display(df)
   

8. Power BI를 통해 이 델타 테이블에 액세스하고 분석하려면 새 Power BI 의미 체계 모델을 선택합니다.

   

9. 바로 가기를 선택한 다음 확인을 선택합니다.

   

10. 데이터가 게시되면 처음부터 시작을 선택합니다.

    

11. 보고서 작성 환경에서 바로 가기 데이터는 모든 특성과 함께 테이블로 표시됩니다.

    

12. Power BI 보고서를 작성하려면 특성을 왼쪽 창으로 끌어다 놓습니다.

    

관련 콘텐츠

• OneLake로 데이터 수집 및 Azure Databricks를 사용하여 분석