Azure Synapse Analytics 질문과 대답

Azure Synapse는 할당할 여러 역할과 범위를 도입하여 작업 영역에 대한 보안을 간소화할 수 있습니다.

Synapse RBAC 역할:

• Synapse 관리자
• Synapse SQL 관리자
• Synapse Spark 관리자
• Synapse Contributor
• Synapse 아티팩트 게시자
• Synapse 아티팩트 사용자
• Synapse 컴퓨팅 운영자
• Synapse 자격 증명 사용자
• Synapse 연결된 데이터 관리자
• Synapse 사용자

Synapse 작업 영역을 보호하려면 다음 RBAC 범위에 RBAC 역할을 할당합니다.

• 작업 영역
• Spark 풀
• 통합 런타임
• 연결된 서비스
• 자격 증명

또한 전용 SQL 풀을 사용하면 사용자가 알고 있고 좋아하는 동일한 보안 기능을 모두 사용할 수 있습니다.

Azure Synapse는 처음 시작할 때 Azure 구독 수준에서 사용할 수 있는 기본 제공 비용 분석 및 비용 경고와 함께 작동합니다.

• 전용 SQL 풀 - 전용 SQL 풀의 크기를 만들고 지정하므로 비용을 직접 확인하여 제어할 수 있습니다. Azure RBAC 역할을 사용하여 전용 SQL 풀을 만들거나 크기를 조정할 수 있는 사용자를 추가로 제어할 수 있습니다.

• 서버리스 SQL 풀 - 지출을 일별, 주별 및 월별 수준으로 제한할 수 있는 모니터링 및 비용 관리 제어 기능이 있습니다. 자세한 내용은 서버리스 SQL 풀에 대한 비용 관리를 참조하세요.

• 서버리스 Spark 풀 - Synapse RBAC 역할을 사용하여 Spark 풀을 만들 수 있는 사용자를 제한할 수 있습니다.

Synapse 작업 영역은 사용자 정의 폴더를 지원합니다.

예, 2021년 6월 10일부터 Synapse Studio를 사용하면 단일 Azure Synapse 작업 영역에 둘 이상의 Power BI 작업 영역을 추가할 수 있습니다.

Azure Synapse Analytics는 현재 Azure Cosmos DB에서 Synapse Apache Spark 및 서버리스 SQL 풀로의 Azure Synapse Link를 지원합니다. Apache Spark용 Azure Synapse Link가 GA입니다. 서버리스 SQL 풀용 Synapse Link는 미리 보기 상태입니다. 자세한 내용은 Azure Cosmos DB용 Azure Synapse Link를 참조하세요.

SQL용 Azure Synapse Link는 SQL Server 2022 및 Azure SQL Database에 대해 일반 공급됩니다. 자세한 내용은 SQL용 Azure Synapse Link란 무엇인가요?를 참조하세요.

예! 모든 파이프라인 아티팩트, Notebooks, SQL 스크립트 및 Spark 작업 정의는 Git에 있습니다. 모든 풀 정의는 ARM(Azure Resource Manager) 템플릿으로 Git에 저장됩니다. 전용 SQL 풀 개체(스키마, 테이블, 보기 등)는 CI/CD를 지원하는 데이터베이스 프로젝트를 사용하여 관리됩니다. 자세한 내용은 CI 및 CD 가이드를 참조하세요.

기능과 요구 사항은 두 유형의 풀 간에 다릅니다. 차이점으로는 데이터베이스 개체, 쿼리 언어 기능, 보안, 도구, 데이터 액세스 및 데이터 형식이 있습니다. SQL 풀과 서버리스 풀을 자세히 비교하려면 풀 비교를 참조하세요. 각 유형의 풀을 사용할 때의 모범 사례는 전용 SQL 풀에 대한 모범 사례 및 서버리스 SQL 풀에 대한 모범 사례를 참조하세요.

Lakehouse는 Apache Parquet과 같은 개방형 직접 액세스 데이터 형식을 기반으로 합니다. 여기에는 기계 학습 및 데이터 과학에 대한 일류 지원이 포함됩니다. 델타 테이블은 Apache Spark DataFrame 읽기 및 쓰기 API에서 제공하는 대부분의 옵션을 지원하는 Delta Lake에 포함된 데이터의 보기입니다. Lakehouse는 데이터 부실, 안정성, 총 소유 비용 및 데이터 잠금과 같은 데이터 웨어하우스의 주요 문제를 해결하는 데 도움이 될 수 있습니다. Delta 테이블에서 자동 압축 및 적응형 쿼리 계획과 같은 최적화를 사용할 수 있습니다. Delta Lake에 대한 자세한 내용은 Delta Lake 가이드를 참조하세요.

자동 압축은 Delta 테이블의 자동 최적화를 위한 두 가지 보완 기능 중 하나입니다. 테이블에 쓰기가 성공한 후 자동 압축은 작은 파일 수가 가장 많은 파티션의 파일을 추가로 압축할 수 있습니다. 대기 시간을 분 단위로 추가할 수 있고 테이블에 OPTIMIZE 호출이 정기적으로 수행되지 않는 스트리밍 사용 사례에서는 자동 압축을 옵트인하는 것이 좋습니다. 자동 최적화 및 자동 압축에 대한 자세한 내용은 이 자동 최적화 가이드를 참조하세요.

Synapse Pipeline의 각 작업은 연결된 서비스 내에 지정된 자격 증명을 사용하여 실행됩니다.

현재는 불가능합니다.

몇 가지 차이점을 예로 들면 전역 매개 변수 지원, Data Flow에 대한 Data Flow용 Spark 작업 모니터링, Integration Runtime 공유가 있습니다. 자세한 내용은 이 문서에서 데이터 통합 - Synapse 및 ADF를 참조하세요.

이때 원래 파이프라인에서 JSON을 내보내고 Synapse 작업 영역으로 가져와서 Azure Data Factory 파이프라인 및 관련 아티팩트를 수동으로 다시 만들어야 합니다.

이 빠른 시작 가이드를 참조하세요.

이 사용 사례에는 두 가지 옵션이 있습니다. 한 가지 옵션은 파이프라인을 ADF에 유지하고 웹 작업을 래핑하는 것입니다. 이 옵션에 대한 자세한 내용은 이 웹 작업 가이드를 참조하세요. 다른 옵션은 파이프라인을 Synapse로 마이그레이션하는 것입니다. 두 번째 옵션에 대한 자세한 내용은 마이그레이션 코드 샘플을 참조하세요.

Synapse용 Apache Spark는 다른 서비스(Microsoft Entra ID, AzureML 등), 추가 라이브러리(mssparktuils, Hummingbird) 및 미리 튜닝된 성능 구성과의 통합에 대한 지원이 추가된 Apache Spark입니다.

현재 Apache Spark에서 실행 중인 모든 워크로드는 변경 없이 Azure Synapse용 Apache Spark에서 실행됩니다.

As of September 2023, Azure Synapse Apache Spark는 Spark 3.3을 완벽하게 지원합니다. 핵심 구성 요소 및 현재 지원되는 버전의 전체 목록은 Apache Spark 버전 지원을 참조하세요.

예, Azure Synapse Apache Spark는 mssparkutils 라이브러리를 제공합니다. 유틸리티에 대한 전체 설명서는 Microsoft Spark 유틸리티 소개를 참조하세요.

세션 매개 변수를 설정하려면 %%configure magic available을 사용합니다. 매개 변수를 적용하려면 세션을 다시 시작해야 합니다.

클러스터 수준 매개 변수를 설정하려면 Spark 풀에 대한 spark.conf 파일을 제공하면 됩니다. 그러면 이 풀에서 구성 파일의 이전 매개 변수를 허용합니다.

Azure Synapse는 특정 사용 사례를 위해 특별히 만든 엔진을 제공합니다. Synapse용 Apache Spark는 클러스터 모델이 아니라 작업 서비스로 설계되었습니다. 사용자가 다중 사용자 클러스터 모델을 요청하는 두 가지 시나리오가 있습니다.

시나리오 #1: 많은 사용자가 BI용 데이터를 제공하기 위해 클러스터에 액세스합니다.

이 작업을 수행하는 가장 쉬운 방법은 Spark를 사용하여 데이터를 준비한 다음, Synapse SQL에서 제공하는 기능을 활용하여 Power BI를 해당 데이터 세트에 연결하는 것입니다.

시나리오 #2: 여러 개발자를 단일 클러스터에 배치하여 비용을 절감합니다.

이 시나리오를 충족하려면 각 개발자에게 적은 수의 Spark 리소스를 사용하도록 설정된 서버리스 Spark 풀을 제공해야 합니다. 서버리스 Spark 풀은 비용이 전혀 들지 않으므로 여러 개발자가 있으면 적극적으로 사용할 때까지 비용을 최소화할 수 있습니다. 풀은 메타데이터(Spark 테이블)를 공유하므로 서로 쉽게 작업할 수 있습니다.

Spark 풀을 만드는 동안 Synapse 작업 영역 또는 Azure Portal에서 requirements.txt 파일을 통해 외부 패키지를 설치할 수 있습니다. Azure Synapse Analytics에서 Apache Spark용 라이브러리 관리를 참조하세요.

Synapse Spark의 MSSparkUtils는 사용자 경험을 향상시키고 다른 도구 및 서비스와 쉽게 통합할 수 있는 다양한 유틸리티를 제공합니다. 최소한의 수동 작업으로 파일 시스템 작업을 수행하고, 환경 변수를 가져오고, 노트북을 서로 연결하고, 비밀 작업을 수행할 수 있습니다. 전체 설명서는 Microsoft Spark 유틸리티를 참조하세요.

전용 SQL 풀(이전의 SQL DW)은 Azure PaaS(Platform-as-a-Service) 엔터프라이즈 데이터 웨어하우징 플랫폼입니다. 기존 전용 SQL 풀(이전의 SQL DW)을 쿼리하고, Azure Synapse 작업 영역에서 새 전용 SQL 풀을 만들 수도 있습니다. Azure Synapse 작업 영역에 있는 전용 SQL 풀의 모든 기능이 독립 실행형 전용 SQL 풀(이전의 SQL DW)에 적용되는 것은 아니며 그 반대의 경우도 마찬가지입니다. 자세한 내용은 Azure Synapse 전용 SQL 풀(이전의 SQL DW)과 Azure Synapse Analytics 작업 영역의 전용 SQL 풀의 차이점은?을 참조하세요. Azure Synapse 작업 영역 기능을 기존 전용 SQL 풀(이전의 SQL DW)에 사용하도록 설정하려면 작업 영역을 전용 SQL 풀(이전의 SQL DW)에 사용하도록 설정하는 방법을 참조하세요.

차이점에 대한 전체 목록은 Synapse SQL의 T-SQL 기능 차이점에서 찾을 수 있습니다.

"이동" 또는 "마이그레이션"은 필요하지 않습니다. 기존 풀에서 새 작업 영역 기능을 사용하도록 선택할 수 있습니다. 이렇게 하면 호환성이 손상되는 변경이 없고 Synapse Studio, Spark 및 서버리스 SQL 풀과 같은 새로운 기능을 사용할 수 있습니다. Azure Synapse 작업 영역에 있는 전용 SQL 풀의 모든 기능이 전용 SQL 풀(이전의 SQL DW)에 적용되는 것은 아니며 그 반대의 경우도 마찬가지입니다. 기존 전용 SQL 풀(이전의 SQL DW)에 대해 작업 영역 기능을 활성화하려면 전용 SQL 풀(이전의 SQL DW)에 작업 영역을 활성화하는 방법을 참조하세요.

기본적으로 모든 새 전용 SQL 풀이 작업 영역에 배포되지만, 필요한 경우 여전히 독립 실행형 폼 팩터에서 전용 SQL 풀(이전의 SQL DW)을 만들 수 있습니다.

관리형 가상 네트워크 유무에 관계없이 공용 네트워크에서 작업 영역에 연결할 수 있습니다. 자세한 내용은 연결 설정을 참조하세요. 공용 네트워크에서의 액세스는 공용 네트워크 액세스 기능이나 작업 영역 방화벽을 사용하도록 설정하여 제어할 수 있습니다. 또는 관리형 프라이빗 엔드포인트와 Private Link를 사용하여 작업 영역에 연결할 수 있습니다. Azure Synapse Analytics Managed Virtual Network가 없는 Synapse 작업 영역에는 관리형 프라이빗 엔드포인트를 통해 연결할 수 없습니다.

다음 단계

• Azure Synapse Analytics 시작
• 작업 영역 만들기
• 서버리스 SQL 풀 사용
• Azure Synapse Analytics 알려진 이슈
• Azure Synapse Analytics의 새로운 내용