Apache Spark 구성 관리

아티클
04/19/2023

이 자습서에서는 Synapse Studio에 대한 Apache Spark 구성을 만드는 방법을 알아봅니다. 생성된 Apache Spark 구성은 표준화된 방식으로 관리할 수 있으며 Notebook 또는 Apache Spark 작업 정의를 만들 때 Apache Spark 풀에서 사용할 Apache Spark 구성을 선택할 수 있습니다. 이 옵션을 선택하면 구성의 세부 정보가 표시됩니다.

Apache Spark 구성 만들기

기존 Spark 풀의 Apache Spark 구성 페이지와 같은 다양한 진입점에서 사용자 지정 구성을 만들 수 있습니다.

Apache Spark 구성에서 사용자 지정 구성 만들기

아래 단계에 따라 Synapse Studio에서 Apache Spark 구성을 만듭니다.

관리>Apache Spark 구성을 선택합니다.
새로 만들기 단추를 클릭하여 새 Apache Spark 구성을 만들거나 작업 영역으로 로컬 .json 파일 가져오기를 클릭합니다.
새로 만들기 단추를 클릭하면 새 Apache Spark 구성 페이지가 열립니다.
이름으로 원하는 유효한 이름을 입력할 수 있습니다.
설명으로 일부 설명을 입력할 수 있습니다.
주석의 경우 새로 만들기 단추를 클릭하여 주석을 추가할 수 있으며 삭제 단추를 선택하고 클릭하여 기존 주석을 삭제할 수도 있습니다.
구성 속성의 경우 추가 단추를 클릭하여 속성을 추가함으로써 구성을 사용자 지정합니다. 속성을 추가하지 않으면 Azure Synapse는 기본값(해당하는 경우)을 사용합니다.
계속 단추를 클릭합니다.
유효성 검사가 성공하면 만들기 단추를 클릭합니다.
모두 게시

참고 항목

Apache Spark 구성 업로드 기능이 제거되었지만 Synapse Studio는 이전에 업로드한 구성을 계속 유지합니다.

기존 Apache Spark 풀에 Apache Spark 구성 만들기

아래 단계에 따라 기존 Apache Spark 풀에서 Apache Spark 구성을 만듭니다.

기존 Apache Spark 풀을 선택하고 작업 “...” 단추를 클릭합니다.
콘텐츠 목록에서 Apache Spark 구성을 선택합니다.
Apache Spark 구성의 경우 드롭다운 목록에서 이미 만든 구성을 선택하거나 +새로 만들기를 클릭하여 새 구성을 만들 수 있습니다.
- +새로 만들기를 클릭하면 Apache Spark 구성 페이지가 열리고 Apache Spark 구성에서 사용자 지정 구성 만들기의 단계에 따라 새 구성을 만들 수 있습니다.
- 기존 구성을 선택하면 구성 세부 정보가 페이지 아래쪽에 표시되며 편집 단추를 클릭하여 기존 구성을 편집할 수도 있습니다.
구성 보기를 클릭하여 구성 선택 페이지를 엽니다. 모든 구성이 이 페이지에 표시됩니다. 이 Apache Spark 풀에서 사용하려는 구성을 선택할 수 있습니다.
적용 단추를 클릭하여 작업을 저장합니다.

Notebook의 구성 세션에서 Apache Spark 구성 만들기

Notebook을 만들 때 사용자 지정 Apache Spark 구성을 사용해야 하는 경우 아래 단계에 따라 구성 세션에서 만들고 구성할 수 있습니다.

새 Notebook을 만들거나 기존 Notebook을 엽니다.
이 Notebook의 속성을 엽니다.
구성 세션을 클릭하여 구성 세션 페이지를 엽니다.
구성 세션 페이지 아래로 스크롤하여 Apache Spark 구성에 대해 드롭다운 메뉴를 확장하고 새로 만들기 단추를 클릭하여 새 구성을 만들 수 있습니다. 또는 기존 구성을 선택합니다. 기존 구성을 선택하는 경우 편집 아이콘을 클릭하여 Apache Spark 구성 편집 페이지로 이동하여 구성을 편집합니다.
구성 보기를 클릭하여 구성 선택 페이지를 엽니다. 모든 구성이 이 페이지에 표시됩니다. 사용하려는 구성을 선택할 수 있습니다.

Apache Spark 작업 정의에서 Apache Spark 구성 만들기

Spark 작업 정의를 만들 때는 아래 단계에 따라 만들 수 있는 Apache Spark 구성을 사용해야 합니다.

새 Apache Spark 작업 정의를 만들거나 기존 Apache Spark 작업 정의를 엽니다.
Apache Spark 구성의 경우 새로 만들기 단추를 클릭하여 새 구성을 만들 수 있습니다. 또는 드롭다운 메뉴에서 기존 구성을 선택합니다. 기존 구성을 선택하는 경우 편집 아이콘을 클릭하여 Apache Spark 구성 편집 페이지로 이동하여 구성을 편집합니다.
구성 보기를 클릭하여 구성 선택 페이지를 엽니다. 모든 구성이 이 페이지에 표시됩니다. 사용하려는 구성을 선택할 수 있습니다.

참고 항목

Notebook 및 Apache Spark 작업 정의의 Apache Spark 구성이 특별한 작업을 수행하지 않는 경우 작업을 실행할 때 기본 구성이 사용됩니다.

Apache Spark 구성 가져오기 및 내보내기

세 가지 형식으로 .txt/.conf/.json 구성을 가져온 다음 아티팩트로 변환하여 게시할 수 있습니다. 또한 이 세 가지 형식 중 하나로 내보낼 수도 있습니다.

로컬에서 .txt/.conf/.json 구성을 가져옵니다.
.txt/.conf/.json 구성을 로컬로 내보냅니다.

.txt 구성 파일 및 .conf 구성 파일의 경우 다음 예를 참조할 수 있습니다.


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

.json 구성 파일의 경우 다음 예를 참조할 수 있습니다.

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

다음을 통해 공유