환경 설정은 데이터에 대한 파이프라인을 빌드하기 위한 첫 번째 단계입니다. 환경이 준비되면 샘플을 빠르고 쉽게 실행할 수 있습니다.
이 문서에서는 다음 단계를 수행하여 시작합니다.
Azure AI 서비스 리소스를 생성합니다
Foundry Tools에서 빅 데이터를 사용하려면 먼저 워크플로에 대한 Azure AI 서비스 리소스를 만듭니다. Foundry 도구에는 Azure에서 호스트되는 클라우드 서비스와 사용자가 관리하는 컨테이너화된 서비스의 두 가지 주요 유형이 있습니다. 더 간단한 클라우드 기반 Foundry 도구부터 시작하는 것이 좋습니다.
클라우드 서비스
클라우드 기반 Foundry 도구는 Azure에서 호스트되는 지능형 알고리즘입니다. 이러한 서비스는 학습하지 않고 사용할 수 있으며 인터넷에 연결하기만 하면 됩니다. Azure Portal 또는 Azure CLI를 사용하여 Foundry Tools에 대한 리소스를 만들 수 있습니다.
컨테이너화된 서비스(선택 사항)
애플리케이션 또는 워크로드에서 대규모 데이터 세트를 사용하거나 프라이빗 네트워킹이 필요하거나 클라우드에 연결할 수 없는 경우 클라우드 서비스와 통신하지 못할 수 있습니다. 이 경우 컨테이너화된 Foundry 도구에는 다음과 같은 이점이 있습니다.
낮은 연결: 온-클라우드 및 오프 컴퓨팅 환경에서 컨테이너화된 Foundry 도구를 배포할 수 있습니다. 애플리케이션이 클라우드에 연결할 수 없는 경우 애플리케이션에 컨테이너화된 Foundry 도구를 배포하는 것이 좋습니다.
낮은 대기 시간: 컨테이너 서비스에는 클라우드와의 왕복 통신이 필요하지 않으므로 응답이 훨씬 더 짧은 대기 시간으로 반환됩니다.
개인 정보 및 데이터 보안: 중요한 데이터가 네트워크를 떠나지 않도록 컨테이너 서비스를 개인 네트워크에 배포할 수 있습니다.
높은 스케일링 능력: 컨테이너 서비스에는 "요금 제한"이 없으며, 사용자 관리 컴퓨터에서 실행됩니다. 따라서 훨씬 더 큰 워크로드를 처리하기 위해 끝없이 Foundry 도구를 확장할 수 있습니다.
이 가이드에 따라 컨테이너화된 Microsoft Foundry 도구를 만듭니다.
Apache Spark 클러스터 만들기
Apache Spark™는 빅 데이터를 처리하도록 설계된 분산 컴퓨팅 프레임워크입니다. 사용자는 Azure Databricks, Azure Synapse Analytics, HDInsight 및 Azure Kubernetes Services와 같은 서비스를 사용하여 Azure에서 Apache Spark 작업을 수행할 수 있습니다. 빅 데이터 Foundry 도구를 사용하려면 먼저 클러스터를 만들어야 합니다. Spark 클러스터가 이미 있는 경우 예제를 자유롭게 사용해 보세요.
Azure Databricks
Azure Databricks는 한 번 클릭 설정, 간소화된 워크플로 및 대화형 작업 영역이 있는 Apache Spark 기반 분석 플랫폼입니다. 데이터 과학자, 엔지니어 및 비즈니스 분석가 간에 협업하는 데 자주 사용됩니다. Azure Databricks에서 빅 데이터 Foundry 도구를 사용하려면 다음 단계를 수행합니다.
SynapseML 오픈 소스 라이브러리(또는 레거시 애플리케이션을 지원하는 경우 MMLSpark 라이브러리)를 설치합니다.
Databricks 작업 영역에 새 라이브러리 만들기
SynapseML의 경우: 다음 maven 좌표(좌표:
com.microsoft.azure:synapseml_2.12:0.10.0리포지토리: 기본값) 입력MMLSpark(레거시)용: 다음 maven 좌표를 입력하세요 (Coordinates:
com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc3리포지토리:https://mmlspark.azureedge.net/maven)
클러스터에 라이브러리 설치
Azure Synapse Analytics(선택 사항)
필요에 따라 Synapse Analytics를 사용하여 Spark 클러스터를 만들 수 있습니다. Azure Synapse Analytics는 엔터프라이즈 데이터 웨어하우징과 빅 데이터 분석을 통합합니다. 서버리스 주문형 리소스 또는 프로비저닝된 리소스를 규모에 맞게 사용하여 데이터를 사용자의 용어로 자유롭게 쿼리할 수 있습니다. Azure Synapse Analytics 사용을 시작하려면 다음 단계를 수행합니다.
Azure Synapse Analytics에서 Foundry Tools에 대한 빅 데이터는 기본적으로 설치됩니다.
Azure Kubernetes Service
컨테이너화된 Foundry 도구를 사용하는 경우 컨테이너와 함께 Spark를 배포하는 데 가장 많이 사용되는 옵션 중 하나는 Azure Kubernetes Service입니다.
Azure Kubernetes Service를 시작하려면 다음 단계를 수행합니다.
샘플 사용해 보기
Spark 클러스터 및 환경이 설정되면 간단한 샘플을 실행할 수 있습니다. 이 샘플에서는 Azure Databricks 및 mmlspark.cognitive 패키지를 가정합니다.
synapseml.cognitive를 사용하는 예는 SynapseML을 사용하여 Apache Spark에서 AI 보강 데이터에 대한 검색 추가를 참조하세요.
먼저, Azure Databricks에서 Notebook을 만들 수 있습니다. 다른 Spark 클러스터 공급자의 경우 그들의 노트북이나 Spark Submit을 사용하세요.
Azure Databricks 메뉴에서 새 Notebook을 선택하여 새 Databricks Notebook을 만듭니다.
Notebook 만들기에서 이름을 입력하고 언어로 Python을 선택한 다음 이전에 만든 Spark 클러스터를 선택합니다.
만들기를 선택합니다.
이 코드 조각을 새 Notebook에 붙여넣습니다.
from mmlspark.cognitive import * from pyspark.sql.functions import col # Add your region and subscription key from the Language service service_key = "ADD-SUBSCRIPTION-KEY-HERE" service_region = "ADD-SERVICE-REGION-HERE" df = spark.createDataFrame([ ("I am so happy today, its sunny!", "en-US"), ("I am frustrated by this rush hour traffic", "en-US"), ("The Foundry Tools on spark aint bad", "en-US"), ], ["text", "language"]) sentiment = (TextSentiment() .setTextCol("text") .setLocation(service_region) .setSubscriptionKey(service_key) .setOutputCol("sentiment") .setErrorCol("error") .setLanguageCol("language")) results = sentiment.transform(df) # Show the results in a table display(results.select("text", col("sentiment")[0].getItem("score").alias("sentiment")))Azure Portal의 언어 리소스에 있는 키 및 엔드포인트 메뉴에서 지역 및 구독 키를 가져옵니다.
Databricks Notebook 코드의 지역 및 구독 키 자리 표시자를 리소스에 유효한 값으로 바꿉니다.
Notebook 셀의 오른쪽 위에서 재생 또는 삼각형 기호를 선택하여 샘플을 실행합니다. 필요에 따라 Notebook의 위쪽에서 모두 실행을 선택하여 모든 셀을 실행합니다. 대답이 테이블의 셀 아래에 표시됩니다.
예상 결과
| text | 감정 |
|---|---|
| 오늘 날씨가 화창해서 너무 행복해요! | 0.978959 |
| 나는 출퇴근 시간 교통 체증 때문에 좌절감을 느낀다. | 0.0237956 |
| 스파크의 파운드리 도구는 상당히 유용합니다. | 0.888896 |