다음을 통해 공유

AI 아키텍처 디자인

  • 아티클

AI는 기계가 지능형 인간의 행동을 모방할 수 있는 기술입니다. 머신은 AI를 사용하여 다음을 수행할 수 있습니다.

  • 데이터를 분석하여 이미지 및 비디오를 만듭니다.
  • 음성을 분석하고 합성합니다.
  • 자연스러운 방식으로 구두로 상호 작용합니다.
  • 예측을 수행하고 새 데이터를 생성합니다.

AI를 애플리케이션에 통합하여 기능을 수행하거나 기존 논리 또는 처리에서 효과적으로 처리할 수 없는 결정을 내릴 수 있습니다. 솔루션을 설계하는 설계자로서 AI 및 기계 학습 환경과 Azure 솔루션을 워크로드 디자인에 통합하는 방법을 이해하는 것이 중요합니다.

시작

Azure 아키텍처 센터는 시나리오에 적용할 수 있는 예제 아키텍처, 아키텍처 가이드, 아키텍처 기준 및 아이디어를 제공합니다. AI 및 기계 학습 구성 요소가 포함된 워크로드는 Azure Well-Architected Framework AI 워크로드 지침을 따라야 합니다. 이 지침에는 5가지 아키텍처 핵심 요소에서 AI 및 기계 학습 워크로드에 영향을 주는 원칙 및 디자인 가이드가 포함되어 있습니다. Azure 아키텍처 센터의 시나리오 및 콘텐츠에서 이러한 권장 사항을 구현해야 합니다.

AI 개념

AI 개념은 컴퓨터가 일반적으로 인간의 지능이 필요한 작업을 수행할 수 있도록 하는 다양한 기술 및 방법론을 포함합니다. 다음 섹션에서는 주요 AI 개념에 대한 개요를 제공합니다.

알고리즘

알고리즘 또는 기계 학습 알고리즘은 복잡한 데이터 세트에서 의미를 탐색하고 분석하며 찾는 데 도움이 되는 코드 조각입니다. 각 알고리즘은 컴퓨터가 특정 목표를 달성하기 위해 따를 수 있는 명확한 단계별 지침의 한정된 집합입니다. 기계 학습 모델의 목표는 인간이 예측을 수행하거나 정보를 분류하는 데 사용할 수 있는 패턴을 설정하거나 검색하는 것입니다. 알고리즘은 애완 동물이 고양이, 개, 물고기, 조류 또는 도마뱀인지 여부를 확인하는 방법을 설명 할 수 있습니다. 훨씬 더 복잡한 또 다른 알고리즘은 쓰기 또는 음성 언어를 식별하고, 해당 단어를 분석하고, 다른 언어로 번역한 다음, 번역에서 정확도를 확인하는 방법을 설명할 수 있습니다.

작업에 가장 적합한 알고리즘 패밀리를 선택합니다. 제품군 내의 다양한 알고리즘을 평가하여 워크로드에 적합한 알고리즘을 찾습니다. 자세한 내용은 기계 학습 알고리즘이란?.

기계 학습

기계 학습 은 알고리즘을 사용하여 예측 모델을 만드는 AI 기술입니다. 이러한 알고리즘은 데이터 필드를 구문 분석하고 데이터 내 패턴에서 "학습"하여 모델을 생성합니다. 그런 다음 모델은 새 데이터를 기반으로 정보에 입각한 예측 또는 결정을 내릴 수 있습니다.

예측 모델은 알려진 데이터에 대해 유효성을 검사하고 특정 비즈니스 시나리오에 대한 성능 메트릭으로 측정한 다음 필요에 따라 조정됩니다. 이러한 학습 및 유효성 검사 프로세스를 학습이라고 합니다. 주기적인 재학습을 통해 기계 학습 모델은 시간이 지남에 따라 개선됩니다.

워크로드 디자인에서 시나리오에 향후 상황을 예측하는 데 안정적으로 사용할 수 있는 과거 관찰이 포함된 경우 기계 학습을 사용할 수 있습니다. 이러한 관찰은 한 형태의 동물을 다른 동물에서 감지하는 컴퓨터 비전과 같은 보편적인 진실일 수 있습니다. 또는 이러한 관찰은 과거 보증 청구 데이터를 기반으로 어셈블리 라인에서 잠재적 어셈블리 실수를 감지하는 컴퓨터 비전과 같은 상황에 따라 다를 수 있습니다.

자세한 내용은 기계 학습이란?.

딥 러닝

딥 러닝 자체 데이터 처리를 통해 학습할 수 있는 기계 학습의 한 유형입니다. 기계 학습과 마찬가지로 알고리즘을 사용하여 데이터를 분석합니다. 그러나 많은 입력, 출력 및 처리 계층을 포함하는 인공 신경망을 통해 데이터를 분석합니다. 각 계층은 다른 방식으로 데이터를 처리할 수 있습니다. 한 계층의 출력은 다음 계층에 대한 입력이 됩니다. 이 프로세스를 통해 딥 러닝은 기존 기계 학습보다 더 복잡한 모델을 만들 수 있습니다.

딥 러닝에는 고도로 사용자 지정되거나 예비 모델을 생성하기 위해 많은 투자가 필요합니다. 워크로드에 딥 러닝을 추가하기 전에 이 문서의 다른 솔루션을 고려할 수 있습니다.

자세한 내용은 딥 러닝이란?.

생성 AI

생성 AI 자연어, 컴퓨터 비전, 오디오 또는 이미지 입력과 같은 다양한 형식의 콘텐츠를 기반으로 원본 콘텐츠를 생성하는 모델을 학습합니다. 생성 AI를 사용하면 일상적인 언어로 원하는 출력을 설명할 수 있으며, 모델은 적절한 텍스트, 이미지 및 코드를 만들어 응답할 수 있습니다. 생성 AI 애플리케이션의 예로는 Microsoft Copilot 및 Azure OpenAI Service가 있습니다.

  • Copilot 주로 코드, 문서 및 기타 텍스트 기반 콘텐츠를 작성하는 데 도움이 되는 사용자 인터페이스입니다. 인기 있는 OpenAI 모델을 기반으로 하며 광범위한 Microsoft 애플리케이션 및 사용자 환경에 통합됩니다.

  • Azure OpenAI o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo 및 Embeddings 모델 시리즈와 같은 OpenAI의 강력한 언어 모델에 대한 액세스를 제공하는 서비스로서의 개발 플랫폼입니다. 다음과 같은 특정 작업에 이러한 모델을 적용할 수 있습니다.

    • 콘텐츠 생성.
    • 콘텐츠 요약.
    • 이미지 이해.
    • 의미 체계 검색.
    • 자연어에서 코드 변환으로 변환합니다.

언어 모델

언어 모델은 텍스트 생성 및 감정 분석과 같은 자연어 처리 작업에 중점을 둔 생성 AI의 하위 집합입니다. 이러한 모델은 지정된 상황에서 발생하는 단어 또는 단어 시퀀스의 가능성을 기반으로 자연어를 나타냅니다.

기존 언어 모델은 특정 작업에 대해 잘 레이블이 지정된 텍스트 데이터 세트에 대해 모델을 학습하는 연구 목적으로 감독 설정에서 사용됩니다. 미리 학습된 언어 모델은 AI를 시작하는 액세스 가능한 방법을 제공합니다. 최근 몇 년 동안 더 널리 사용되고 있습니다. 이러한 모델은 딥 러닝 신경망을 통해 인터넷의 대규모 텍스트 컬렉션에서 학습됩니다. 특정 작업에 대해 더 작은 데이터 세트에 대해 미세 조정할 수 있습니다.

매개 변수 또는 가중치의 수는 언어 모델의 크기를 결정합니다. 매개 변수는 모델이 입력 데이터를 처리하고 출력을 생성하는 방법에 영향을 줍니다. 학습 중에 모델은 가중치를 조정하여 예측과 실제 데이터 간의 차이를 최소화합니다. 이 프로세스는 모델이 매개 변수를 학습하는 방법입니다. 모델에 매개 변수가 많을수록 더 복잡하고 표현적입니다. 그러나 학습하고 사용하는 데 계산 비용이 더 많이 듭니다.

일반적으로 작은 언어 모델에는 일반적으로 100억 개 미만의 매개 변수가 있으며 큰 언어 모델에는 100억 개 이상의 매개 변수가 있습니다. 예를 들어 Microsoft Phi-3 모델 패밀리에는 다음 세 가지 버전이 있습니다.

  • 미니, 38억 매개 변수
  • 70억 개의 작은 매개 변수
  • 중간, 140억 매개 변수

자세한 내용은 언어 모델 카탈로그참조하세요.

Copilot

언어 모델의 가용성은 디지털 부조종사 및 연결된 도메인별 에이전트를 통해 애플리케이션 및 시스템과 상호 작용하는 새로운 방법의 출현으로 이어졌습니다. 애플리케이션에 통합되는 생성형 AI 도우미이며, 종종 채팅 인터페이스로 사용됩니다. 이러한 애플리케이션에서 일반적인 작업에 대한 컨텍스트화된 지원을 제공합니다.

Microsoft Copilot 다양한 Microsoft 애플리케이션 및 사용자 환경과 통합됩니다. Microsoft가 아닌 개발자가 Copilot를 사용하여 사용자 환경을 확장하거나 사용자 지정하기 위해 자체 플러그 인을 만들 수 있는 개방형 아키텍처를 기반으로 합니다. 파트너 개발자는 동일한 개방형 아키텍처를 사용하여 자체 부조종사도 만들 수 있습니다.

자세한 내용은 다음 리소스를 참조하세요.

검색 기반 생성

RAG(검색 증강 세대) 공용 데이터에 대해서만 학습되는 ChatGPT와 같은 LLM(대규모 언어 모델)의 기능을 보강하는 아키텍처 패턴입니다. 이 패턴을 사용하여 컨텍스트에서 사용자 요청과 관련된 기초 데이터를 제공하는 검색 시스템을 추가할 수 있습니다. 정보 검색 시스템은 언어 모델이 응답을 작성할 때 사용하는 접지 데이터를 제어합니다. RAG 아키텍처를 사용하면 생성 AI를 벡터화된 문서, 이미지 및 기타 데이터 형식에서 제공하는 콘텐츠로 범위를 지정할 수 있습니다. RAG는 벡터 검색 스토리지로 제한되지 않습니다. 모든 데이터 저장소 기술을 사용할 수 있습니다.

자세한 내용은 RAG 솔루션 디자인 및 개발 및 벡터 검색Azure 서비스 선택을 참조하세요.

Azure AI 서비스

Azure AI 서비스통해 개발자와 조직은 미리 빌드되고 사용자 지정 가능한 API 및 모델을 사용하여 인텔리전트, 시장 준비 및 책임 있는 애플리케이션을 만들 수 있습니다. 사용 사례에는 대화, 검색, 모니터링, 번역, 음성, 비전 및 의사 결정에 대한 자연어 처리가 포함됩니다.

자세한 내용은 다음 리소스를 참조하세요.

AI 언어 모델

LLM(예: OpenAI GPT 모델)은 다양한 도메인 및 작업에서 자연어를 생성할 수 있는 강력한 도구입니다. 모델을 선택하려면 데이터 개인 정보 보호, 윤리적 사용, 정확도 및 바이어스와 같은 요소를 고려합니다.

Phi 개방형 모델은 생성 AI 솔루션을 위한 작고 컴퓨팅 집약적인 모델입니다. 작은 언어 모델은 LLM보다 더 효율적이고 해석 가능하며 설명이 가능할 수 있습니다.

워크로드를 디자인할 때, 사용량 기반 API 뒤에서 호스팅되는 솔루션으로 언어 모델을 사용할 수 있습니다. 또는 많은 소규모 언어 모델의 경우 프로세스 내 또는 적어도 소비자와 동일한 컴퓨팅에서 언어 모델을 호스트할 수 있습니다. 솔루션에서 언어 모델을 사용하는 경우 사용 사례에 최적화된 솔루션을 보장하는 데 도움이 되는 언어 모델 및 사용 가능한 호스팅 옵션을 고려합니다.

AI 개발 플랫폼 및 도구

다음 AI 개발 플랫폼 및 도구는 기계 학습 및 AI 모델을 빌드, 배포 및 관리하는 데 도움이 될 수 있습니다.

Azure Machine Learning

Azure Machine Learning은 모델을 빌드하고 배포하는 데 사용할 수 있는 기계 학습 서비스입니다. Machine Learning은 기계 학습 모델 및 파이프라인을 대규모로 학습시키고 배포할 수 있는 웹 인터페이스 및 SDK를 제공합니다. PyTorch, TensorFlow 및 scikit-learn과 같은 오픈 소스 Python 프레임워크와 함께 이러한 기능을 사용하세요.

자세한 내용은 다음 리소스를 참조하세요.

Azure용 기계 학습 참조 아키텍처

자동화된 기계 학습

AutoML(자동화된 기계 학습) 은 기계 학습 모델 개발의 시간이 오래 걸리고 반복적인 작업을 자동화하는 프로세스입니다. 데이터 과학자, 분석가 및 개발자는 AutoML을 사용하여 모델 품질을 유지하면서 확장성, 효율성 및 생산성이 높은 기계 학습 모델을 빌드할 수 있습니다.

자세한 내용은 다음 리소스를 참조하세요.

MLflow

Machine Learning 작업 영역은 MLflow와 호환되므로 MLflow 서버를 사용하는 것과 동일한 방식으로 Machine Learning 작업 영역을 사용할 수 있습니다. 이 호환성은 다음과 같은 이점을 제공합니다.

  • Machine Learning은 MLflow 서버 인스턴스를 호스트하지 않지만 MLflow API를 직접 사용할 수 있습니다.
  • Machine Learning에서 실행되는지 여부에 관계없이 모든 MLflow 코드에 대한 추적 서버로 Machine Learning 작업 영역을 사용할 수 있습니다. 추적이 수행되어야 하는 작업 영역을 가리키도록 MLflow를 구성해야 합니다.
  • 변경하지 않고 Machine Learning에서 MLflow를 사용하는 학습 루틴을 실행할 수 있습니다.

자세한 내용은 MLflow 및 Machine Learning 및 MLflow참조하세요.

생성 AI 도구

  • 프롬프트 흐름 아이디어, 프로토타입 생성, 테스트 및 평가에서 프로덕션 배포 및 모니터링에 이르기까지 생성 AI 애플리케이션의 엔드투엔드 개발 주기를 간소화하는 데 사용할 수 있는 개발 도구 모음입니다. 모듈식 오케스트레이션 및 흐름 엔진에서 작업을 표현하여 프롬프트 엔지니어링을 지원합니다.

  • azure AI Foundry 포괄적인 플랫폼을 사용하여 생성 AI 앱 및 API를 책임감 있게 실험, 개발 및 배포할 수 있습니다. AI Foundry 포털은 AI 모델을 빌드, 학습, 미세 조정 및 배포하는 데 도움이 되는 Azure AI 서비스, 기본 모델, 놀이터 및 리소스에 대한 액세스를 제공합니다. 성능 향상을 위해 모델 응답을 평가하고 프롬프트 흐름을 사용하여 프롬프트 애플리케이션 구성 요소를 오케스트레이션할 수도 있습니다.

  • Copilot Studio Microsoft 365에서 코필로트를 확장합니다. Copilot Studio를 사용하여 내부 및 외부 시나리오에 대한 사용자 지정 부조종사를 빌드할 수 있습니다. 포괄적인 제작 캔버스를 사용하여 부조종사를 디자인, 테스트 및 게시합니다. 생성된 AI 지원 대화를 쉽게 만들고, 기존 부조종사에 대한 응답을 보다 효율적으로 제어하고, 자동화된 워크플로를 사용하여 생산성을 높일 수 있습니다.

AI용 데이터 플랫폼

다음 플랫폼은 데이터 이동, 처리, 수집, 변환, 실시간 분석 및 보고를 위한 포괄적인 솔루션을 제공합니다.

Microsoft Fabric

Microsoft Fabric은 통합 솔루션이 필요한 엔터프라이즈를 위한 엔드 투 엔드 분석 및 데이터 플랫폼입니다. 패브릭 내의 데이터에 대한 액세스 권한을 워크로드 팀에게 부여할 수 있습니다. 플랫폼은 데이터 이동, 처리, 수집, 변환, 실시간 이벤트 라우팅 및 보고서 빌드를 다룹니다. 패브릭 데이터 엔지니어, 패브릭 데이터 팩터리, 패브릭 데이터 과학, 패브릭 Real-Time 인텔리전스, 패브릭 데이터 웨어하우스 및 패브릭 데이터베이스를 비롯한 포괄적인 서비스 제품군을 제공합니다.

패브릭은 별도의 구성 요소를 응집력 있는 스택에 통합합니다. 다른 데이터베이스 또는 Data Warehouse를 사용하는 대신 OneLake를 사용하여 데이터 스토리지를 중앙 집중화할 수 있습니다. AI 기능은 패브릭 내에 포함되어 있으므로 수동 통합이 필요하지 않습니다.

자세한 내용은 다음 리소스를 참조하세요.

패브릭의 부조종사

Copilot 및 기타 생성 AI 기능을 사용하여 데이터를 변환 및 분석하고, 인사이트를 생성하고, 패브릭 및 Power BI에서 시각화 및 보고서를 만들 수 있습니다. 사용자 고유의 부조종사 또는 다음 미리 빌드된 부조종사 중 하나를 선택할 수 있습니다.

패브릭의 AI 기술

패브릭 AI 기술 기능을 사용하여 생성 AI 시스템을 구성하여 데이터에 대한 질문에 답변하는 쿼리를 생성할 수 있습니다. AI 기술을 구성한 후 동료와 공유할 수 있으며, 동료는 간단한 언어로 질문을 할 수 있습니다. AI는 질문에 따라 해당 질문에 답변하는 데이터에 대한 쿼리를 생성합니다.

자세한 내용은 다음 리소스를 참조하세요.

AI용 Apache Spark 기반 데이터 플랫폼

Apache Spark는 메모리 내 처리를 지원하여 빅 데이터 분석 애플리케이션의 성능을 향상하는 병렬 처리 프레임워크입니다. Spark는 메모리 내 클러스터 컴퓨팅을 위한 기본 구성 요소를 제공합니다. Spark 작업은 데이터를 로드하고 메모리에 캐시하고 반복적으로 쿼리할 수 있으며, 이는 Hadoop과 같은 디스크 기반 애플리케이션보다 빠릅니다.

Microsoft Fabric의 Apache Spark

패브릭 런타임은 데이터 엔지니어링 및 데이터 과학 환경을 구현하고 관리할 수 있도록 하는 Apache Spark를 기반으로 하는 Azure 통합 플랫폼입니다. 패브릭 런타임은 포괄적인 솔루션을 제공하는 내부 및 오픈 소스 원본의 주요 구성 요소를 결합합니다.

패브릭 런타임에는 다음과 같은 주요 구성 요소가 있습니다.

  • Apache Spark 대규모 데이터 처리 및 분석 작업을 가능하게 하는 강력한 오픈 소스 분산 컴퓨팅 라이브러리입니다. Apache Spark는 데이터 엔지니어링 및 데이터 과학 환경을 위한 다재다능하고 고성능 플랫폼을 제공합니다.

  • Delta Lake 원자성, 일관성, 격리 및 ACID(내구성) 트랜잭션 및 기타 데이터 안정성 기능을 Apache Spark와 통합하는 오픈 소스 스토리지 계층입니다. Fabric 런타임 내에 통합된 Delta Lake는 데이터 처리 기능을 향상시키고 여러 동시 작업에서 데이터 일관성을 보장하는 데 도움이 됩니다.

  • java, Scala, Python 및 R 기본 수준 패키지는 다양한 프로그래밍 언어 및 환경을 지원하는 패키지입니다. 이러한 패키지는 자동으로 설치 및 구성되므로 개발자는 데이터 처리 작업에 기본 프로그래밍 언어를 적용할 수 있습니다.

패브릭 런타임은 다양한 하드웨어 구성 및 시스템 요구 사항과의 호환성을 보장하기 위해 강력한 오픈 소스 운영 체제를 기반으로 합니다.

자세한 내용은 Apache Spark 런타임 을(를) Fabric에서 참조하시기 바랍니다.

기계 학습을 위한 Azure Databricks Runtime

azure Databricks 원클릭 설정, 간소화된 워크플로 및 데이터 과학자, 엔지니어 및 비즈니스 분석가 간의 협업을 위한 대화형 작업 영역이 있는 Apache Spark 기반 분석 플랫폼입니다.

Databricks Runtime for Machine Learning 사용하여 분산 학습에 필요한 모든 라이브러리를 사용하여 Databricks 클러스터를 시작할 수 있습니다. 이 기능은 기계 학습 및 데이터 과학을 위한 환경을 제공합니다. TensorFlow, PyTorch, Keras 및 XGBoost를 비롯한 여러 인기 있는 라이브러리가 포함되어 있습니다. 또한 Horovod를 통한 분산 교육도 지원합니다.

자세한 내용은 다음 리소스를 참조하세요.

Azure HDInsight의 Apache Spark

Azure HDInsight의 Apache Spark는 Microsoft가 Apache Spark를 클라우드에서 구현한 것입니다. HDInsight의 Spark 클러스터는 Azure Storage 및 Azure Data Lake Storage와 호환되므로 HDInsight Spark 클러스터를 사용하여 Azure에 저장하는 데이터를 처리할 수 있습니다.

SynapseML(이전의 MMLSpark)는 Apache Spark용 Microsoft 기계 학습 라이브러리입니다. Spark 에코시스템에 많은 딥 러닝 및 데이터 과학 도구, 네트워킹 기능 및 프로덕션 등급 성능을 추가하는 오픈 소스 라이브러리입니다.

자세한 내용은 다음 리소스를 참조하세요.

AI용 데이터 스토리지

다음 플랫폼을 사용하여 대량의 데이터를 효율적으로 저장, 액세스 및 분석할 수 있습니다.

Fabric OneLake

패브릭의 OneLake는 전체 조직에 맞게 조정할 수 있는 통합되고 논리적인 데이터 레이크입니다. 모든 분석 데이터의 중앙 허브 역할을 하며 모든 패브릭 테넌트에 포함됩니다. 패브릭의 OneLake는 Data Lake Storage의 기초를 기반으로 합니다.

Fabric의 OneLake:

  • 구조적 및 비구조적 파일 형식을 지원합니다.
  • 모든 테이블 형식 데이터를 Delta-Parquet 형식으로 저장합니다.
  • 기본적으로 제어되는 테넌트 경계 내에 단일 데이터 레이크를 제공합니다.
  • 조직에서 소유권 및 액세스 정책을 배포할 수 있도록 테넌트 내에서 작업 영역 만들기를 지원합니다.
  • 데이터에 액세스할 수 있는 레이크하우스 및 웨어하우스와 같은 다양한 데이터 항목의 생성을 지원합니다.

자세한 내용은 OneLake, 데이터용 OneDrive를 참조하세요.

Data Lake Storage

Data Lake Storage는 구조화되고 구조화되지 않은 데이터를 저장할 수 있는 중앙 집중식 단일 리포지토리입니다. 데이터 레이크를 사용하여 단일 위치에 다양한 데이터를 빠르고 쉽게 저장, 액세스 및 분석할 수 있습니다. 기존 구조에 맞게 데이터를 준수할 필요가 없습니다. 대신 데이터를 원시 또는 네이티브 형식(일반적으로 파일 또는 이진 큰 개체 또는 Blob)으로 저장할 수 있습니다.

Data Lake Storage는 파일 시스템 의미 체계, 파일 수준 보안 및 크기를 제공합니다. 이러한 기능은 Azure Blob Storage를 기반으로 하므로 고가용성 및 재해 복구 기능이 있는 저비용 계층화된 스토리지도 얻을 수 있습니다.

Data Lake Storage는 Azure Storage의 인프라를 사용하여 Azure에서 엔터프라이즈 데이터 레이크를 빌드하기 위한 기반을 만듭니다. Data Lake Storage는 대량의 데이터를 관리할 수 있도록 수백 기가비트의 처리량을 유지하면서 여러 페타바이트의 정보를 처리할 수 있습니다.

자세한 내용은 다음 리소스를 참조하세요.

AI에 대한 데이터 처리

다음 도구를 사용하여 기계 학습 및 AI 애플리케이션에 대한 데이터를 준비할 수 있습니다. 고급 분석에 사용할 수 있도록 데이터가 정리되고 구조화되어 있는지 확인합니다.

패브릭 데이터 팩토리

Fabric Data Factory를 사용하여 데이터베이스, 데이터 웨어하우스, 레이크하우스 및 실시간 데이터 스트림과 같은 여러 데이터 원본에서 데이터를 수집, 준비 및 변환할 수 있습니다. 이 서비스는 워크로드를 디자인할 때 데이터 작업 요구 사항을 충족하는 데 도움이 될 수 있습니다.

Fabric Data Factory는 코드 솔루션 및 코드 없음 또는 하위 코드 솔루션을 지원합니다.

  • 데이터 파이프라인 사용하여 클라우드 규모로 워크플로 기능을 만듭니다. 끌어서 놓기 인터페이스를 사용하여 데이터 흐름을 새로 고치고, 페타바이트 크기 데이터를 이동하고, 제어 흐름 파이프라인을 정의할 수 있는 워크플로를 빌드합니다.

  • 데이터 흐름 하위 코드 인터페이스로 사용하여 수백 개의 데이터 원본에서 데이터를 수집하고 300개가 넘는 데이터 변환을 사용하여 변환합니다.

자세한 내용은 Data Factory 엔드 투 엔드 시나리오: 소개 및 아키텍처참조하세요.

Azure Databricks

Databricks Data Intelligence 플랫폼을 사용하여 기능 엔지니어링을 사용하여 기계 학습 워크플로를 만드는 코드를 작성할 수 있습니다. 기능 엔지니어링 기계 학습 모델을 학습하는 데 사용할 수 있는 기능으로 원시 데이터를 변환하는 프로세스입니다. Databricks Data Intelligence 플랫폼에는 기능 엔지니어링을 지원하는 주요 기능이 포함되어 있습니다.

  • 데이터 파이프라인은 원시 데이터를 수집하고, 피처 테이블을 만들고, 모델을 학습시키고, 배치 추론을 수행합니다. Unity 카탈로그에서 기능 엔지니어링을 사용하여 모델을 학습하고 기록하는 경우 모델은 기능 메타데이터로 패키지됩니다. 일괄 처리 채점 또는 온라인 추론에 모델을 사용하면 자동으로 기능 값이 검색됩니다. 호출자는 값에 대해 알 필요가 없으며 새 데이터의 점수를 매기기 위해 기능을 조회하거나 조인하는 논리를 포함할 필요가 없습니다.

  • 모델 및 기능 서비스 엔드포인트 즉시 액세스할 수 있으며 밀리초의 대기 시간을 제공합니다.

  • 모니터링 데이터 및 모델의 성능과 정확도를 보장하는 데 도움이 됩니다.

모자이크 AI 벡터 검색 사용하여 포함 항목을 저장하고 검색할 수도 있습니다. 포함은 RAG, 권장 시스템 및 이미지 인식과 같은 유사성 검색이 필요한 애플리케이션에 매우 중요합니다.

자세한 내용은 Azure Databricks: 기계 학습 및 AI위한 데이터 제공을 참조하세요.

AI용 데이터 커넥터

Azure Data Factory 및 Azure Synapse Analytics 파이프라인은 복사, 데이터 흐름, 조회, 메타데이터 가져오기 및 삭제 작업을 통해 많은 데이터 저장소 및 형식을 지원합니다. 사용 가능한 데이터 저장소 커넥터, 해당 구성을 포함한 지원되는 기능 및 일반 Open Database 연결 옵션을 보려면 azure Data Factory 및 Azure Synapse Analytics 커넥터 개요 참조하세요.

사용자 지정 AI

사용자 지정 AI 솔루션은 특정 비즈니스 요구 사항 및 과제를 해결하는 데 도움이 됩니다. 다음 섹션에서는 사용자 지정 AI 모델을 빌드하고 관리하는 데 사용할 수 있는 다양한 도구와 서비스에 대한 개요를 제공합니다.

Azure Machine Learning

Azure Machine Learning은 기계 학습 프로젝트 수명 주기를 가속화하고 간편하게 관리할 수 있는 클라우드 서비스입니다. 기계 학습 전문가, 데이터 과학자 및 엔지니어는 일상적인 워크플로에서 이 서비스를 사용하여 모델을 학습 및 배포하고 기계 학습 작업을 관리할 수 있습니다.

Machine Learning은 다음과 같은 기능을 제공합니다.

  • 알고리즘 선택: 일부 알고리즘은 데이터 구조 또는 원하는 결과에 대해 특정 가정을 합니다. 더 유용한 결과, 보다 정확한 예측 및 더 빠른 학습 시간을 얻을 수 있도록 요구 사항에 맞는 알고리즘을 선택합니다. 자세한 내용은 Machine Learning알고리즘을 선택하는 방법을 참조하세요.

  • 하이퍼 매개 변수 튜닝 또는 최적화 : 이 수동 프로세스를 사용하여 최상의 성능을 제공하는 하이퍼 매개 변수 구성을 찾을 수 있습니다. 이 최적화는 상당한 계산 비용을 발생합니다. 하이퍼 매개 변수 모델 학습 프로세스에서 제어를 제공하는 조정 가능한 매개 변수입니다. 예를 들어 숨겨진 계층의 수와 신경망의 각 계층에 있는 노드 수를 선택할 수 있습니다. 모델 성능은 하이퍼 매개 변수에 따라 크게 달라집니다.

    Machine Learning을 사용하여 하이퍼 매개 변수 튜닝을 자동화하고 동시에 실험을 실행하여 하이퍼 매개 변수를 효율적으로 최적화할 수 있습니다.

    자세한 내용은 다음 리소스를 참조하세요.

  • 모델 학습: 알고리즘을 반복적으로 사용하여 모델을 만들거나 학습할 수 있습니다. 모델을 학습한 후에는 모델을 사용하여 데이터를 분석하고 예측을 수행할 수 있습니다.

    학습 단계 중:

    1. 개별 필드를 식별할 수 있도록 알려진 데이터의 품질 집합에 태그가 지정됩니다.

    2. 특정 예측을 하도록 구성된 알고리즘은 태그가 지정된 데이터를 받습니다.

    3. 알고리즘은 데이터에서 식별된 패턴을 캡처하는 모델을 출력합니다. 모델은 매개 변수 집합을 사용하여 이러한 패턴을 나타냅니다.

    유효성 검사 중:

    1. 새 데이터는 태그가 지정되고 모델을 테스트하는 데 사용됩니다.

    2. 알고리즘은 필요에 따라 조정되며 더 많은 학습을 수행합니다.

    3. 테스트 단계에서는 태그나 미리 선택된 대상 없이 실제 데이터를 사용합니다. 모델의 결과가 정확하면 사용할 준비가 되었으며 배포할 수 있습니다.

    자세한 내용은 다음 리소스를 참조하세요.

  • AutoML: 이 프로세스는 기계 학습 모델 개발의 시간이 오래 걸리고 반복적인 작업을 자동화합니다. 프로덕션 준비 기계 학습 모델을 생성하는 데 걸리는 시간을 크게 줄일 수 있습니다. AutoML은 광범위한 프로그래밍 또는 도메인 지식 없이 모델 선택, 하이퍼 매개 변수 튜닝, 모델 학습 및 기타 작업을 지원할 수 있습니다.

    Machine Learning에서 지정된 대상 메트릭을 사용하여 모델을 학습하고 튜닝하도록 하려는 경우 AutoML을 사용할 수 있습니다. 문제에 대한 엔드 투 엔드 기계 학습 파이프라인을 식별하기 위해 데이터 과학 전문 지식이 필요하지 않습니다.

    산업 전반의 기계 학습 전문가 및 개발자는 AutoML을 사용하여 다음을 수행할 수 있습니다.

    • 광범위한 프로그래밍 또는 기계 학습 지식 없이 기계 학습 솔루션을 구현합니다.
    • 시간과 리소스를 절약합니다.
    • 데이터 과학 모범 사례를 적용합니다.
    • 민첩한 문제 해결을 제공합니다.

    자세한 내용은 AutoML이란?.

  • 채점:예측이라고도 하는 이 프로세스는 학습된 기계 학습 모델을 사용하여 새 입력 데이터를 기반으로 값을 생성합니다. 값 또는 점수는 이후 값의 예측을 나타낼 수 있지만 가능성이 있는 범주 또는 결과를 나타낼 수도 있습니다.

    자세한 내용은 다음 리소스를 참조하세요.

  • 기능 엔지니어링 및 기능화: 학습 데이터는 행과 열로 구성됩니다. 각 행은 관찰 또는 레코드이며 각 행의 열은 각 레코드를 설명하는 기능입니다. 일반적으로 데이터의 패턴을 가장 잘 특징화 하는 기능을 선택하여 예측 모델을 만듭니다.

많은 원시 데이터 필드를 사용하여 모델을 학습시킬 수 있지만 데이터의 패턴을 보다 잘 구분하기 위해 정보를 제공하는 다른 엔지니어링된 기능을 만들어야 할 수 있습니다. 이 프로세스를 기능 엔지니어링이라고 합니다. 여기서는 데이터에 대한 도메인 지식을 사용하여 기계 학습 알고리즘이 더 잘 학습하는 데 도움이 되는 기능을 만듭니다.

Machine Learning에서는 기능 엔지니어링을 더 쉽게 하기 위해 데이터 크기 조정 및 정규화 기술이 적용됩니다. 전체적으로 이러한 기술과 기능 엔지니어링은 AutoML 실험에서 기능화 호출됩니다. 자세한 내용은 자동화된 기계 학습의 데이터 특징화을 참조하세요.

Azure OpenAI

Azure OpenAI에서 미세 조정 알려진 프로세스를 사용하여 OpenAI 모델을 개인 데이터 세트에 맞게 조정할 수 있습니다. 이 사용자 지정 단계는 다음을 제공하여 서비스를 최적화합니다.

  • 와 비교하여 프롬프트 엔지니어링만으로 더 높은 품질의 결과를 얻을 수 있습니다.
  • 모델의 최대 요청 컨텍스트 제한보다 더 많은 예제를 학습하는 기능은 일반적으로 허용됩니다.
  • 프롬프트가 짧기 때문에 토큰이 절약됩니다.
  • 짧은 대기 시간 요청, 특히 더 작은 모델을 사용하는 경우.

자세한 내용은 다음 리소스를 참조하세요.

사용자 지정 AI를 위한 Azure AI 서비스

Azure AI 서비스 사용자 지정 AI 모델 및 애플리케이션을 빌드하는 기능을 제공합니다. 다음 섹션에서는 이러한 주요 기능에 대한 개요를 제공합니다.

사용자 지정 음성

사용자 지정 음성 은 Azure AI Speech Service의 기능입니다. 사용자 지정 음성을 사용하여 애플리케이션 및 제품에 대한 음성 인식의 정확도를 평가하고 향상시킬 수 있습니다. 실시간 음성 텍스트 변환, 음성 번역 및 일괄 처리 전사를 위해 사용자 지정 음성 모델을 사용합니다.

기본적으로 음성 인식은 유니버설 언어 모델을 기본 모델로 사용합니다. 이 모델은 Microsoft 소유의 데이터로 학습되며 일반적으로 사용되는 음성 언어를 반영합니다. 기본 모델은 다양한 일반 분야를 나타내는 방언 및 음성학적으로 미리 학습됩니다. 음성 인식 요청을 수행할 때 지원되는 언어에 대한 최신 기본 모델은 기본적으로 사용됩니다. 기본 모델은 대부분의 음성 인식 시나리오에서 잘 작동합니다.

사용자 지정 모델을 사용하여 기본 모델을 보강할 수 있습니다. 예를 들어 모델 학습을 위한 텍스트 데이터를 제공하여 애플리케이션과 관련된 도메인별 어휘의 인식을 향상시킬 수 있습니다. 참조 전사를 포함하여 오디오 데이터를 제공하여 애플리케이션의 특정 오디오 조건에 대한 인식을 향상시킬 수도 있습니다.

데이터가 패턴을 따르는 경우 구조적 텍스트를 사용하여 모델을 학습시킬 수 있습니다. 사용자 지정 발음을 지정하고 사용자 지정 역 텍스트 정규화, 사용자 지정 다시 쓰기 및 사용자 지정 욕설 필터링을 사용하여 표시 텍스트 서식을 사용자 지정할 수 있습니다.

사용자 지정 번역기

Custom TranslatorAzure AI Translator 서비스의 기능입니다. 엔터프라이즈, 앱 개발자 및 언어 서비스 공급자는 사용자 지정 번역기를 사용하여 사용자 지정 NMT(신경망 기계 번역) 시스템을 빌드할 수 있습니다. 사용자 지정된 번역 시스템은 중단 없이 기존 애플리케이션, 워크플로 및 웹 사이트에 통합됩니다.

이 기능을 사용하여 영어와 영어에서 사용자 지정 번역 시스템을 빌드하고 게시할 수 있습니다. 사용자 지정 번역기에서는 NMT의 언어에 직접 매핑되는 3개 이상의 언어를 지원합니다. 전체 언어 목록은 Translator 언어 지원참조하세요.

사용자 지정 번역기에서는 다음과 같은 기능을 제공합니다.

기능 설명
NMT 기술 적용 사용자 지정 번역기에서 NMT를 적용하여 번역을 개선합니다.
당신의 비즈니스 용어를 아는 시스템 구축 비즈니스 및 업계의 용어를 이해하는 병렬 문서를 사용하여 번역 시스템을 사용자 지정하고 빌드합니다.
사전을 사용하여 모델 빌드 학습 데이터 세트가 없는 경우 사전 데이터만 사용하여 모델을 학습시킵니다.
다른 사람과 공동 작업 다양한 사용자와 작업을 공유하여 팀과 공동 작업합니다.
사용자 지정 번역 모델에 액세스 Microsoft Translator Text API V3를 통해 기존 애플리케이션 또는 프로그램을 사용하여 언제든지 사용자 지정 번역 모델에 액세스합니다.

Azure AI Document Intelligence 사용자 지정 모델

Azure AI Document Intelligence 는 고급 기계 학습 기술을 사용하여 문서를 식별하고, 양식 및 문서에서 정보를 검색 및 추출하고, 추출된 데이터를 구조화된 JSON 출력으로 반환합니다. 문서 인텔리전스를 사용하여 미리 빌드되거나 미리 학습된 문서 분석 모델 또는 학습된 독립 실행형 사용자 지정 모델을 활용합니다.

문서 인텔리전스 사용자 지정 모델은 추출 모델을 호출하기 전에 문서 유형을 식별해야 하는 시나리오에 대한 사용자 지정 분류 모델을 포함할 있습니다. 분류 모델을 사용자 지정 추출 모델과 페어링하여 비즈니스와 관련된 양식 및 문서에서 필드를 분석하고 추출할 수 있습니다. 독립 실행형 사용자 지정 추출 모델을 결합하여 구성 모델을 만듭니다.

사용자 지정 AI 도구

미리 빌드된 AI 모델은 유용하고 점점 더 유연해지지만 AI를 최적화하는 가장 좋은 방법은 특정 요구 사항에 맞게 모델을 조정하는 것입니다. 사용자 지정 AI 모델을 만드는 두 가지 주요 도구는 생성 AI와 기존 기계 학습입니다.

Azure Machine Learning 스튜디오

Azure Machine Learning 스튜디오 기계 학습 프로젝트 수명 주기를 가속화하고 관리하기 위한 클라우드 서비스입니다. 기계 학습 전문가, 데이터 과학자 및 엔지니어는 일상적인 워크플로에서 이를 사용하여 모델을 학습 및 배포하고 기계 학습 작업을 관리할 수 있습니다.

  • 클라우드 규모의 대규모 AI 워크로드에 Spark 및 GPU를 비롯한 모든 유형의 컴퓨팅을 사용하여 Machine Learning 모델을 빌드하고 학습시킵니다.

  • AutoML을 실행하고 로우 코드 머신러닝을 위해 드래그 앤 드롭 UI를 사용합니다.

  • 엔드 투 엔드 Machine Learning 작업 및 반복 가능한 파이프라인을 구현합니다.

  • 바이어스 검색 및 오류 분석에 책임 있는 AI 대시보드를 사용합니다.

  • 프롬프트 엔지니어링 및 LLM 흐름을 오케스트레이션하고 관리합니다.

  • REST API 엔드포인트, 실시간 유추 및 일괄 처리 유추를 통해 모델을 배포합니다.

  • 허브 작업 영역을 사용하여 IT 거버넌스를 중앙 집중화하면서 컴퓨팅, 할당량, 보안 및 연결을 회사 리소스에 공유합니다. 허브를 한 번 설정한 다음 각 프로젝트에 대한 스튜디오에서 직접 보안 작업 영역을 만듭니다. 허브를 사용하여 스튜디오 및 AI Foundry 포털에서 팀의 작업을 관리합니다.

AI Foundry

AI Foundry 사용하면 광범위한 Azure AI 제품으로 사용자 지정 생성 AI 애플리케이션을 효율적으로 빌드하고 배포할 수 있습니다.

  • 하나의 팀으로 함께 빌드합니다. AI Foundry 허브는 미리 학습된 모델, 데이터 및 컴퓨팅에 대한 공유 리소스 및 연결을 포함하는 엔터프라이즈급 보안 및 공동 작업 환경을 제공합니다.

  • 원하는 대로 구성합니다. AI Foundry 프로젝트는 첫 번째 아이디어에서 첫 번째 프로토타입 및 첫 번째 프로덕션 배포로 반복할 수 있도록 상태를 저장하는 데 도움이 됩니다. 다른 사용자가 공동 작업하도록 쉽게 초대할 수 있습니다.

  • GitHub, Visual Studio Code, LangChain, 의미 체계 커널 및 AutoGen을 비롯한 기본 개발 플랫폼 및 프레임워크를 사용합니다.

  • 1,600개 이상의 모델을 살펴보고 벤치마킹합니다.

  • 서버리스 API 및 호스트된 미세 조정을 통해 MaaS(서비스로서의 모델)를 프로비전합니다.

  • 여러 모델, 데이터 원본 및 형식을 통합합니다.

  • 미세 조정 없이 보호된 엔터프라이즈 데이터를 사용하여 RAG를 빌드합니다.

  • 프롬프트 엔지니어링 및 LLM 흐름을 오케스트레이션하고 관리합니다.

  • 구성 가능한 필터 및 컨트롤을 통해 앱 및 API를 디자인하고 보호합니다.

  • 기본 제공 및 사용자 지정 평가 흐름을 사용하여 모델 응답을 평가합니다.

  • Azure 관리형 인프라에 AI 혁신을 배포하여 환경 전반에 걸쳐 지속적인 모니터링 및 거버넌스를 제공합니다.

  • 프로덕션 환경에서 보안, 품질 및 토큰 사용을 위해 배포된 앱을 지속적으로 모니터링합니다.

자세한 내용은 AI Foundry 포털과 Machine Learning Studio참조하세요.

AI Foundry 포털의 프롬프트 흐름

AI Foundry 포털에서 프롬프트 흐름은 LLM 기반 AI 애플리케이션의 전체 개발 주기를 간소화하는 데 사용할 수 있는 개발 도구입니다. 프롬프트 흐름은 AI 애플리케이션의 프로토타입 제작, 실험, 반복 및 배포 프로세스를 간소화하는 포괄적인 솔루션을 제공합니다.

  • 프롬프트 흐름은 흐름을 생성, 사용자 지정 또는 실행하는 데 사용할 수 있는 기능입니다.

  • 흐름은 AI 논리를 구현할 수 있는 명령 집합입니다. 미리 빌드된 캔버스 또는 LangChain과 같은 도구를 통해 흐름을 만들거나 실행합니다. 흐름의 반복을 자산으로 저장할 수 있습니다. 흐름을 배포하면 API가 됩니다. 모든 흐름이 프롬프트 흐름인 것은 아닙니다. 프롬프트 흐름은 흐름을 만드는 한 가지 방법입니다.

  • 프롬프트는 모델로 전송되는 입력 패키지입니다. 사용자 입력, 시스템 메시지 및 모든 예제로 구성됩니다. 사용자 입력은 채팅 창에 제출된 텍스트입니다. 시스템 메시지는 해당 동작 및 기능의 범위를 지정하는 모델에 대한 지침 집합입니다.

  • 샘플 흐름은 흐름의 작동 방식을 보여 주는 미리 빌드된 간단한 오케스트레이션 흐름입니다. 샘플 흐름을 사용자 지정할 수 있습니다.

  • 샘플 프롬프트는 라이브러리에서 복사하고 프롬프트 디자인에서 as-is 사용하거나 수정할 수 있는 특정 시나리오에 대해 정의된 프롬프트입니다.

사용자 지정 AI 코드 언어

AI의 핵심 개념은 알고리즘을 사용하여 데이터를 분석하고 모델을 생성하여 유용한 방식으로 설명하거나 점수를 매기는 것입니다. 개발자와 데이터 과학자, 때로는 다른 알고리즘은 프로그래밍 코드를 사용하여 알고리즘을 작성합니다. AI 개발을 위한 가장 인기 있는 프로그래밍 언어 중 두 가지는 Python과 R입니다.

Python은 범용 고급 프로그래밍 언어입니다. 가독성을 강조하는 간단하고 알아보기 쉬운 구문이 있습니다. 컴파일 단계가 없습니다. Python에는 대규모 표준 라이브러리가 있으며 모듈 및 패키지를 추가하는 기능을 지원합니다. 이 기능은 모듈성을 장려하고 필요할 때 기능을 확장할 수 있습니다. Azure의 많은 것을 포함하여 Python용 AI 및 기계 학습 라이브러리의 크고 성장하는 에코시스템이 있습니다.

자세한 내용은 다음 리소스를 참조하세요.

R 통계 컴퓨팅 및 그래픽을 위한 언어 및 환경입니다. 광범위한 소셜 및 마케팅 트렌드를 온라인으로 매핑하는 것부터 금융 및 기후 모델 개발에 이르기까지 모든 것에 사용할 수 있습니다.

Microsoft는 R 프로그래밍 언어를 완전히 수용하고 R 개발자가 Azure에서 코드를 실행할 수 있는 다양한 옵션을 제공합니다.

자세한 내용은 Machine Learning 대화형으로 R 사용참조하세요.

Azure의 사용자 지정 AI에 대한 일반적인 내용은 다음 리소스를 참조하세요.

고객 사례

많은 산업이 혁신적이고 고무적인 방식으로 AI를 적용합니다. 다음 고객 사례 연구 및 성공 사례를 고려합니다.

더 많은 AI 고객 사례 찾아보기

Microsoft AI에 대한 일반 정보

Microsoft AI에 대해 자세히 알아보고 관련 뉴스를 최신 상태로 유지하세요.

다음 단계