신생 기업에서 Azure AI 서비스를 사용하는 방법에 대한 질문과 대답입니다.
GitHub에서 초보자 를 위한 생성 AI 과정을 확인하세요. 모든 주요 Azure OpenAI 기능을 소개하고 이를 사용하여 애플리케이션을 빌드하는 방법을 보여 주는 18단원 명령 집합입니다.
Azure AI Studio를 사용하여 Azure OpenAI 모델 배포 및 con텐트 모드ration Services 적용을 비롯한 다양한 AI 기능을 테스트합니다.
다른 Azure OpenAI 모델은 다른 지역으로 제한됩니다. 전체 목록은 모델 가용성 테이블을 참조하세요.
스트리밍 기능을 사용하지 않는 한 미치는 영향은 최소화됩니다. 모델 자체 응답의 대기 시간은 지역 차이보다 대기 시간에 훨씬 더 큰 영향을 줍니다.
전용 Azure OpenAI 서버와 종량제 요금제 사용을 선택하는 것도 성능에 더 큰 영향을 줍니다.
할당량 제한의 작동 방식 및 관리 방법을 이해하려면 Azure OpenAI 서비스 할당량 관리를 참조하세요.
종량제 모델(가장 일반적인 모델)을 사용하는 고객의 경우 Azure OpenAI 서비스 할당량 관리 페이지를 참조하세요. 전용 Azure OpenAI 서버를 사용하는 고객의 경우 관련 가이드의 할당량 섹션 을 참조하세요.
고급 아키텍처에서 여러 Azure OpenAI 배포를 결합하여 더 많은 사용자에게 분당 더 많은 토큰을 제공하는 시스템을 빌드하는 것이 좋습니다.
잘 정의되고 예측 가능한 처리량 요구 사항이 있는 경우 종량제에서 프로비전된 처리량으로 전환하는 것이 좋습니다. 일반적으로 애플리케이션이 프로덕션에 대해 준비되었거나 프로덕션에 이미 배포되어 예상 트래픽을 이해하는 경우입니다. 이를 통해 사용자는 필요한 용량을 정확하게 예측하고 예기치 못한 비용이 청구되는 것을 방지할 수 있습니다.
애플리케이션에 대한 부하 분산 장치를 만듭니다.
종량제 모델을 사용하는 경우 부하 분산 샘플을 참조하세요. 전용 Azure OpenAI 서버를 사용하는 경우 부하 분산에 대한 자세한 내용은 PTU 가이드를 참조하세요.
Azure AI Studio에서 프롬프트 흐름을 사용하여 온라인 배포를 만듭니다. 그런 다음 양식 편집기 또는 JSON 편집기에서 값을 입력하여 테스트합니다.
위험 및 안전 메트릭 추적에 대한 정보와 다양한 응답 품질 메트릭은 평가 및 모니터링 메트릭 가이드를 참조하세요.
Azure OpenAI Studio의 모니터링 기능을 사용합니다. 시간이 지남에 따라 모델의 성능 메트릭을 추적하는 대시보드를 제공합니다.
인공 지능 및 Machine Learning 기술 커뮤니티 포럼을 참조하세요.
자세한 내용은 Microsoft for Startups를 참조 하세요.