모델 LLM 도구 열기

아티클
03/08/2024

Open Model LLM 도구를 사용하면 Azure Machine Learning 프롬프트 흐름에서 자연어 처리를 위해 Falcon 및 Llama 2 와 같은 다양한 오픈 모델 및 기본 모델을 활용할 수 있습니다.

Visual Studio Code 프롬프트 흐름 확장에서 작동하는 방식은 다음과 같습니다. 이 예제에서는 도구가 LlaMa-2 채팅 엔드포인트를 호출하고 "CI란?"을 묻는 데 사용됩니다.

이 프롬프트 흐름 도구는 두 가지 LLM API 형식을 지원합니다.

채팅: 앞의 예제에 나와 있습니다. 채팅 API 유형은 텍스트 기반 입력 및 응답을 사용하여 대화형 대화를 용이하게 합니다.
완료: 완성 API 형식은 제공된 프롬프트 입력에 따라 단일 응답 텍스트 완성을 생성하는 데 사용됩니다.

빠른 개요: 모델 열기 LLM 도구를 사용할 어떻게 할까요? 있나요?

Azure Machine Learning 모델 카탈로그에서 모델을 선택하고 배포합니다.
모델 배포에 커넥트.
열린 모델 llm 도구 설정을 구성합니다.
프롬프트를 준비합니다.
흐름을 실행합니다.

필수 구성 요소: 모델 배포

Azure Machine Learning 모델 카탈로그에서 시나리오와 일치하는 모델을 선택합니다.
배포 단추를 사용하여 Azure Machine Learning 온라인 유추 엔드포인트에 모델을 배포합니다.
- 배포 옵션으로 이동하면서 결제 옵션 중 하나를 사용합니다.

자세한 내용은 추론을 위해 엔드포인트에 기본 모델 배포를 참조하세요.

필수 구성 요소: 모델에 커넥트

프롬프트 흐름이 배포된 모델을 사용하려면 해당 모델에 연결해야 합니다. 연결하는 방법에는 두 가지가 있습니다.

엔드포인트 연결

흐름이 Azure Machine Learning 또는 Azure AI Studio 작업 영역에 연결되면 모델 열기 LLM 도구는 해당 작업 영역의 엔드포인트를 사용할 수 있습니다.

Azure Machine Learning 또는 Azure AI Studio 작업 영역 사용: 웹 페이지 기반 브라우저 작업 영역 중 하나에서 프롬프트 흐름을 사용하는 경우 해당 작업 영역에서 자동으로 작동하는 온라인 엔드포인트를 사용할 수 있습니다.
먼저 VS Code 또는 코드 사용: VS Code 또는 Code First 제품 중 하나에서 프롬프트 흐름을 사용하는 경우 작업 영역에 연결해야 합니다. 모델 열기 LLM 도구는 권한 부여를 위해 azure.identity DefaultAzureCredential 클라이언트를 사용합니다. 한 가지 방법은 환경 자격 증명 값을 설정하는 것입니다.

사용자 지정 연결

모델 열기 LLM 도구는 Custom커넥트ion을 사용합니다. 프롬프트 흐름은 다음 두 가지 유형의 연결을 지원합니다.

작업 영역 연결 - Azure Machine Learning 작업 영역에 비밀로 저장되는 커넥트 이러한 연결을 사용할 수 있지만 여러 위치에서 일반적으로 생성되고 스튜디오 UI에 기본. Studio UI에서 사용자 지정 연결을 만드는 방법을 알아보려면 사용자 지정 연결을 만드는 방법을 참조하세요.
로컬 연결 - 컴퓨터에 로컬로 저장된 커넥트이온입니다. 이러한 연결은 Studio UX에서 사용할 수 없지만 VS Code 확장과 함께 사용할 수 있습니다. 로컬 사용자 지정 커넥트 만드는 방법을 알아보려면 로컬 연결을 만드는 방법을 참조하세요.

설정해야 하는 키는 다음과 같습니다.

endpoint_url
- 이 값은 이전에 만든 추론 엔드포인트에서 찾을 수 있습니다.
endpoint_api_key
- 비밀 값으로 설정해야 합니다.
- 이 값은 이전에 만든 추론 엔드포인트에서 찾을 수 있습니다.
model_family
- 지원되는 값: LLAMA, DOLLY, GPT2 또는 FALCON
- 이 값은 대상으로 하는 배포 유형에 따라 달라집니다.

도구 실행: 입력

모델 LLM 열기 도구에는 많은 매개 변수가 있으며, 그 중 일부는 필수입니다. 자세한 내용은 다음 표를 참조하세요. 시각적 명확성을 위해 이러한 매개 변수를 이전 스크린샷과 일치시킬 수 있습니다.

속성	형식	설명	필수
api	string	사용된 모델과 선택한 시나리오에 따라 달라지는 API 모드입니다. 지원되는 값: (완료 \| 채팅)	예
endpoint_name	string	지원되는 모델이 배포된 온라인 추론 엔드포인트의 이름입니다. 연결보다 우선합니다.	예
온도	float	생성된 텍스트의 임의성입니다. 기본값은 1입니다.	아니요
max_new_tokens	정수	완료 시 생성할 최대 토큰 수입니다. 기본값은 500입니다.	아니요
top_p	float	생성된 토큰에서 상위 선택 항목을 사용할 확률입니다. 기본값은 1입니다.	아니요
model_kwargs	사전	이 입력은 사용되는 모델과 관련된 구성을 제공하는 데 사용됩니다. 예를 들어 Llama-02 모델은 {"temperature":0.4}를 사용할 수 있습니다. 기본값{}:	아니요
deployment_name	string	온라인 추론 엔드포인트에서 대상으로 지정할 배포의 이름입니다. 값이 전달되지 않으면 추론 부하 분산 장치 트래픽 설정이 사용됩니다.	아니요
prompt	string	언어 모델이 응답을 생성하는 데 사용하는 텍스트 프롬프트입니다.	예

출력

API	반환 형식	설명
Completion	string	예상 완료 1개의 텍스트
채팅	string	대화에 대한 한 응답의 텍스트입니다.

온라인 엔드포인트에 배포

Open Model LLM 도구가 포함된 흐름을 온라인 엔드포인트에 배포하는 경우 권한을 설정하는 추가 단계가 있습니다. 웹 페이지를 통해 배포하는 동안 시스템 할당 ID 유형과 사용자 할당 ID 유형 중에서 선택할 수 있습니다. 어느 쪽이든 Azure Portal(또는 유사한 기능)을 사용하여 엔드포인트를 호스팅하는 Azure Machine Learning 작업 영역 또는 Ai Studio 프로젝트의 ID에 "읽기 권한자" 작업 함수 역할을 추가합니다. 프롬프트 흐름 배포를 새로 고쳐야 할 수 있습니다.

다음을 통해 공유