AI 도구 키트(AI 도구 키트 VS Code )는 앱 또는 클라우드에서 AI 모델을 다운로드, 테스트, 미세 조정 및 배포할 수 있는 확장입니다 VS Code . 자세한 내용은 AI 도구 키트 개요를 참조하세요.
AI 도구 키트의 주요 기능 중 하나는 프롬프트 작성기입니다. 프롬프트 작성기는 AI 모델에 대한 프롬프트를 만들고 편집하고 테스트하는 데 도움이 되는 도구입니다. 프롬프트를 작성하기 위한 사용자 친화적인 인터페이스를 제공하며 다음을 수행할 수 있습니다.
- 프롬프트 만들기, 편집 및 테스트
- AI 생성 프롬프트 만들기
- 미리 정의된 스키마를 사용하여 앱에 대한 구조화된 출력 생성
- 작업 영역의 쿼리 및 모델을 기반으로 하는 프롬프트 상호 작용을 위한 생성 코드
비고
추가 설명서 및 자습서는 VS Code AI 도구 키트에 대해 VS Code 설명서에서 사용할 수 있습니다: AI 도구 키트 for Visual Studio Code. Playground, AI 모델 작업, 로컬 및 클라우드 기반 모델 미세 조정 등에 대한 지침을 찾을 수 있습니다.
이 문서에서는 다음을 수행하는 방법을 알아봅니다.
- 로컬 Phi 3.5 Mini CPU 기반 SLM(소형 언어 모델) 다운로드, 로드 및 작업
- 로컬 모델을 사용하여 프롬프트 만들기, 편집 및 테스트
- 미리 정의된 스키마를 사용하여 구조화된 출력 만들기
- 제공된 프롬프트를 사용하여 모델을 실행하는 Python 코드 생성
필수 조건
- VS Code 를 설치해야 합니다. 자세한 내용은 다운로드 VS Code 및 시작하기를 참조하세요 VS Code.
AI 기능을 활용할 때, Windows의 "책임 있는 생성 AI 애플리케이션 및 기능을 개발하는" 지침
설치하다
AI 도구 키트 설치 지침에 대한 AI 도구 키트 시작 지침을 참조하세요.
로컬 모델 선택
이 섹션에서는 Phi 3.5 Mini CPU 기반 SLM 모델을 로드하는 방법을 알아봅니다. AI 도구 키트 VS Code 는 로컬 컴퓨터에서 실행되는 모델인 로컬 모델과 클라우드에서 호스트되는 클라우드 기반 모델을 지원합니다.
창 옆의 작업 표시줄에서 VS Code 아이콘을 선택하여 AI 도구 키트 보기를 엽니다.
AI 도구 키트 보기의 왼쪽 창에 있는 도구 섹션에서 프롬프트 작성기 항목을 선택합니다.
프롬프트 작성기 보기에서 모델 찾아보기 단추를 선택하여 모델 카탈로그를 엽니다.
모델 카탈로그에서 Phi 3.5를 검색합니다. Phi 3.5 Mini(CPU - 작고 빠르며 정확한) 모델은 ONNX 모델 섹션의 목록에 표시됩니다.
추가 단추를 선택하여 작업 영역에 모델을 추가합니다. 모델이 다운로드되어 왼쪽 창의 내 모델 섹션에 추가됩니다.
모델 다운로드가 완료되면 프롬프트 작성기 보기로 돌아갑니다.
시스템 프롬프트 텍스트 상자에 다음 프롬프트를 입력합니다.
You are a professor of marine biology at a respected university. Answer the following questions as best you can.사용자 프롬프트 텍스트 상자에 다음 프롬프트를 입력합니다.
Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.실행 단추를 선택하여 제공된 프롬프트를 사용하여 모델을 실행합니다.
모델은 제공된 프롬프트에 따라 응답을 생성합니다. 응답 텍스트 상자에 응답 이 표시됩니다.
결과를 구체화하려는 경우 다음과 같은 몇 가지 옵션이 있습니다.
- 시스템 프롬프트 또는 사용자 프롬프트를 편집하고 모델을 다시 쿼리합니다.
- 프롬프트 추가를 선택하여 사용자 프롬프트 텍스트 상자에 새 프롬프트를 추가합니다. 이렇게 하면 여러 프롬프트를 사용하여 더 복잡한 쿼리를 만들 수 있습니다.
- 응답을 도우미 프롬프트로 사용을 선택하여 모델의 동작을 안내하는 컨텍스트로 활용합니다.
- 원하는 결과를 얻을 때까지 위의 단계를 조합하여 반복합니다.
코드 보기 단추를 선택하여 제공된 프롬프트를 사용하여 모델을 실행하는 SDK를 사용하는 Python 코드를 생성합니다. 생성된 코드가 새 편집기 탭에 표시됩니다. 코드는 다음과 유사합니다.
"""Run this model in Python > pip install openai """ from openai import OpenAI client = OpenAI( base_url = "http://localhost:5272/v1/", api_key = "unused", # required for the API but not used ) response = client.chat.completions.create( messages = [ { "role": "system", "content": "You are a professor of marine biology at a university", }, { "role": "user", "content": [ { "type": "text", "text": "Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.", }, ], }, ], model = "Phi-3.5-mini-cpu-int4-awq-block-128-acc-level-4-onnx", max_tokens = 256, frequency_penalty = 1, ) print(response.choices[0].message.content)생성된 코드를 실행하려면 필요한 종속성이 설치되어 있는지 확인합니다. pip를 사용하여 필요한 종속성을 설치할 수 있습니다.
Python 환경에서 생성된 코드를 실행할 수 있습니다. Windows에서 Python을 설치하고 시작하는 방법에 대한 자세한 내용은 초보자를 위해 Windows에서 Python 사용 시작을 참조하세요.
프롬프트 작성기는 AI 모델에 대한 프롬프트를 만들고 구체화하기 위한 강력한 도구입니다. 이를 사용하여 프롬프트를 빠르게 반복하고 다양한 변형을 테스트하여 최상의 결과를 찾을 수 있습니다. 프롬프트 작성기 및 해당 기능에 대한 자세한 개요는 AI 도구 키트의 프롬프트 엔지니어링을 참조하세요.