다음을 통해 공유

Foundry Local과 Open Web UI 통합

중요합니다

  • Foundry Local은 미리 보기로 제공됩니다. 공개 미리 보기 릴리스는 활성 배포 중인 기능에 대한 초기 액세스를 제공합니다.
  • 기능, 접근 방식 및 프로세스는 GA(일반 공급) 전에 기능이 변경되거나 제한될 수 있습니다.

이 자습서에서는 Foundry 로컬 및 Open Web UI를 사용하여 채팅 애플리케이션을 만드는 방법을 보여 줍니다. 완료되면 로컬 디바이스에서 완전히 실행되는 작업 채팅 인터페이스가 있습니다.

필수 조건

이 자습서를 시작하기 전에 다음이 필요합니다.

  • 컴퓨터에 설치된 Foundry Local입니다. Foundry Local 시작 가이드를 참조하여 설치 지침을 확인하세요.

채팅용 Open Web UI 설정

  1. Open Web UIGitHub 리포지토리의 지침에 따라 Open Web UI를 설치합니다.

  2. 터미널에서 다음 명령을 사용하여 Open Web UI를 시작합니다.

    open-webui serve

  3. 웹 브라우저를 열고 http://localhost:8080로 이동하세요.

  4. Open Web UI를 Foundry Local에 연결합니다.

    1. 탐색 메뉴에서 설정 선택
    2. 연결 선택
    3. 직접 연결 관리 선택
    4. 아이콘을 + 선택하여 연결 추가
    5. URL의 경우, PORT에 Foundry 로컬 엔드포인트의 포트를 입력하세요. 이 포트는 CLI 명령 foundry service status를 사용하여 찾을 수 있습니다. Foundry Local은 포트를 동적으로 할당하므로 항상 동일하지는 않습니다.
    6. API 키는 비워 둘 수 없으므로 API 키에 대한 모든 값(예: test)을 입력합니다.
    7. 연결 저장

  5. 모델과 채팅을 시작합니다.

    1. 로드된 모델이 맨 위 드롭다운에 표시됩니다.
    2. 목록에서 모델 선택
    3. 아래쪽의 입력 상자에 메시지를 입력합니다.

이것으로 끝입니다. 이제 로컬 디바이스에서 완전히 실행되는 AI 모델과 채팅하고 있습니다.

다음 단계