프롬프트 흐름 개발

아티클
05/21/2024

Important

이 문서에 설명된 기능 중 일부는 미리 보기로만 제공될 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

프롬프트 흐름은 LLM(대규모 언어 모델)을 기반으로 하는 AI 애플리케이션의 전체 개발 주기를 간소화하도록 설계된 개발 도구입니다. 프롬프트 흐름은 AI 애플리케이션의 프로토타입 제작, 실험, 반복 및 배포 프로세스를 간소화하는 포괄적인 솔루션을 제공합니다.

프롬프트 흐름을 사용하면 다음을 수행할 수 있습니다.

시각화된 그래프를 통해 LLM, 프롬프트 및 Python 도구를 연결하는 실행 가능한 흐름을 오케스트레이션합니다.
흐름을 쉽게 테스트, 디버그 및 반복합니다.
프롬프트 변형을 만들고 각 변형의 성능을 비교합니다.

이 문서에서는 Azure AI 스튜디오에서 첫 번째 프롬프트 흐름을 만들고 개발하는 방법을 알아봅니다.

필수 조건

아직 Azure AI 스튜디오 프로젝트가 없다면 먼저 프로젝트를 만듭니다.
프롬프트 흐름에는 컴퓨팅 세션이 필요합니다. 런타임이 없는 경우 Azure AI 스튜디오에서 만들 수 있습니다.
배포된 모델이 필요합니다.

프롬프트 흐름 만들기 및 개발

갤러리에서 사용할 수 있는 샘플을 복제하거나 처음부터 흐름을 만드는 방식으로 흐름을 만들 수 있습니다. 로컬 또는 파일 공유에 이미 흐름 파일이 있는 경우 파일을 가져와 흐름을 만들 수도 있습니다.

Azure AI 스튜디오의 갤러리에서 프롬프트 흐름을 만들려면 다음을 수행합니다.

Azure AI 스튜디오에 로그인하고 프로젝트를 선택합니다.
축소 가능한 왼쪽 메뉴에서 프롬프트 흐름을 선택합니다.
+ 만들기를 선택합니다.
표준 흐름 타일에서 만들기를 선택합니다.
새 흐름 만들기 페이지에서 폴더 이름을 입력한 다음 만들기를 선택합니다.
프롬프트 흐름 작성 페이지가 열립니다. 이제 흐름 작성을 시작할 수 있습니다. 기본적으로 샘플 흐름이 표시됩니다. 이 흐름 예에는 LLM 및 Python 도구에 대한 노드가 있습니다.

참고 항목

시각화 전용 그래프 보기입니다. 여기에는 개발 중인 흐름 구조가 표시됩니다. 그래프 보기를 직접 편집할 수는 없지만 확대, 축소 및 스크롤할 수 있습니다. 그래프 보기에서 노드를 선택하여 도구 편집 보기에서 노드를 강조 표시하고 탐색할 수 있습니다.
필요에 따라 흐름에 더 많은 도구를 추가할 수 있습니다. 표시되는 도구 옵션은 LLM, 프롬프트 및 Python입니다. 더 많은 도구를 보려면 + 추가 도구를 선택합니다.
LLM 도구 편집기에서 연결 및 배포를 선택합니다.
실행을 선택하여 흐름을 실행합니다.
흐름 실행 상태가 실행 중으로 표시됩니다.
흐름 실행이 완료되면 출력 보기를 선택하여 흐름 결과를 봅니다.
출력 섹션에서 흐름 실행 상태 및 출력을 볼 수 있습니다.

흐름 작성

각 흐름은 ‘flow.dag.yaml’ 파일, 소스 코드 파일 및 시스템 폴더가 포함된 폴더로 나타냅니다. 새 파일을 추가하고, 기존 파일을 편집하고, 파일을 삭제할 수 있습니다. 로컬로 파일을 내보내거나 로컬에서 파일을 가져올 수도 있습니다.

플랫 보기에서 노드를 인라인 편집하는 것 외에도 원시 파일 모드 토글을 켜고 파일 열기 탭에서 파일 이름을 선택하여 파일을 편집할 수도 있습니다.

흐름 입력 및 출력

흐름 입력은 흐름 전체에 전달되는 데이터입니다. 이름과 형식을 지정하여 입력 스키마를 정의합니다. 각 입력의 입력 값을 설정하여 흐름을 테스트합니다. 나중에 ${input.[input name]} 구문을 사용하여 흐름 노드에서 흐름 입력을 참조할 수 있습니다.

흐름 출력은 흐름 전체에서 생성된 데이터로, 흐름 실행의 결과를 요약합니다. 흐름 실행 또는 일괄 실행이 완료된 후 출력 테이블을 보고 내보낼 수 있습니다. ${[node name].output} 구문 또는 ${[node name].output.[field name]}을 사용하여 흐름 단일 노드 출력을 참조하여 흐름 출력 값을 정의합니다.

노드를 함께 연결

노드 출력을 참조하여 노드를 함께 연결할 수 있습니다. 예를 들어 Python 노드 입력에서 LLM 노드 출력을 참조할 수 있으므로, Python 노드는 LLM 노드 출력을 사용할 수 있으며 그래프 보기에서는 두 노드가 함께 연결된 것을 볼 수 있습니다.

흐름에 조건부 제어 사용

프롬프트 흐름은 흐름을 실행하는 간소화된 방법뿐만 아니라 개발자를 위한 강력한 기능, 즉 사용자가 흐름에서 노드를 실행할 조건을 설정할 수 있는 조건부 제어라는 기능을 제공합니다.

조건부 제어의 핵심은 흐름의 각 노드를 활성화 구성 과 연결하는 기능을 제공합니다. 이 구성은 기본적으로 노드를 실행해야 하는 시기를 결정하는 "when" 문입니다. 이 기능의 힘은 특정 작업의 실행이 이전 작업의 결과에 따라 달라지는 복잡한 흐름이 있을 때 실현됩니다. 조건부 제어를 사용하여 지정된 조건이 충족되는 경우에만 특정 노드를 실행하도록 구성할 수 있습니다.

특히 노드 카드에서 활성화 구성 단추를 선택하여 노드에 대한 활성화 구성을 설정할 수 있습니다. "when" 문을 추가하고 조건을 설정할 수 있습니다. 흐름 입력 또는 노드 출력을 참조하여 조건을 설정할 수 있습니다. 예를 들어 ${input.[input name]} 조건을 특정 값으로 또는 ${[node name].output} 조건을 특정 값으로 설정할 수 있습니다.

조건이 충족되지 않으면 노드를 건너뜁니다. 노드 상태는 "무시됨"으로 표시됩니다.

흐름 테스트

다음 두 가지 방법으로 흐름을 테스트할 수 있습니다.

단일 노드를 실행합니다.
- 단일 노드를 실행하려면 플랫 보기의 노드에서 실행 아이콘을 선택합니다. 실행이 완료되면 노드 출력 섹션에서 결과를 빠르게 확인할 수 있습니다.
전체 흐름을 실행합니다.
- 전체 흐름을 실행하려면 오른쪽 상단의 실행 단추를 선택합니다.

테스트 결과 및 추적 보기(미리 보기)

전체 흐름 실행의 경우 흐름을 실행한 후 실행 배너에서 실행 상태를 확인할 수 있습니다. 그런 다음 추적 보기를 선택하여 추적을 봄으로써 결과를 확인하고 흐름 실행을 관찰할 수 있습니다. 여기서 전체 흐름과 각 노드의 입력 및 출력과 함께 디버깅을 위한 자세한 정보를 볼 수 있습니다. 실행 중 및 실행이 완료된 후에 사용할 수 있습니다.

추적 보기 이해

프롬프트 흐름의 추적 종류는 흐름으로 지정됩니다. 추적 보기 내에서 흐름 오케스트레이션에 사용되는 도구의 명확한 순서를 관찰할 수 있습니다.

흐름 루트 아래의 각 수준 2 범위는 함수 호출 형식으로 실행되는 흐름의 노드를 나타내므로 범위 종류는 함수로 식별됩니다. 범위 트리에서 각 노드 실행 기간을 확인할 수 있습니다.

범위 트리에서 LLM 호출은 LLM 범위로 쉽게 식별 가능합니다. 이는 LLM 호출 기간 및 관련 토큰 비용에 대한 정보를 제공합니다.

범위를 선택하시면 오른쪽에서 자세한 정보를 보실 수 있습니다. 여기에는 입력 및 출력, Raw Json 및 Exception이 포함되며 모두 관찰 및 디버깅에 유용합니다.

참고 항목

프롬프트 흐름 SDK에서 LLM, 함수, 포함, 검색, 흐름을 포함한 여러 범위 형식을 정의했습니다. 그리고 지정된 특성과 이벤트에 실행 정보가 포함된 범위를 시스템이 자동으로 만듭니다.

범위 형식에 대해 자세히 알아보려면 추적 범위를 참조하세요.

흐름 실행이 완료된 후 결과 확인을 위해 테스트 결과 보기 단추를 선택하면 목록에서 모든 실행 기록을 확인할 수 있습니다. 기본적으로 지난 7일 동안 만들어진 실행 기록이 표시됩니다. 필터를 선택하여 조건을 변경할 수 있습니다.

실행 기록의 이름을 선택하여 추적 보기에서 자세한 정보를 볼 수도 있습니다.

채팅 흐름 개발

채팅 흐름은 표준 흐름의 기능을 기반으로 빌드되고 채팅 입력/출력 및 채팅 기록 관리에 대한 향상된 지원을 제공하는 대화형 애플리케이션 개발을 위해 설계되었습니다. 채팅 흐름을 사용하면 채팅 입출력을 처리하는 챗봇을 쉽게 만들 수 있습니다.

채팅 흐름 작성 페이지에서는 표준 흐름 및 평가 흐름과 구분하기 위해 채팅 흐름에 "채팅" 레이블이 지정됩니다. 채팅 흐름을 테스트하려면 "채팅" 단추를 선택하여 대화용 채팅 상자를 트리거합니다.

채팅 입력/출력 및 채팅 기록

표준 흐름과 채팅 흐름을 구별하는 가장 중요한 요소는 채팅 입력, 채팅 기록 및 채팅 출력입니다.

채팅 입력: 채팅 입력은 사용자가 챗봇에 제출한 메시지나 쿼리를 의미합니다. 채팅 입력을 효과적으로 처리하는 것은 성공적인 대화를 위해 매우 중요합니다. 사용자 의도를 이해하고, 관련 정보를 추출하고, 적절한 응답을 트리거하는 작업이 포함되기 때문입니다.
채팅 기록: 채팅 기록은 사용자 입력과 AI 생성 출력을 모두 포함하여 사용자와 챗봇 간의 모든 상호 작용 기록입니다. 대화 내용을 추적하고 AI가 상황에 맞는 응답을 생성할 수 있도록 하려면 채팅 기록을 유지하는 것이 필수적입니다.
채팅 출력: 채팅 출력은 입력에 대한 응답으로 사용자에게 전송되는 AI 생성 메시지를 의미합니다. 상황에 맞게 적절하고 매력적인 채팅 결과를 생성하는 것은 긍정적인 사용자 환경을 위해 필수적입니다.

채팅 흐름에는 여러 입력이 있을 수 있지만 채팅 기록 및 채팅 입력은 채팅 흐름에서 필수입니다.

채팅 흐름 입력 섹션에서 흐름 입력을 채팅 입력으로 표시할 수 있습니다. 그러면 채팅 상자에 입력하여 채팅 입력 값을 채울 수 있습니다.

프롬프트 흐름은 사용자가 채팅 기록을 관리하는 데 도움이 될 수 있습니다. 입력 섹션의 chat_history는 채팅 기록을 표시하기 위해 예약되어 있습니다. 사용자 채팅 입력, 생성된 채팅 출력, 기타 흐름 입출력을 포함하여 채팅 상자의 모든 상호 작용은 자동으로 채팅 기록에 저장됩니다. 사용자는 입력 섹션에서 chat_history 값을 수동으로 설정할 수 없습니다. 이는 입출력 목록으로 구성됩니다.

[
{
    "inputs": {
    "<flow input 1>": "xxxxxxxxxxxxxxx",
    "<flow input 2>": "xxxxxxxxxxxxxxx",
    "<flow input N>""xxxxxxxxxxxxxxx"
    },
    "outputs": {
    "<flow output 1>": "xxxxxxxxxxxx",
    "<flow output 2>": "xxxxxxxxxxxxx",
    "<flow output M>": "xxxxxxxxxxxxx"
    }
},
{
    "inputs": {
    "<flow input 1>": "xxxxxxxxxxxxxxx",
    "<flow input 2>": "xxxxxxxxxxxxxxx",
    "<flow input N>""xxxxxxxxxxxxxxx"
    },
    "outputs": {
    "<flow output 1>": "xxxxxxxxxxxx",
    "<flow output 2>": "xxxxxxxxxxxxx",
    "<flow output M>": "xxxxxxxxxxxxx"
    }
}
]

참고 항목

채팅 기록을 자동으로 저장하거나 관리하는 기능은 채팅 상자에서 테스트를 수행할 때 작성 페이지에서 사용되는 기능입니다. 일괄 실행의 경우 사용자가 일괄 실행 데이터 세트 내에 채팅 기록을 포함해야 합니다. 테스트에 사용할 수 있는 채팅 기록이 없는 경우 일괄 실행 데이터 세트 내에서 chat_history를 빈 목록 []으로 설정하기만 하면 됩니다.

채팅 기록을 사용한 작성자 프롬프트

상황을 인식하고 매력적인 챗봇 응답을 만들려면 채팅 기록을 프롬프트에 통합하는 것이 필수적입니다. 프롬프트에서 chat_history를 참조하여 과거 상호 작용을 검색할 수 있습니다. 이를 통해 이전 입출력을 참조하여 상황에 맞는 응답을 만들 수 있습니다.

Jinja 언어의 for-loop 문법을 사용하여 chat_history의 입출력 목록을 표시합니다.

{% for item in chat_history %}
user:
{{item.inputs.question}}
assistant:
{{item.outputs.answer}}
{% endfor %}

채팅 상자로 테스트

채팅 상자는 챗봇과의 대화를 시뮬레이션하여 채팅 흐름을 테스트하는 대화형 방법을 제공합니다. 채팅 상자를 사용하여 채팅 흐름을 테스트하려면 다음 단계를 따릅니다.

"채팅" 단추를 선택하여 채팅 상자를 엽니다.
테스트 입력을 채팅 상자에 입력하고 Enter를 눌러 챗봇으로 보냅니다.
챗봇의 응답을 검토하여 상황에 맞게 적절하고 정확한지 확인합니다.
추적 보기를 통해 빠르게 관찰하고 디버깅할 수 있습니다.

다음을 통해 공유