다음을 통해 공유

.NET의 포함

  • 아티클

포함은 LLM이 의미 체계 의미를 캡처하는 방법이며, LLM이 개념 간의 관계를 결정하는 데 사용할 수 있는 숫자가 아닌 데이터의 숫자 표현입니다. 포함을 사용하면 AI 모델이 입력의 의미를 이해할 수 있으므로 텍스트 요약 또는 텍스트 설명에서 이미지 만들기와 같은 비교 및 변환을 수행할 수 있습니다. LLM은 포함을 즉시 사용할 수 있으며 필요에 따라 벡터 데이터베이스에 포함을 저장하여 LLM에 대한 의미 체계 메모리를 제공할 수 있습니다.

포함의 사용 사례

이 섹션에는 포함의 주요 사용 사례가 나와 있습니다.

사용자 고유의 데이터를 사용하여 완성 관련성 향상

사용자 고유의 데이터베이스를 사용하여 데이터에 대한 포함을 생성하고 LLM과 통합하여 완성에 사용할 수 있도록 합니다. 포함을 이렇게 사용하는 것은 검색 증강 생성의 중요한 구성 요소입니다.

프롬프트에 넣을 수 있는 텍스트 양 늘리기

필요한 토큰 수를 늘리지 않고 포함을 사용하여 프롬프트에 넣을 수 있는 컨텍스트의 양을 늘립니다.

예를 들어 프롬프트에 500페이지의 텍스트를 포함하려는 경우를 가정해 보겠습니다. 이 정도의 원시 텍스트에 대한 토큰 수는 입력 토큰 제한을 초과하므로 프롬프트에 직접 포함할 수 없습니다. 포함을 사용하여 대량의 텍스트를 요약하고 하나의 입력에 맞을 수 있을 만큼 작은 조각으로 분류한 다음 각 조각과 전체 원시 텍스트의 유사성을 평가할 수 있습니다. 그런 다음, 원시 텍스트의 의미 체계적 의미를 가장 잘 보존하는 조각을 선택하고 토큰 제한에 도달하지 않으면서 프롬프트에서 사용할 수 있습니다.

텍스트 분류, 요약 또는 번역 수행

포함을 사용하여 모델이 텍스트의 의미와 컨텍스트를 이해한 다음 해당 텍스트를 분류, 요약 또는 번역하도록 할 수 있습니다. 예를 들어 포함을 사용하면 모델이 텍스트를 긍정 또는 부정, 스팸 또는 비스팸, 뉴스 또는 의견으로 분류하도록 할 수 있습니다.

오디오 생성 및 전사

오디오 포함을 사용하여 앱에서 오디오 파일 또는 입력을 처리합니다.

예를 들어 음성 서비스는 음성 텍스트 변환 및 텍스트 음성 변환을 포함하여 다양한 오디오 포함을 지원합니다. 오디오를 실시간으로 또는 일괄 처리로 처리할 수 있습니다.

텍스트를 이미지 또는 이미지를 텍스트로 변환

의미 체계 이미지 처리에는 대부분의 LLM이 생성할 수 없는 이미지 포함이 필요합니다. ViT 같은 이미지 포함 모델을 사용하여 이미지에 대한 벡터 포함을 만듭니다. 그런 다음 이미지 생성 모델과 함께 이러한 포함을 사용하여 텍스트로 이미지를 만들거나 수정할 수 있으며, 그 반대로도 가능합니다. 예를 들어 DALL·E 모델을 사용하여 로고, 얼굴, 동물 및 풍경과 같은 이미지를 생성할 수 있습니다.

코드 생성 또는 문서화

포함을 사용하면 다양한 코드 또는 텍스트 식을 공통 표현으로 변환하여 모델이 텍스트에서 코드를 생성하거나 그 반대로 생성하도록 할 수 있습니다. 예를 들어 포함을 사용하여 모델이 C# 또는 Python으로 코드를 생성하거나 문서화하도록 할 수 있습니다.

포함 모델 선택

숫자가 아닌 데이터를 벡터(긴 숫자 배열)로 인코딩할 수 있는 AI 인코딩 모델을 사용하여 원시 데이터에 대한 포함을 생성합니다. 또한 모델은 원본 원시 데이터와 동일하거나 유사한 의미를 가지는 숫자가 아닌 데이터로 포함을 디코딩할 수 있습니다. 사용할 수 있는 포함 모델은 여러 가지가 있으며, OpenAI의 text-embedding-ada-002 모델은 일반적으로 사용되는 모델 중 하나입니다. 자세한 예제는 Azure OpenAI에서 사용할 수 있는포함 모델 목록을 참조하세요.

벡터 데이터베이스에 포함 저장 및 처리

포함을 생성한 후에는 LLM에 대한 호출을 사용하여 나중에 검색할 수 있도록 저장하는 방법이 필요합니다. 벡터 데이터베이스는 벡터를 저장하고 처리하도록 설계되었으므로 포함을 저장하기에 적합한 공간입니다. 벡터 데이터베이스는 저마다 다양한 처리 기능을 제공하므로 원시 데이터 및 목표에 따라 하나를 선택해야 합니다. 옵션에 대한 자세한 내용은 사용 가능한 벡터 데이터베이스 솔루션을 참조하세요.

LLM 솔루션에 포함 사용

LLM 기반 애플리케이션을 빌드할 때 의미 체계 커널을 사용하여 포함 모델 및 벡터 저장소를 통합할 수 있으므로 텍스트 데이터를 빠르게 끌어오고 포함을 생성 및 저장할 수 있습니다. 이렇게 하면 벡터 데이터베이스 솔루션을 사용하여 의미 체계 기억을 저장하고 검색할 수 있습니다.

관련 콘텐츠