Microsoft Fabric 파이프라인에서 SQL 엔드포인트 새로 고침 작업을 사용하면 오케스트레이션된 워크플로의 일부로 Lakehouse SQL 엔드포인트를 프로그래밍 방식으로 새로 고칠 수 있습니다. 이 방법을 사용하면 Power BI 보고서, Notebook 또는 외부 SQL 클라이언트와 같은 다운스트림 소비자가 데이터 준비 또는 유지 관리 단계가 완료된 후 최신 데이터를 볼 수 있습니다.
수동 새로 고침 또는 임시 프로세스에 의존하지 않고 SQL 엔드포인트가 최신 업데이트를 즉시 반영하도록 하려면 이 작업을 사용합니다. 파이프라인에서 이 활동을 사용할 때:
- Lakehouse 데이터를 업데이트하거나 유지 관리합니다(예: 복사 작업, Notebook 실행 또는 Lakehouse 유지 관리 작업 후).
- 최신 메타데이터 및 데이터 변경 내용을 반영하려면 Lakehouse SQL 엔드포인트가 필요합니다.
- 보고, 분석 또는 내보내기와 같은 다운스트림 단계 전에 결정적 새로 고침 타이밍이 필요합니다.
사전 요구 사항
이 작업을 사용하기 전에 다음을 확인합니다.
- 활성 구독이 있는 테넌트 계정. 무료로 계정을 만듭니다.
- Lakehouse가 있는 작업 영역
- Lakehouse에 대한 SQL 엔드포인트 가 있습니다.
- 파이프라인 ID(사용자 또는 서비스 주체)에는 SQL 엔드포인트를 새로 고칠 수 있는 권한이 있습니다.
UI에서 파이프라인에 SQL 엔드포인트 새로 고침 작업 추가
작업 영역에서 새 파이프라인을 만드세요.
파이프라인 활동 창에서 SQL 엔드포인트 새로 고침을 검색하고 선택하여 파이프라인 캔버스에 추가합니다.
아직 선택되지 않은 경우 캔버스에서 새 SQL 엔드포인트 새로 고침 작업을 선택합니다.
일반 설정 탭을 구성하려면 일반 설정 지침을 참조하세요.
SQL 엔드포인트 활동 설정 새로 고침
설정 탭을 선택하여 작업을 구성합니다.
연결 드롭다운에서 기존 연결을 선택하거나 새 연결을 만들고 구성 세부 정보를 지정하여 연결을 구성합니다.
Lakehouse가 포함된 작업 영역을 지정합니다.
구체화된 레이크 뷰의 새로 고침이 필요한 SQL 엔드포인트를 지정합니다. 이 SQL 엔드포인트는 새로 고치려는 Lakehouse의 SQL 엔드포인트입니다. 선택한 Lakehouse와 연결된 SQL 엔드포인트입니다.
활동 동작
작업 실행이 완료되면 다음을 수행합니다.
출력 팝업에 성공 상태가 표시되면 요청은 동기화되지 않은 데이터를 성공적으로 동기화합니다.
출력 팝업의 NotRun 상태는 SQL 엔드포인트의 새로 고침이 실행되지 않았음을 의미합니다. 이 조건은 일반적으로 마지막 동기화 이후 새 데이터를 추가하지 않았기 때문에 실행할 필요가 없다는 것을 의미합니다.
출력 팝업에 실패 상태가 표시되면 문제가 발생했습니다.
메모
작업 실행은 출력 팝업에서 이러한 상태를 설정합니다. 이러한 상태를 활동 상태 자체와 혼동하지 마세요.
일반적인 시나리오
- Notebook에서 변환된 데이터를 Lakehouse에 쓴 후 SQL 엔드포인트를 새로 고칩니다.
- 최적화 또는 진공 작업이 완료된 후 SQL 엔드포인트 새로 고침을 트리거합니다.
- 보고서 및 대시보드가 파이프라인의 잘 정의된 지점에서 가장 최근의 Lakehouse 상태를 쿼리하도록 합니다.
기본 데이터가 잠겨 있는 경우 SQL 엔드포인트 새로 고침이 실패하는 이유는 무엇인가요?
다른 프로세스가 기본 Lakehouse 데이터를 적극적으로 업데이트하면 SQL 엔드포인트 새로 고침 작업이 간헐적으로 실패할 수 있습니다. 이러한 프로세스에는 수집 파이프라인, Notebook 또는 동시 쓰기 작업이 포함됩니다.
이 오류는 SQL 엔드포인트가 새로 고침을 완료하기 위해 내부 잠금을 획득해야 하기 때문에 발생합니다. 다른 작업에서 데이터를 잠그면 요청 시간이 초과되거나 오류가 반환됩니다.
이 동작은 SQL 엔드포인트가 메타데이터 새로 고침 작업을 관리하는 방법을 기반으로 합니다.
Symptoms
- 작업은 일관되게 실패하지 않고 간헐적으로 실패합니다.
- 오류 메시지는 새로 고침 충돌 또는 잠금 경합을 나타냅니다.
- 여러 순차적 새로 고침 SQL 엔드포인트 작업이 있는 파이프라인은 더 높은 실패율을 표시합니다.
근본 원인
SQL 엔드포인트는 새로 고치는 동안 특정 메타데이터 구조에 대한 단독 액세스 권한이 필요합니다. 다른 컴퓨팅 프로세스가 Lakehouse에 동시에 쓰는 경우 잠금 경합이 발생합니다.
이 동작은 SQL 엔드포인트 새로 고침 작업의 결함이 아닙니다. 기본 데이터에 대한 동시 읽기 및 쓰기 작업의 자연스러운 결과입니다.
해결 방법
두 가지 실용적인 접근 방식은 이 문제를 완화할 수 있습니다.
처리 종료 시 SQL 엔드포인트 새로 고침 작업 하나만 사용
잠금 충돌 가능성을 줄이려면 파이프라인을 통합하여 다음을 수행합니다.
- 모든 수집, 변환 및 업데이트 작업이 먼저 실행됩니다.
- 그런 다음, 마지막에 SQL 엔드포인트 새로 고침 작업이 하나만 실행됩니다.
- 이 방법은 오류를 완전히 제거하지는 않지만 발생하는 빈도를 크게 줄입니다.
되풀이 새로 고침 일정 구현
시나리오에서 특정 순간에 엄격한 트랜잭션 일관성이 필요하지 않은 경우 되풀이 새로 고침 패턴을 채택합니다.
- 15분마다 새로 고침을 지속적으로 예약합니다. 잠금으로 인해 일부 새로 고침 시도가 실패할 수 있지만 SQL 엔드포인트를 비교적 최신 상태로 유지하기에 충분합니다.
이 접근 방식은 많은 분석 워크로드에 실용적이고 강력합니다.
파이프라인 저장 및 실행 또는 예약
파이프라인 편집기의 맨 위에 있는 홈 탭으로 전환하고 저장 단추를 선택하여 파이프라인을 저장합니다. 실행을 선택하여 직접 실행하거나 특정 시간 또는 간격으로 실행을 예약하도록 예약합니다. 파이프라인 실행에 대한 자세한 내용은 파이프라인 실행 예약을 참조하세요.
실행한 후에는 파이프라인 실행을 모니터링하고 캔버스 아래의 출력 탭에서 실행 기록을 볼 수 있습니다.
알려진 문제
- 다른 프로세스가 기본 Lakehouse 데이터를 적극적으로 업데이트할 때 SQL 엔드포인트 새로 고침 작업이 간헐적으로 실패할 수 있습니다. 해결 방법은 기본 데이터가 잠겨 있을 때 SQL 엔드포인트 새로 고침이 실패하는 이유 섹션을 참조하세요.