실시간 추론을 위한 추론 로그 자동 캡처¶

Snowflake ML에서 자동 캡처를 사용하여 모델 서비스에서 처리한 모든 요청과 응답을 자동으로 기록합니다. 자동 캡처는 요청 성공, 요청 실패, 예기치 않은 예측 이면의 입력에 대한 즉각적인 가시성을 제공합니다.

요청 또는 응답 데이터를 테이블이나 뷰로 파이프하는 대신 추론 요청 및 응답 데이터를 자동으로 유지할 수 있습니다. 데이터 수집 및 모니터링을 위해 파이프라인을 올바르게 생성할 필요 없이 자동 캡처를 사용할 수 있습니다.

자동 캡처를 사용하면 다음을 수행할 수 있습니다.

• 신속한 디버그: 과거 추론 데이터를 분석하여 극단적인 사례를 진단하고 모델 동작을 이해합니다.

• 모델을 지속적으로 개선: 실제 프로덕션 데이터를 통해 고품질 데이터 세트를 생성하여 새 모델을 학습시킵니다.

• 테스트: 로그에서 수집된 데이터를 A/B 테스트 및 섀도우 테스트에 사용합니다.

각 추론 요청에 대해 자동 캡처는 다음을 기록합니다.

• 요청 페이로드

• 응답 페이로드

• 모델 버전 식별자

• 서비스 식별자

• 게이트웨이 라우팅 메타데이터

• 요청 및 응답 타임스탬프

• 응답 코드(예: 200)

이 데이터는 읽기 전용이며 사용자가 수정할 수 없습니다.

Snowflake는 성공적인 요청에 대한 응답 데이터만 캡처합니다. 요청이 실패하면 Snowflake는 데이터를 캡처하지 않습니다.

전제 조건 및 모델 버전 호환성¶

다음 섹션에서는 자동 캡처의 전제 조건과 모델 버전 호환성에 대해 설명합니다.

CREATE [ OR REPLACE ] MODEL [ IF NOT EXISTS ] <name> [ WITH VERSION <version_name> ]
FROM MODEL <source_model_name> [ VERSION <source_version_or_alias_name> ]

자동 캡처 활성화¶

새 모델을 생성하거나 기존 모델을 복제한 후 Python SDK를 사용하여 모델 서비스에 대해 자동 캡처를 활성화합니다. 모델 서비스에 대한 자세한 내용은 실시간 추론을 위한 모델 배포(REST API) 섹션을 참조하세요.

다음 Python 코드를 사용하여 자동 캡처를 활성화합니다.

mv.create_service(
    service_name="my_service",
    service_compute_pool="my_compute_pool",
    autocapture=True
)

mv 변수는 모델 버전 오브젝트입니다. 모델 레지스트리에 모델을 기록할 때 정의했습니다.

자동 캡처의 기본값은 :code:`False`입니다. 2026년 1월 23일 이후에 생성하고 모델 레지스트리에 기록한 모델에 대해 자동 캡처를 활성화해야 합니다. 그렇지 않은 경우 모델에 추론 테이블이 없으므로 서비스 생성이 실패합니다.

추론 데이터 쿼리¶

로그에 액세스하려면 INFERENCE_TABLE 함수를 사용합니다. 이 함수는 모델에 대한 추론 로그를 반환하고 버전, 서비스, 게이트웨이별 필터링을 지원합니다. 모델 소유자만 게이트웨이 및 서비스에 대한 USAGE 권한이 있는 경우 데이터를 볼 수 있습니다.

-- Fetch all inference logs for a specific model
SELECT * FROM TABLE(INFERENCE_TABLE('my_model'));

SELECT * FROM TABLE(
INFERENCE_TABLE(
'MY_MODEL',
VERSION => 'V1',
SERVICE => 'MY_PREDICTION_SERVICE',
GATEWAY => 'MY_GATEWAY'
)
);

WHERE RECORD_ATTRIBUTES:"snow.model_serving.function.name" = 'predict'

SELECT *
FROM TABLE(
  INFERENCE_TABLE('my_model')
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    SERVICE => 'my_service'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    GATEWAY => 'my_gateway'
  )
);

데이터 스키마 및 메타데이터¶

Snowflake는 성공적인 요청에 대한 응답 데이터만 캡처합니다. 요청이 실패하면 Snowflake는 데이터를 캡처하지 않습니다.

캡처되는 레코드 특성은 다음과 같습니다.

데이터 잘림 논리¶

시스템 성능을 유지하기 위해 각 추론 이벤트에 대해 1MB의 제한이 있습니다. 요청과 응답이 제한에 도달하면 Snowflake는 다단계 잘림 프로세스를 적용하여 최대한 많은 유용성을 유지합니다.

다음 테이블은 잘림 프로세스를 보여줍니다.

*콘텐츠 축소 후 메타데이터만 임계값을 초과하면 3단계가 발생합니다.

Limits¶

자동 캡처를 사용할 때는 다음 제한 사항과 고려 사항에 유의하세요.

• LLM 지원**: 대규모 언어 모델(LLMs)에는 자동 캡처가 지원되지 않습니다.

• 처리량: 자동 캡처는 시스템이 서비스당 약 300~400개/초의 요청(또는 10MB/s)을 처리하도록 설계되었습니다.

• 복제 추론 테이블을 복제할 수 없습니다. 복제된 모델에는 대상 계정에 추론 테이블이 없습니다.

• 보존: 서비스 또는 게이트웨이가 삭제되더라도 추론 데이터는 유지됩니다.

• 경고: 모델 오브젝트를 삭제하면 연결된 모든 추론 데이터가 영구적으로 삭제됩니다.

• 기준값: 드리프트 분석을 수행하려면 별도의 기준값 테이블을 유지하고 공통 요청 IDs를 사용하여 INFERENCE_TABLE 출력과 조인합니다.

• 컨슈머 계정: 컨슈머 계정은 추론 테이블이 있는 공유 모델에 대해 자동 캡처가 활성화된 서비스를 생성할 수 없습니다.

• 성능: 자동 캡처는 추론 요청에 대기 시간을 추가하지 않도록 설계되었습니다. 그러나 요청 볼륨이 매우 높은 기간에는 일부 캡처가 삭제될 수 있습니다.

스키마¶

이 기능의 일부로, 다음 값이 각 열에 추가됩니다.