Streamlit in Snowflake 에 대한 로깅 및 추적¶

Python의 로깅 모듈¶

Python의 기본 제공 logging 모듈을 사용하여 앱에서 로그 메시지를 내보냅니다. 다음 예제에서는 표준 출력에 대한 INFO 수준 이상의 메시지를 작성하는 로거를 구성합니다.

import logging
import sys

logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s %(levelname)s %(name)s: %(message)s",
    stream=sys.stdout,
)

LOGGER = logging.getLogger("my_app")

Python에는 가장 덜 심각한 수준에서 가장 심각한 수준의 순서대로 다음과 같은 로깅 수준이 있습니다.

• DEBUG

• INFO

• WARNING

• ERROR

수준을 INFO로 설정하면 INFO, WARNING, ERROR 메시지는 캡처되지만 DEBUG 메시지는 캡처되지 않습니다.

로거를 구성한 후 로거를 사용하여 앱 코드 전체에서 메시지를 로깅할 수 있습니다. 별도의 모듈에서 로거를 정의한 다음 앱 코드로 가져오는 것이 일반적입니다.

source_directory/
├── my_logger.py
├── pyproject.toml
└── streamlit_app.py

import streamlit as st
from my_logger import LOGGER

LOGGER.info("Home page loaded")
st.title("My App")

if st.button("Run analysis"):
    LOGGER.info("Analysis button clicked")
    try:
        result = run_analysis()
        LOGGER.info("Analysis completed successfully")
    except Exception as e:
        LOGGER.error("Analysis failed: %s", e)
        st.error("Analysis failed: %s", e)

Snowsight 의 라이브 로그인¶

Snowsight 에서 Container Runtime 앱을 편집할 때 편집기 아래에 로그 창이 나타납니다. 이 창은 앱에서 로그 메시지를 내보낼 때 실시간으로 로그 메시지를 스트리밍합니다. 처음 연결할 때 가장 최근 로그의 짧은 기록이 표시됩니다.

각 로그 항목에는 다음 정보가 표시됩니다.

사용 가능한 라이브 로그 작업¶

로그 창의 오른쪽 상단에서 로그를 검색하고 필터링하여 필요한 정보를 찾는 데 도움이 될 수 있습니다. 여기에는 텍스트 검색, 소스별 필터링, 심각도 수준별 필터링이 포함됩니다. 점 3개 메뉴에서 현재 로그를 다운로드하거나 과거 로그로 이동하거나 라이브 로깅 창을 지울 수 있습니다. 창을 지우면 현재 로그가 현재 뷰에서 삭제되지만 이벤트 테이블에서는 삭제되지 않습니다. 페이지를 즉시 다시 로드하면 가장 최근 로그가 복원됩니다.

로그 소스 이해하기¶

Container Runtime 앱의 로그에는 다음 두 소스 중 하나가 있습니다.

• MANAGER: 앱을 준비하고 실행하는 컨테이너 내부의 시스템 프로세스입니다. 관리자 로그에는 스테이지에서 앱 파일 다운로드, Python 종속 항목 설치, Streamlit 서버 프로세스 시작에 대한 메시지가 포함됩니다. 앱이 실행되는 동안 앱의 종속성 파일을 업데이트하면 관리자 프로세스가 종속성을 다시 설치하고 추가 관리자 로그를 생성합니다.

• APP: 실행 중인 Streamlit 서버 프로세스의 로그입니다. 여기에는 사용자 구성 Python 로거, Streamlit의 기본 제공 로거, 앱이 표준 출력 또는 표준 오류에 작성하는 기타 모든 출력의 메시지가 포함됩니다.

소스 간의 경계는 streamlit run 명령입니다. Streamlit 프로세스를 시작하기 전에 컨테이너가 수행하는 모든 작업은 MANAGER 로그를 생성합니다. Streamlit 프로세스가 시작된 후 해당 프로세스의 출력은 APP 로그를 생성합니다.

Snowsight 에서 과거 로그 보기¶

다음 단계는 Container Runtime 앱에만 적용됩니다. Warehouse Runtime 앱에는 로그 창이 없습니다.

1. Snowsight 에 로그인합니다.

2. 탐색 메뉴에서 Projects » :ui:`Streamlit`을 선택한 후 앱을 선택합니다.

3. 페이지의 오른쪽 위 모서리에서 Edit 를 선택합니다.

4. 로그 창의 오른쪽 상단에서 점 3개 메뉴(Other actions) » :ui:`Historical logs`를 선택합니다.

그러면 앱 뒤에서 실행되는 서비스에 대한 Snowpark Container Services 모니터링 페이지가 열립니다. 로그 테이블에는 다음 열이 표시됩니다.

모니터링 페이지에 대한 자세한 내용은 Snowpark Container Services: 모니터링 서비스 섹션을 참조하세요.

SQL을 사용한 쿼리 로그¶

이벤트 테이블을 직접 쿼리하여 Container Runtime 앱의 로그를 분석할 수 있습니다. 다음 쿼리는 특정 Streamlit 앱에서 로그를 검색합니다.

SELECT
    TIMESTAMP,
    RECORD['severity_text']::VARCHAR AS level,
    VALUE::VARCHAR AS message,
    RESOURCE_ATTRIBUTES['snow.database.name']::VARCHAR AS database_name,
    RESOURCE_ATTRIBUTES['snow.schema.name']::VARCHAR AS schema_name,
    RESOURCE_ATTRIBUTES['snow.executable.name']::VARCHAR AS app_name,
    RECORD_ATTRIBUTES['log.iostream']::VARCHAR AS stream
FROM <event_table>
WHERE RESOURCE_ATTRIBUTES['snow.database.name'] = '<database_name>'
  AND RESOURCE_ATTRIBUTES['snow.schema.name'] = '<schema_name>'
  AND RESOURCE_ATTRIBUTES['snow.executable.name'] = '<app_name>'
  AND RECORD_TYPE = 'LOG'
  AND TIMESTAMP > DATEADD(hour, -1, CURRENT_TIMESTAMP())
ORDER BY TIMESTAMP DESC
LIMIT 100;

<event_table>``을 SHOW PARAMETERS 명령에서 반환된 이벤트 테이블 이름으로 바꾸고 ``<database_name>, <schema_name>, ``<app_name>``을 Streamlit 앱의 값으로 바꿉니다.

이벤트 테이블 열에 대한 자세한 내용은 이벤트 테이블 열 섹션을 참조하세요.

예: Warehouse Runtime 앱에서 로깅하기¶

import logging
import streamlit as st

logger = logging.getLogger("simple_logger")

# Write directly to the app
st.title("Simple Logging Example")

# Get the current credentials
session = st.connection('snowflake').session()

def get_log_messages_query() -> str:
    return """
            SELECT
                TIMESTAMP,
                RECORD:"severity_text"::VARCHAR AS SEVERITY,
                RESOURCE_ATTRIBUTES:"db.user"::VARCHAR AS USER,
                VALUE::VARCHAR AS VALUE
            FROM
                SAMPLE_EVENTS
            WHERE
                SCOPE:"name" = 'simple_logger'
            ORDER BY
                TIMESTAMP DESC;
            """

button = st.button("Log a message")

if button:
    try:
        logger.info("Logging an info message through Streamlit App.")
        st.success('Logged a message')
    except Exception as e:
        logger.error("Logging an error message through Streamlit App: %s",e)
        st.error('Logged an error')

sql = get_log_messages_query()

df = session.sql(sql).to_pandas()

with st.expander("**Show All Messages**"):
     st.dataframe(df, use_container_width=True)