Snowflake ML 릴리스 정보¶

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• get_version_by_alias now requires an exact match of the version’s Snowflake identifier.

New preview features¶

• Experiment Tracking API (snowflake.ml.ExperimentTracking module)

• Online feature serving in Feature Store.

새로운 기능¶

새로운 Model Registry 기능:

• The create_service API validates that a model has a GPU runtime configuration and throws a descriptive error if the configuration is missing

Deprecations¶

Support for Python 3.9 has been deprecated. Python 3.10 or later is recommended.

새로운 기능¶

새로운 모델링 기능:

• Support for xgboost 3.x

새 ML 작업 기능:

• MLJobs.result API is more broadly cross-version compatible and support pandas DataFrames, pyarrow Tables, and NumPy arrays.

• Job submission now uses v2 of the job submission API by default. v2 APIs use the latest container runtime imade by default. Set the MLRS_USE_SUBMIT_JOB_V2 to false to use v1 of the job submission API.

• Now supports retriieving details of deleted jobs, including status, compute pool, and target instances.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• 웨어하우스 모델 배포를 위해 ``artifact_repository_map``이 제공될 때 중복되는 pip 종속성 경고를 제거합니다.

새로운 기능¶

새로운 모델링 기능:

• 1.8 이전 버전의 ``scikit-learn``을 지원합니다.

새 ML 작업 기능:

• 제출 시 runtime_environment 매개 변수를 통한 런타임 이미지를 구성하도록 지원합니다. 이미지 태그 또는 전체 이미지 URL을 지정할 수 있습니다.

  @remote 데코레이터 및 submit_file 함수의 예:

  @remote(compute_pool, stage_name = 'payload_stage', runtime_environment = '1.8.0')
  
  submit_file('/path/to/repo/test.py', compute_pool, stage_name = 'payload_stage',
    runtime_environment = '/mydb/myschema/myrepo/myimage:latest')
  

  Copy

새로운 Model Registry 기능:

• 모델 메서드를 휘발성 또는 변경 불가능으로 표시하는 기능입니다. 휘발성 메서드는 동일한 입력으로 여러 번 호출할 때 다른 결과를 반환할 수 있는 반면, 변경 불가능한 메서드는 항상 동일한 입력에 대해 동일한 결과를 반환합니다. 지원되는 모델 유형의 메서드는 기본적으로 변경이 불가능한 반면, 사용자 지정 모델의 메서드는 기본적으로 휘발성입니다. Volatility 열거형을 사용하여 다음과 같이 모델을 로깅할 때 모델 메서드의 휘발성을 지정합니다.

  from snowflake.ml.model.volatility import Volatility
  
  options = {
      "embed_local_ml_library": True,
      "relax_version": True,
      "save_location": "/path/to/my/directory",
      "function_type": "TABLE_FUNCTION",
      "volatility": Volatility.IMMUTABLE,
      "method_options": {
          "predict": {
              "case_sensitive": False,
              "max_batch_size": 100,
              "function_type": "TABLE_FUNCTION",
              "volatility": Volatility.VOLATILE,
          },
  }
  

  Copy

동작 변경 사항¶

모델 레지스트리 동작 변경 사항:

• Hugging Face 모델의 더 이상 사용되지 않는 conversational 작업 유형에 대한 지원이 삭제됩니다. 이 작업 유형은 Hugging Face에서 한동안 더 이상 사용되지 않다가 API에서 즉시 제거될 예정입니다.

새로운 기능¶

새 ML 작업 기능:

• 목적을 더 잘 반영하기 위해 MLJob.submit_* 메서드의 additional_payloads 인자가 :code:`imports`로 이름이 변경되었습니다. :code:`additional_payloads`는 더 이상 사용되지 않으며 향후 릴리스에서 제거될 예정입니다.

새로운 기능¶

새로운 Model Registry 기능:

• 이제 huggingface_pipeline.HuggingFacePipelineModel`을 사용하여 메모리에 모델을 로드하지 않고도 HuggingFace 모델을 기록할 수 있습니다. :code:`huggingface_hub 패키지가 필요합니다. HuggingFace 리포지토리에서 다운로드를 비활성화하려면 :code:`huggingface_pipeline.HuggingFacePipelineModel`을 인스턴스화할 때 :code:`download_snapshot=False`를 전달합니다.

• 이제 XGBoost의 enable_categorical=True 모델을 pandas DataFrames와 함께 사용할 수 있습니다.

• 서비스를 나열할 때 PrivateLink 추론 엔드포인트가 ModelVersion 목록에 표시됩니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• 정형 출력 역직렬화 중에 사전 유형 출력 열의 문자열 표현이 잘못 생성되어 원래 데이터 타입이 손실되는 문제를 수정했습니다.

• 와이드(500개 이상의 기능) 및 JSON 입력에 대한 추론 서버 성능 문제를 수정했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• 이제 다음 예와 같이 OpenAI 채팅 완료 호환 서명과 호환되는 서명을 사용하여 텍스트 생성 모델을 로그할 수 있습니다.

  from snowflake.ml.model import openai_signatures
  import pandas as pd
  
  mv = snowflake_registry.log_model(
      model=generator,
      model_name=...,
      ...,
      signatures=openai_signatures.OPENAI_CHAT_SIGNATURE,
  )
  
  # create a pd.DataFrame with openai.client.chat.completions arguments like below:
  x_df = pd.DataFrame.from_records(
      [
          {
              "messages": [
                  {"role": "system", "content": "Complete the sentence."},
                  {
                      "role": "user",
                      "content": "A descendant of the Lost City of Atlantis, who swam to Earth while saying, ",
                  },
              ],
              "max_completion_tokens": 250,
              "temperature": 0.9,
              "stop": None,
              "n": 3,
              "stream": False,
              "top_p": 1.0,
              "frequency_penalty": 0.1,
              "presence_penalty": 0.2,
          }
      ],
  )
  

  Copy

새로운 모델 모니터링 기능:

• 이제 모델 모니터는 세그먼트 열을 지원하여 모델 모니터 소스 옵션의 segment_columns 필드에 지정된 필터링된 분석을 활성화합니다. 세그먼트 열은 소스 테이블에 존재해야 하며 문자열 유형이어야 합니다. add_segment_column 및 drop_segment_column 메서드는 기존 모델 모니터에서 세그먼트 열을 추가하거나 제거하기 위해 제공됩니다.

새로운 기능¶

새로운 Model Registry 기능:

• ModelVersion.create_service``에서 ``image_repo 인자를 선택적으로 만들었습니다. 지정하지 않으면 기본 이미지 리포지토리가 사용됩니다.

버그 수정 사항¶

ML 작업 버그 수정 사항:

• 저장 프로시저 내부에서 ``TypeError: SnowflakeCursor.execute() got an unexpected keyword argument ‘_force_qmark_paramstyle’``을 수정했습니다.

• 모든 인스턴스가 시간 제한 기간 내에 시작되지 않는 경우의 ``Error: Unable to retrieve head IP address``를 수정했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• ModelVersion.create_service 및 ModelVersion.log_model 에 대한 진행률 표시줄을 추가했습니다.

• ModelVersion.create_service 의 로그가 이제 파일에 기록됩니다. 로그 파일의 위치는 콘솔에 표시됩니다.

버그 수정 사항¶

DataConnector 버그 수정 사항:

• self._session 을 멘션하는 오류를 발생시키는 문제를 수정했습니다.

모델 레지스트리 버그 수정 사항:

• 모델 서명 및 pandas 데이터 처리기에서 None을 배열(pd.dtype('O'))에 전달할 때 발생하는 버그를 수정했습니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• HuggingFace 텍스트 생성 모델에 여러 EOS 토큰이 있을 때 PAD 토큰 설정 시 발생하는 버그를 수정했습니다. 처리기는 이제 첫 번째 EOS 토큰을 PAD 토큰으로 선택합니다.

새로운 기능¶

새 DataConnector 기능:

• 이제 DataConnector 오브젝트를 피클링할 수 있습니다.

새로운 데이터 세트 기능:

• 이제 데이터 세트 오브젝트를 피클링할 수 있습니다.

새로운 Model Registry 기능:

• 이제 Snowpark Container Services에서 호스팅되는 모델이 광범위한 입력(500개 이상의 기능)을 지원합니다.

동작 변경 사항¶

ML 작업 동작 변경 사항:

• list_jobs 메서드에서 scope 매개 변수를 제거했습니다.

• 선택적 database 및 schema 매개 변수를 list_jobs 메서드에 추가했습니다.

• list_jobs 메서드는 이제 Snowpark DataFrame이 아닌 pandas DataFrame을 반환합니다.

• list_jobs 메서드는 이제 name, status, message, database_name, schema_name, owner, compute_pool, target_instances, created_time 및 completed_time 열을 반환합니다.

모델 레지스트리 동작 변경 사항:

• pip_requirements 가 log_model 호출에 지정된 경우 relax_version 을 false로 설정합니다.

• 허위 경고를 해결하기 위해 지정된 target_platforms 에서만 UserWarning 이 발생합니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• QUOTED_IDENTIFIERS_IGNORE_CASE 매개 변수가 활성화된 경우 Snowpark DataFrame을 pandas DataFrame으로 변환할 때 발생하는 오류를 수정했습니다.

• 모델 패키징 동안 중복되는 UserWarning 로그 항목을 수정했습니다.

새로운 기능¶

새로운 모델 레지스트리 기능:

• 대상 플랫폼(snowflake.ml.model.target_platform.TargetPlatform), 대상 플랫폼 상수 및 작업(snowflake.ml.model.task.Task)을 나타내기 위한 새 APIs

• log_model 메서드의 target_platform 인자는 이제 WAREHOUSE_ONLY, SNOWPARK_CONTAINER_SERVICES_ONLY 또는 BOTH_WAREHOUSE_AND_SNOWPARK_CONTAINER_SERVICES 일 수 있는 TargetPlatformMode 상수를 허용합니다.

새 ML 작업 기능:

• 자주 사용되지 않는 작업 제출 인자가 **kwargs 로 이동되었습니다.

• 플랫폼 메트릭은 기본적으로 활성화됩니다.

이 릴리스에서는 이제 단일 노드 ML Job APIs가 안정화되어 일반 공급으로 지정되었습니다.

새로운 기능¶

새로운 모델 레지스트리 기능:

• 로그에 서비스 컨테이너 정보를 추가했습니다.

동작 변경 사항¶

ML 작업 동작 변경 사항:

• 작업 제출 APIs 에서 인자 num_instances 가 target_instances 으로 이름이 변경되었으며 이제 필수입니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• 컨테이너 서비스 목록 및 삭제 관련 버그를 수정했습니다.

• explain 함수가 생성되지 않은 경우 scikit-learn 파이프라인을 기록하는 버그를 수정했습니다.

• 컨테이너 전용 모델을 로그하면 더 이상 필수인 snowflake-ml-python 버전이 Snowflake conda 채널에서 사용 가능한지 확인하지 않습니다.

설명 가능성 버그 수정:

• 호환성 향상을 위해 최소 streamlit 버전이 1.30으로 낮아졌습니다.

모델링 버그 수정 사항:

• xgboost 는 이제 다시 필수 종속성입니다(v1.8.4에서는 선택 사항이었음).

새로운 기능¶

ML Jobs 새로운 기능:

• 이제 작업 데코레이터에 지정된 수의 작업자가 준비될 때까지 기다렸다가 작업을 시작하도록 하는 min_instances 인자가 추가되었습니다.

동작 변경 사항¶

ML 작업 동작 변경 사항:

• id 속성은 이제 작업의 정규화된 이름입니다. ML 작업 이름을 나타내는 새로운 속성 name 이 도입되었습니다.

• list_jobs 메서드는 이제 ID 작업 대신 ML 작업 이름을 반환합니다.

모델 레지스트리 동작 변경 사항:

• log_model 에서 모델이 Snowpark Container Services에만 배포될 때 설명 기능을 활성화하면 이제 경고 대신 오류가 발생하여 로그 작업이 완료되지 않습니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• PyTorch 및 TensorFlow 모델을 기록할 때 UnboundLocalError: local variable 'multiple_inputs' referenced before assignment. 를 유발하는 버그를 수정했습니다

새로운 기능¶

새로운 Model Registry 기능:

• 웨어하우스에 배포할 수 있는 모델에 대해 자동으로 설명 기능을 활성화합니다.

새로운 설명 기능:

• 노트북의 snowflake.ml.monitoring 플롯 설명에 새로운 시각화 함수가 추가되었습니다.

• 스키킷 학습 파이프라인에서 범주형 변환을 지원합니다.

새로운 Modeling 기능:

• XGBoost 모델에서 xgboost.DMatrix 입력에 대한 범주형 유형을 지원합니다.

새로운 기능¶

새로운 Model Registry 기능:

• GPU 지원 모델을 ML 용 Container Runtime에 배포하기 위해 로그할 때 사용 가능한 경우 기본값을 CUDA 컨테이너 이미지로 설정합니다.

• 모델 버전에는 추론 메서드를 단일 노드 Snowpark Container Services 작업으로 실행하는 run_job 메서드가 있습니다. 이 방법은 ML 용 Container Runtime에 배포되지 않은 모델을 포함한 모든 모델에 사용할 수 있습니다.

• 파티션된 모델을 기록할 때 대상 플랫폼은 기본적으로 Snowflake 웨어하우스로 설정됩니다.

새로운 기능¶

로컬 워크스테이션의 Container Runtime for ML에서 코드를 실행할 수 있는 ML Jobs API가 미리 보기로 제공됩니다. 따라서 이 API의 설명서는 Snowflake ML API 참조에서 확인할 수 있으며 API에 대한 변경 사항은 이 릴리스 정보에서 확인할 수 있습니다. ML Jobs API의 새로운 기능은 공개적으로 발표될 때까지 여기에서 확인할 수 없지만, API 참조에서는 확인할 수 있습니다.

새로운 Model Registry 기능:

• log_model 메서드에서 save_location 옵션을 사용하여 모델의 Snowflake 스테이지에 저장된 모델 버전 파일을 작성할 경로를 지정할 수 있습니다.

• ML 용 Container Runtime에서 모델을 로그할 때 이제 모델 종속성이 pip_requirements 에 기본적으로 포함됩니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• score_samples 추론 메서드를 사용하여 scikit-learn 모델을 기록할 때 unsupported model type 오류를 수정했습니다.

• 기존 일시 중단된 서비스에서 추론 서비스 생성 실패를 수정했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• 이제 지원되지 않는 인자를 사용하여 log_model 로 모델 버전의 복사본을 생성하면 예외가 발생합니다.

동작 변경 사항¶

모델 레지스트리 동작 변경 사항:

• transformers.Pipeline 에서 자동 추론된 서명이 FeatureGroupSpec 작업 클래스를 사용하도록 변경되었습니다.

  • fill-mask 작업을 위한 서명:

    Before v1.8.0v1.8.0 and later

      ModelSignature(
          inputs=[
              FeatureSpec(name="inputs", dtype=DataType.STRING),
          ],
          outputs=[
              FeatureSpec(name="outputs", dtype=DataType.STRING),
          ],
    )
    

    Copy

  • 토큰 분류 작업에 대한 서명:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="inputs", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • 질문 답변 작업에 서명합니다.

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="question", dtype=DataType.STRING),
            FeatureSpec(name="context", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • top_k 가 1보다 큰 경우 질문 답변 작업에 서명합니다.

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="question", dtype=DataType.STRING),
            FeatureSpec(name="context", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • top_k 가 None 일 때 텍스트 분류 작업에 대한 서명입니다.

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="text", dtype=DataType.STRING),
            FeatureSpec(name="text_pair", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="label", dtype=DataType.STRING),
            FeatureSpec(name="score", dtype=DataType.DOUBLE),
        ],
    )
    

    Copy

  • top_k 가 None 이 아닌 경우 텍스트 분류 작업에 대한 서명:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="text", dtype=DataType.STRING),
            FeatureSpec(name="text_pair", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • 텍스트 생성 작업을 위한 서명:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[FeatureSpec(name="inputs", dtype=DataType.STRING)],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

• PyTorch 및 TensorFlow 모델은 이제 모델 레지스트리에 로그될 때 기본적으로 단일 텐서 입력 및 출력을 기대합니다. 다중 텐서를 사용하려면(이전 동작) options={"multiple_inputs": True} 로 설정합니다.

  단일 텐서 입력의 예입니다.

  import torch
  
  class TorchModel(torch.nn.Module):
      def __init__(self, n_input: int, n_hidden: int, n_out: int, dtype: torch.dtype = torch.float32) -> None:
          super().__init__()
          self.model = torch.nn.Sequential(
              torch.nn.Linear(n_input, n_hidden, dtype=dtype),
              torch.nn.ReLU(),
              torch.nn.Linear(n_hidden, n_out, dtype=dtype),
              torch.nn.Sigmoid(),
          )
  
      def forward(self, tensor: torch.Tensor) -> torch.Tensor:
          return cast(torch.Tensor, self.model(tensor))
  
  # Sample usage:
  data_x = torch.rand(size=(batch_size, n_input))
  
  # Log model with single tensor
  reg.log_model(
      model=model,
      ...,
      sample_input_data=data_x
  )
  
  # Run inference with single tensor
  mv.run(data_x)
  

  Copy

  텐서 입력 또는 출력이 여러 개일 경우 사용하십시오.

  reg.log_model(
      model=model,
      ...,
      sample_input_data=[data_x_1, data_x_2],
      options={"multiple_inputs": True}
  )
  

  Copy

• 이제 모델이 Snowpark Container Services에 배포될 수 있는 경우 enable_explainability 는 False 로 기본 설정됩니다.

버그 수정 사항¶

모델링 버그 수정 사항:

• 일부 메트릭에서 지원되지 않는 버전의 numpy가 저장 프로시저에 자동으로 설치되어 실행 시 numpy 오류가 발생할 수 있는 버그를 수정했습니다.

모델 레지스트리 버그 수정 사항:

• 지원되는 모델을 CustomModel 의 속성으로 할당할 때 잘못된 Model does not have _is_inference_api 오류 메시지가 표시되는 버그를 수정했습니다.

• 입력 기능이 500개가 넘는 모델을 SPCS 에 배포할 때 추론이 작동하지 않는 버그를 수정했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• 단일 torch.Tensor 및 tensorflow.Variable 를 입력 또는 출력 데이터로 사용하도록 지원합니다.

• XGBoost 모델에 대한 xgboost.DMatrix datatype 지원.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• snowflake-ml-python 1.7.0 이상을 사용하여 tensorflow.keras 모델을 keras 2.x로 저장할 때, 해당 모델을 Snowflake에서 실행할 수 없는 호환성 문제를 수정했습니다. 이 문제는 relax_version 이 True (또는 기본값)으로 설정되어 있고 snowflake-ml-python 의 새 버전을 사용할 수 있을 때 발생했습니다. 영향을 받은 모델을 로딩한 경우 ModelVerison.load 를 사용하여 해당 모델을 로딩하고 최신 버전 snowflake-ml-python 으로 다시 로그하여 복구할 수 있습니다.

• Null이 아닌 값이 없는 데이터는 ModelVersion.run 으로 전달되지 않도록 하는 유효성 검사를 제거했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• 자동 매핑 기능을 통해 Hugging Face 모델 구성을 지원합니다.

• tensorflow 및 pytorch 백엔드가 포함된 keras 3.x 모델을 지원합니다.

새로운 모델 설명 기능:

• 네이티브 및 snowflake-ml-python sklearn 파이프라인을 지원합니다.

버그 수정 사항¶

레지스트리 버그 수정:

• Hugging Face 파이프라인이 잘못된 데이터 타입을 사용하여 로딩되던 문제를 수정했습니다.

• 모델 서명을 추론할 때 실제로는 한 행만 사용되던 문제를 수정했습니다.

새로운 기능¶

새로운 Cortex 특성:

• Complete 함수에 guardrails 옵션이 새로 추가되었습니다.

종속성 업그레이드¶

• fsspec 과 s3fs 는 2024.6.1 이상 2026 미만이어야 합니다.

• mlflow 2.16.0 이상이고 3 미만이어야 합니다.

새로운 기능¶

새로운 Cortex 특성:

• 이제 Cortex 함수는 “snake_case” 이름을 갖습니다. 예를 들어 ClassifyText 는 이제 classify_text 입니다. 이전의 “CamelCase” 이름도 계속 작동하지만, 향후 릴리스에서 제거될 예정입니다.

새로운 Model Registry 기능:

• 이제 레지스트리는 50만 개 이상의 특성을 지원합니다.

• 모델에 이미지나 기타 파일을 포함하기 위해 Registry.log_model 에 user_files 인자를 추가했습니다.

• 자동 매핑 기능으로 Hugging Face 모델 구성 처리를 위한 지원을 추가했습니다.

새로운 데이터 기능:

• DataConnector.from_sql 생성자를 추가했습니다.

버그 수정 사항¶

레지스트리 버그 수정:

• 범위가 아닌 인덱스 pandas DataFrame 을 ModelVersion.run 에 입력으로 제공할 때 발생하는 버그를 수정했습니다.

• 충돌을 방지하기 위해 무작위 Model Registry 이름 생성을 개선했습니다.

• 유형이 ARRAY 이고 NULL 값을 포함하는 열이 있는 Snowpark DataFrame 으로 서명을 추론하거나 추론을 실행할 때 발생하는 문제를 수정했습니다.

• ModelVersion.run 은 이제 정규화된 서비스 이름을 사용할 수 있습니다.

• 전처리 전용 파이프라인 모델을 포함하여 데이터 전처리만 있는 모든 Scikit-learn 모델에 대한 log_model 의 오류를 수정했습니다.

버그 수정 모니터링:

• 정규화된 이름을 사용하여 모니터를 만들 때 발생하는 문제를 수정했습니다.