Snowflake ML 릴리스 정보¶

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• 웨어하우스 모델 배포를 위해 ``artifact_repository_map``이 제공될 때 중복되는 pip 종속성 경고를 제거합니다.

새로운 기능¶

New modeling features:

• 1.8 이전 버전의 ``scikit-learn``을 지원합니다.

새 ML 작업 기능:

• 제출 시 runtime_environment 매개 변수를 통한 런타임 이미지를 구성하도록 지원합니다. 이미지 태그 또는 전체 이미지 URL을 지정할 수 있습니다.

  @remote 데코레이터 및 submit_file 함수의 예:

  @remote(compute_pool, stage_name = 'payload_stage', runtime_environment = '1.8.0')
  
  submit_file('/path/to/repo/test.py', compute_pool, stage_name = 'payload_stage',
    runtime_environment = '/mydb/myschema/myrepo/myimage:latest')
  

  Copy

새로운 Model Registry 기능:

• 모델 메서드를 휘발성 또는 변경 불가능으로 표시하는 기능입니다. 휘발성 메서드는 동일한 입력으로 여러 번 호출할 때 다른 결과를 반환할 수 있는 반면, 변경 불가능한 메서드는 항상 동일한 입력에 대해 동일한 결과를 반환합니다. 지원되는 모델 유형의 메서드는 기본적으로 변경이 불가능한 반면, 사용자 지정 모델의 메서드는 기본적으로 휘발성입니다. Volatility 열거형을 사용하여 다음과 같이 모델을 로깅할 때 모델 메서드의 휘발성을 지정합니다.

  from snowflake.ml.model.volatility import Volatility
  
  options = {
      "embed_local_ml_library": True,
      "relax_version": True,
      "save_location": "/path/to/my/directory",
      "function_type": "TABLE_FUNCTION",
      "volatility": Volatility.IMMUTABLE,
      "method_options": {
          "predict": {
              "case_sensitive": False,
              "max_batch_size": 100,
              "function_type": "TABLE_FUNCTION",
              "volatility": Volatility.VOLATILE,
          },
  }
  

  Copy

동작 변경 사항¶

모델 레지스트리 동작 변경 사항:

• Drop support for deprecated conversational task type for Hugging Face models. This task type has been deprecated by Hugging Face for some time and is due for removal from their API imminently.

새로운 기능¶

새 ML 작업 기능:

• 목적을 더 잘 반영하기 위해 MLJob.submit_* 메서드의 additional_payloads 인자가 :code:`imports`로 이름이 변경되었습니다. :code:`additional_payloads`는 더 이상 사용되지 않으며 향후 릴리스에서 제거될 예정입니다.

새로운 기능¶

새로운 Model Registry 기능:

• 이제 huggingface_pipeline.HuggingFacePipelineModel`을 사용하여 메모리에 모델을 로드하지 않고도 HuggingFace 모델을 기록할 수 있습니다. :code:`huggingface_hub 패키지가 필요합니다. HuggingFace 리포지토리에서 다운로드를 비활성화하려면 :code:`huggingface_pipeline.HuggingFacePipelineModel`을 인스턴스화할 때 :code:`download_snapshot=False`를 전달합니다.

• 이제 XGBoost의 enable_categorical=True 모델을 pandas DataFrames와 함께 사용할 수 있습니다.

• 서비스를 나열할 때 PrivateLink 추론 엔드포인트가 ModelVersion 목록에 표시됩니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• 정형 출력 역직렬화 중에 사전 유형 출력 열의 문자열 표현이 잘못 생성되어 원래 데이터 타입이 손실되는 문제를 수정했습니다.

• 와이드(500개 이상의 기능) 및 JSON 입력에 대한 추론 서버 성능 문제를 수정했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• 이제 다음 예와 같이 OpenAI 채팅 완료 호환 서명과 호환되는 서명을 사용하여 텍스트 생성 모델을 로그할 수 있습니다.

  from snowflake.ml.model import openai_signatures
  import pandas as pd
  
  mv = snowflake_registry.log_model(
      model=generator,
      model_name=...,
      ...,
      signatures=openai_signatures.OPENAI_CHAT_SIGNATURE,
  )
  
  # create a pd.DataFrame with openai.client.chat.completions arguments like below:
  x_df = pd.DataFrame.from_records(
      [
          {
              "messages": [
                  {"role": "system", "content": "Complete the sentence."},
                  {
                      "role": "user",
                      "content": "A descendant of the Lost City of Atlantis, who swam to Earth while saying, ",
                  },
              ],
              "max_completion_tokens": 250,
              "temperature": 0.9,
              "stop": None,
              "n": 3,
              "stream": False,
              "top_p": 1.0,
              "frequency_penalty": 0.1,
              "presence_penalty": 0.2,
          }
      ],
  )
  

  Copy

새로운 모델 모니터링 기능:

• 이제 모델 모니터는 세그먼트 열을 지원하여 모델 모니터 소스 옵션의 segment_columns 필드에 지정된 필터링된 분석을 활성화합니다. 세그먼트 열은 소스 테이블에 존재해야 하며 문자열 유형이어야 합니다. add_segment_column 및 drop_segment_column 메서드는 기존 모델 모니터에서 세그먼트 열을 추가하거나 제거하기 위해 제공됩니다.

새로운 기능¶

새로운 Model Registry 기능:

• ModelVersion.create_service``에서 ``image_repo 인자를 선택적으로 만들었습니다. 지정하지 않으면 기본 이미지 리포지토리가 사용됩니다.

버그 수정 사항¶

ML 작업 버그 수정 사항:

• 저장 프로시저 내부에서 ``TypeError: SnowflakeCursor.execute() got an unexpected keyword argument ‘_force_qmark_paramstyle’``을 수정했습니다.

• 모든 인스턴스가 시간 제한 기간 내에 시작되지 않는 경우의 ``Error: Unable to retrieve head IP address``를 수정했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• ModelVersion.create_service 및 ModelVersion.log_model 에 대한 진행률 표시줄을 추가했습니다.

• ModelVersion.create_service 의 로그가 이제 파일에 기록됩니다. 로그 파일의 위치는 콘솔에 표시됩니다.

버그 수정 사항¶

DataConnector 버그 수정 사항:

• self._session 을 멘션하는 오류를 발생시키는 문제를 수정했습니다.

모델 레지스트리 버그 수정 사항:

• 모델 서명 및 pandas 데이터 처리기에서 None을 배열(pd.dtype('O'))에 전달할 때 발생하는 버그를 수정했습니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• HuggingFace 텍스트 생성 모델에 여러 EOS 토큰이 있을 때 PAD 토큰 설정 시 발생하는 버그를 수정했습니다. 처리기는 이제 첫 번째 EOS 토큰을 PAD 토큰으로 선택합니다.

새로운 기능¶

새 DataConnector 기능:

• 이제 DataConnector 오브젝트를 피클링할 수 있습니다.

새로운 데이터 세트 기능:

• 이제 데이터 세트 오브젝트를 피클링할 수 있습니다.

새로운 Model Registry 기능:

• 이제 Snowpark Container Services에서 호스팅되는 모델이 광범위한 입력(500개 이상의 기능)을 지원합니다.

동작 변경 사항¶

ML 작업 동작 변경 사항:

• list_jobs 메서드에서 scope 매개 변수를 제거했습니다.

• 선택적 database 및 schema 매개 변수를 list_jobs 메서드에 추가했습니다.

• list_jobs 메서드는 이제 Snowpark DataFrame이 아닌 pandas DataFrame을 반환합니다.

• list_jobs 메서드는 이제 name, status, message, database_name, schema_name, owner, compute_pool, target_instances, created_time 및 completed_time 열을 반환합니다.

모델 레지스트리 동작 변경 사항:

• pip_requirements 가 log_model 호출에 지정된 경우 relax_version 을 false로 설정합니다.

• 허위 경고를 해결하기 위해 지정된 target_platforms 에서만 UserWarning 이 발생합니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• QUOTED_IDENTIFIERS_IGNORE_CASE 매개 변수가 활성화된 경우 Snowpark DataFrame을 pandas DataFrame으로 변환할 때 발생하는 오류를 수정했습니다.

• 모델 패키징 동안 중복되는 UserWarning 로그 항목을 수정했습니다.

새로운 기능¶

새로운 모델 레지스트리 기능:

• 대상 플랫폼(snowflake.ml.model.target_platform.TargetPlatform), 대상 플랫폼 상수 및 작업(snowflake.ml.model.task.Task)을 나타내기 위한 새 APIs

• log_model 메서드의 target_platform 인자는 이제 WAREHOUSE_ONLY, SNOWPARK_CONTAINER_SERVICES_ONLY 또는 BOTH_WAREHOUSE_AND_SNOWPARK_CONTAINER_SERVICES 일 수 있는 TargetPlatformMode 상수를 허용합니다.

새 ML 작업 기능:

• 자주 사용되지 않는 작업 제출 인자가 **kwargs 로 이동되었습니다.

• 플랫폼 메트릭은 기본적으로 활성화됩니다.

이 릴리스에서는 이제 단일 노드 ML Job APIs가 안정화되어 일반 공급으로 지정되었습니다.

새로운 기능¶

새로운 모델 레지스트리 기능:

• 로그에 서비스 컨테이너 정보를 추가했습니다.

동작 변경 사항¶

ML 작업 동작 변경 사항:

• 작업 제출 APIs 에서 인자 num_instances 가 target_instances 으로 이름이 변경되었으며 이제 필수입니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• 컨테이너 서비스 목록 및 삭제 관련 버그를 수정했습니다.

• explain 함수가 생성되지 않은 경우 scikit-learn 파이프라인을 기록하는 버그를 수정했습니다.

• 컨테이너 전용 모델을 로그하면 더 이상 필수인 snowflake-ml-python 버전이 Snowflake conda 채널에서 사용 가능한지 확인하지 않습니다.

설명 가능성 버그 수정:

• 호환성 향상을 위해 최소 streamlit 버전이 1.30으로 낮아졌습니다.

모델링 버그 수정 사항:

• xgboost 는 이제 다시 필수 종속성입니다(v1.8.4에서는 선택 사항이었음).

새로운 기능¶

ML Jobs 새로운 기능:

• 이제 작업 데코레이터에 지정된 수의 작업자가 준비될 때까지 기다렸다가 작업을 시작하도록 하는 min_instances 인자가 추가되었습니다.

동작 변경 사항¶

ML 작업 동작 변경 사항:

• id 속성은 이제 작업의 정규화된 이름입니다. ML 작업 이름을 나타내는 새로운 속성 name 이 도입되었습니다.

• list_jobs 메서드는 이제 ID 작업 대신 ML 작업 이름을 반환합니다.

모델 레지스트리 동작 변경 사항:

• log_model 에서 모델이 Snowpark Container Services에만 배포될 때 설명 기능을 활성화하면 이제 경고 대신 오류가 발생하여 로그 작업이 완료되지 않습니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• PyTorch 및 TensorFlow 모델을 기록할 때 UnboundLocalError: local variable 'multiple_inputs' referenced before assignment. 를 유발하는 버그를 수정했습니다

새로운 기능¶

새로운 Model Registry 기능:

• 웨어하우스에 배포할 수 있는 모델에 대해 자동으로 설명 기능을 활성화합니다.

새로운 설명 기능:

• 노트북의 snowflake.ml.monitoring 플롯 설명에 새로운 시각화 함수가 추가되었습니다.

• 스키킷 학습 파이프라인에서 범주형 변환을 지원합니다.

새로운 Modeling 기능:

• XGBoost 모델에서 xgboost.DMatrix 입력에 대한 범주형 유형을 지원합니다.

새로운 기능¶

새로운 Model Registry 기능:

• GPU 지원 모델을 ML 용 Container Runtime에 배포하기 위해 로그할 때 사용 가능한 경우 기본값을 CUDA 컨테이너 이미지로 설정합니다.

• 모델 버전에는 추론 메서드를 단일 노드 Snowpark Container Services 작업으로 실행하는 run_job 메서드가 있습니다. 이 방법은 ML 용 Container Runtime에 배포되지 않은 모델을 포함한 모든 모델에 사용할 수 있습니다.

• 파티션된 모델을 기록할 때 대상 플랫폼은 기본적으로 Snowflake 웨어하우스로 설정됩니다.

새로운 기능¶

로컬 워크스테이션의 Container Runtime for ML에서 코드를 실행할 수 있는 ML Jobs API가 미리 보기로 제공됩니다. 따라서 이 API의 설명서는 Snowflake ML API 참조에서 확인할 수 있으며 API에 대한 변경 사항은 이 릴리스 정보에서 확인할 수 있습니다. ML Jobs API의 새로운 기능은 공개적으로 발표될 때까지 여기에서 확인할 수 없지만, API 참조에서는 확인할 수 있습니다.

새로운 Model Registry 기능:

• log_model 메서드에서 save_location 옵션을 사용하여 모델의 Snowflake 스테이지에 저장된 모델 버전 파일을 작성할 경로를 지정할 수 있습니다.

• ML 용 Container Runtime에서 모델을 로그할 때 이제 모델 종속성이 pip_requirements 에 기본적으로 포함됩니다.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• score_samples 추론 메서드를 사용하여 scikit-learn 모델을 기록할 때 unsupported model type 오류를 수정했습니다.

• 기존 일시 중단된 서비스에서 추론 서비스 생성 실패를 수정했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• 이제 지원되지 않는 인자를 사용하여 log_model 로 모델 버전의 복사본을 생성하면 예외가 발생합니다.

동작 변경 사항¶

모델 레지스트리 동작 변경 사항:

• transformers.Pipeline 에서 자동 추론된 서명이 FeatureGroupSpec 작업 클래스를 사용하도록 변경되었습니다.

  • fill-mask 작업을 위한 서명:

    Before v1.8.0v1.8.0 and later

      ModelSignature(
          inputs=[
              FeatureSpec(name="inputs", dtype=DataType.STRING),
          ],
          outputs=[
              FeatureSpec(name="outputs", dtype=DataType.STRING),
          ],
    )
    

    Copy

  • 토큰 분류 작업에 대한 서명:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="inputs", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • 질문 답변 작업에 서명합니다.

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="question", dtype=DataType.STRING),
            FeatureSpec(name="context", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • top_k 가 1보다 큰 경우 질문 답변 작업에 서명합니다.

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="question", dtype=DataType.STRING),
            FeatureSpec(name="context", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • top_k 가 None 일 때 텍스트 분류 작업에 대한 서명입니다.

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="text", dtype=DataType.STRING),
            FeatureSpec(name="text_pair", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="label", dtype=DataType.STRING),
            FeatureSpec(name="score", dtype=DataType.DOUBLE),
        ],
    )
    

    Copy

  • top_k 가 None 이 아닌 경우 텍스트 분류 작업에 대한 서명:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="text", dtype=DataType.STRING),
            FeatureSpec(name="text_pair", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • 텍스트 생성 작업을 위한 서명:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[FeatureSpec(name="inputs", dtype=DataType.STRING)],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

• PyTorch 및 TensorFlow 모델은 이제 모델 레지스트리에 로그될 때 기본적으로 단일 텐서 입력 및 출력을 기대합니다. 다중 텐서를 사용하려면(이전 동작) options={"multiple_inputs": True} 로 설정합니다.

  단일 텐서 입력의 예입니다.

  import torch
  
  class TorchModel(torch.nn.Module):
      def __init__(self, n_input: int, n_hidden: int, n_out: int, dtype: torch.dtype = torch.float32) -> None:
          super().__init__()
          self.model = torch.nn.Sequential(
              torch.nn.Linear(n_input, n_hidden, dtype=dtype),
              torch.nn.ReLU(),
              torch.nn.Linear(n_hidden, n_out, dtype=dtype),
              torch.nn.Sigmoid(),
          )
  
      def forward(self, tensor: torch.Tensor) -> torch.Tensor:
          return cast(torch.Tensor, self.model(tensor))
  
  # Sample usage:
  data_x = torch.rand(size=(batch_size, n_input))
  
  # Log model with single tensor
  reg.log_model(
      model=model,
      ...,
      sample_input_data=data_x
  )
  
  # Run inference with single tensor
  mv.run(data_x)
  

  Copy

  텐서 입력 또는 출력이 여러 개일 경우 사용하십시오.

  reg.log_model(
      model=model,
      ...,
      sample_input_data=[data_x_1, data_x_2],
      options={"multiple_inputs": True}
  )
  

  Copy

• 이제 모델이 Snowpark Container Services에 배포될 수 있는 경우 enable_explainability 는 False 로 기본 설정됩니다.

버그 수정 사항¶

모델링 버그 수정 사항:

• 일부 메트릭에서 지원되지 않는 버전의 numpy가 저장 프로시저에 자동으로 설치되어 실행 시 numpy 오류가 발생할 수 있는 버그를 수정했습니다.

모델 레지스트리 버그 수정 사항:

• 지원되는 모델을 CustomModel 의 속성으로 할당할 때 잘못된 Model does not have _is_inference_api 오류 메시지가 표시되는 버그를 수정했습니다.

• 입력 기능이 500개가 넘는 모델을 SPCS 에 배포할 때 추론이 작동하지 않는 버그를 수정했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• 단일 torch.Tensor 및 tensorflow.Variable 를 입력 또는 출력 데이터로 사용하도록 지원합니다.

• XGBoost 모델에 대한 xgboost.DMatrix datatype 지원.

버그 수정 사항¶

모델 레지스트리 버그 수정 사항:

• snowflake-ml-python 1.7.0 이상을 사용하여 tensorflow.keras 모델을 keras 2.x로 저장할 때, 해당 모델을 Snowflake에서 실행할 수 없는 호환성 문제를 수정했습니다. 이 문제는 relax_version 이 True (또는 기본값)으로 설정되어 있고 snowflake-ml-python 의 새 버전을 사용할 수 있을 때 발생했습니다. 영향을 받은 모델을 로딩한 경우 ModelVerison.load 를 사용하여 해당 모델을 로딩하고 최신 버전 snowflake-ml-python 으로 다시 로그하여 복구할 수 있습니다.

• Null이 아닌 값이 없는 데이터는 ModelVersion.run 으로 전달되지 않도록 하는 유효성 검사를 제거했습니다.

새로운 기능¶

새로운 Model Registry 기능:

• 자동 매핑 기능을 통해 Hugging Face 모델 구성을 지원합니다.

• tensorflow 및 pytorch 백엔드가 포함된 keras 3.x 모델을 지원합니다.

새로운 모델 설명 기능:

• 네이티브 및 snowflake-ml-python sklearn 파이프라인을 지원합니다.

버그 수정 사항¶

레지스트리 버그 수정:

• Hugging Face 파이프라인이 잘못된 데이터 타입을 사용하여 로딩되던 문제를 수정했습니다.

• 모델 서명을 추론할 때 실제로는 한 행만 사용되던 문제를 수정했습니다.

새로운 기능¶

새로운 Cortex 특성:

• Complete 함수에 guardrails 옵션이 새로 추가되었습니다.

종속성 업그레이드¶

• fsspec 과 s3fs 는 2024.6.1 이상 2026 미만이어야 합니다.

• mlflow 2.16.0 이상이고 3 미만이어야 합니다.

새로운 기능¶

새로운 Cortex 특성:

• 이제 Cortex 함수는 “snake_case” 이름을 갖습니다. 예를 들어 ClassifyText 는 이제 classify_text 입니다. 이전의 “CamelCase” 이름도 계속 작동하지만, 향후 릴리스에서 제거될 예정입니다.

새로운 Model Registry 기능:

• 이제 레지스트리는 50만 개 이상의 특성을 지원합니다.

• 모델에 이미지나 기타 파일을 포함하기 위해 Registry.log_model 에 user_files 인자를 추가했습니다.

• 자동 매핑 기능으로 Hugging Face 모델 구성 처리를 위한 지원을 추가했습니다.

새로운 데이터 기능:

• DataConnector.from_sql 생성자를 추가했습니다.

버그 수정 사항¶

레지스트리 버그 수정:

• 범위가 아닌 인덱스 pandas DataFrame 을 ModelVersion.run 에 입력으로 제공할 때 발생하는 버그를 수정했습니다.

• 충돌을 방지하기 위해 무작위 Model Registry 이름 생성을 개선했습니다.

• 유형이 ARRAY 이고 NULL 값을 포함하는 열이 있는 Snowpark DataFrame 으로 서명을 추론하거나 추론을 실행할 때 발생하는 문제를 수정했습니다.

• ModelVersion.run 은 이제 정규화된 서비스 이름을 사용할 수 있습니다.

• 전처리 전용 파이프라인 모델을 포함하여 데이터 전처리만 있는 모든 Scikit-learn 모델에 대한 log_model 의 오류를 수정했습니다.

버그 수정 모니터링:

• 정규화된 이름을 사용하여 모니터를 만들 때 발생하는 문제를 수정했습니다.