Cortex LLM Playground

Cortex LLM Playground를 사용하면 Cortex AI 에서 사용 가능한 여러 대형 언어 모델에서 텍스트 완성도를 비교할 수 있습니다. 프롬프트 및 모델 설정 전반에서 언어 모델 응답을 테스트하고 모델 출력을 나란히 비교할 수 있습니다. 몇 번의 클릭만으로 모델을 Snowflake 테이블에 연결하여 데이터에서 직접 실험할 수도 있습니다. Cortex LLM Playground는 프로덕션에 배포할 모델을 결정하기 전에 사용 사례에 따라 다양한 언어 모델의 성능을 쉽게 테스트할 수 있도록 특별히 설계되었습니다.

Cortex LLM Playground는 계정의 리전에서 사용 가능한 COMPLETE 함수에 사용할 수 있는 모든 모델을 지원합니다. 전체 모델 목록은 모델 가용성 섹션을 참조하십시오.

필수 권한

Cortex LLM Playground에는 Snowflake Cortex LLM 함수를 호출할 수 있는 권한이 포함된 CORTEX_USER 데이터베이스 역할이 필요합니다. 자세한 내용은 필수 권한 섹션을 참조하십시오.

Cortex LLM Playground 시작하기

Cortex LLM Playground는 Snowflake AI & ML Studio에서 이용할 수 있습니다. 스튜디오는 Snowsight 에서 다음과 같이 액세스할 수 있습니다.

  1. Snowsight 에 로그인합니다.

  2. 탐색 메뉴에서 AI & ML » Studio 를 선택합니다. Cortex LLM Playground는 다른 스튜디오 함수 사이에 표시됩니다.

    Cortex Playground 상자.

  3. Playground를 열려면 Try 를 선택합니다.

언어 모델로 프롬프트 테스트하기

Cortex LLM Playground를 사용하여 다양한 언어 모델에서 프롬프트를 테스트하십시오.

  1. 웨어하우스를 선택합니다. 이 웨어하우스는 COMPLETE 함수를 호출하는 SQL 명령을 실행하는 데 사용됩니다.

  2. 상단의 드롭다운 메뉴에서 모델을 선택합니다. 드롭다운 메뉴에는 사용 중인 계정의 리전에서 사용 가능한 모델만 표시됩니다.

    Cortex Playground 모델 목록.

  3. 프롬프트 상자에 메시지를 입력하고 Enter 를 선택합니다.

  4. 모델 출력은 프롬프트 상자 위에 표시됩니다. View Code 를 선택하면 프롬프트 처리에 사용된 SQL 명령을 확인하고 복사본을 확인할 수 있습니다.

다른 프롬프트 또는 모델을 시도하려면 원하는 모델을 선택하고 프롬프트 상자에 새 프롬프트를 입력한 다음 :kbd: Enter 를 선택합니다.

모델 출력 비교하기

서로 다른 두 모델 또는 같은 모델의 서로 다른 두 설정 간의 프롬프트 출력을 비교하려면 Compare 기능을 사용하십시오.

두 모델 비교

  1. 오른쪽 상단에서 Compare 를 선택합니다.

  2. 양쪽의 드롭다운 메뉴를 사용하여 두 패널에 대해 서로 다른 모델을 선택합니다.

  3. Compare 옆의 Change settings 설정 열기 버튼을 클릭합니다. 을 선택하여 설정 패널을 엽니다.

  4. Sync 토글을 선택하면 두 모델에 동일한 설정을 사용할 수 있습니다.

  5. 프롬프트를 입력하고 Enter 를 선택합니다. 선택한 모델의 출력이 각 면에 표시됩니다.

한 모델에 대한 설정 비교하기

  1. 오른쪽 상단에서 Compare 를 선택합니다.

  2. 두 패널에 대해 동일한 모델을 선택합니다.

  3. Compare 옆의 Change settings 설정 열기 버튼을 클릭합니다. 을 선택하여 설정 패널을 엽니다.

  4. 각 탭마다 temperature, top_p 또는 max_tokens 에 대해 서로 다른 설정을 선택하여 모델 설정에 따라 언어 모델 응답이 어떻게 달라지는지 비교하십시오. 이러한 매개 변수에 대한 자세한 내용은 COMPLETE (SNOWFLAKE.CORTEX) 섹션을 참조하십시오.

  5. 또한 Enable Cortex Guard 에서 잠재적으로 부적절하거나 안전하지 않은 대규모 언어 모델(LLM) 응답을 필터링하는 안전 장치를 구현할 수도 있습니다. Cortex Guard에 대한 자세한 내용은 Cortex Guard 섹션을 참조하십시오.

  6. 프롬프트를 입력하고 Enter 를 선택합니다. 각 설정 세트에 대한 모델의 출력이 각 면에 표시됩니다.

Snowflake 테이블에 연결하기

모델을 텍스트 완성으로 테스트하려는 텍스트 데이터가 있는 Snowflake 테이블에 연결할 수 있습니다.

참고

열은 하나만 선택할 수 있습니다. Cortex LLM Playground는 최대 100행까지 반환합니다.

  1. 프롬프트 상자에서 + Connect your data 버튼을 선택합니다.

  2. 드롭다운 메뉴에서 Snowflake 데이터 소스를 선택합니다.

  3. 테스트하려는 텍스트 데이터가 있는 열을 선택합니다.

  4. 필터로 사용할 열을 선택합니다. 이 열을 사용하여 데이터 소스에서 기록을 선택할 수 있습니다.

  5. Done 를 선택합니다.

  6. 프롬프트 상자의 Select <filter column> 필드를 사용하여 데이터 소스에서 기록을 선택합니다. 스크롤하거나 텍스트 데이터에서 용어를 검색하여 기록을 선택할 수 있습니다. 검색하려면 검색창에 검색어를 입력합니다. 다음 예제는 ID 라는 필터 열을 보여줍니다. 이 예제에서는 특정 ID 번호를 검색하거나 텍스트 데이터와 일치하는 문자열을 입력할 수 있습니다.

    Cortex Playground는 데이터를 연결합니다.

  7. System Prompt 를 입력하고 Enter 를 선택하여 모델 응답을 확인합니다. 시스템 프롬프트는 입력 텍스트를 처리하는 방법에 대한 지침을 모델에 제공합니다. 예를 들어, 모델이 선택한 텍스트를 요약하거나 키워드를 추출하도록 할 수 있습니다.

설정 제어하기

모델 설정을 조정하여 서로 다른 temperature, top_p, max_tokens 설정으로 제공될 때 언어 모델 응답이 어떻게 달라지는지 비교할 수 있습니다. 잠재적으로 부적절하거나 안전하지 않은 응답을 필터링하는 안전 장치를 구현하려면 설정 패널에서 Enable Cortex Guard 를 선택합니다.

이러한 설정이 언어 모델 응답에 어떤 영향을 미치는지에 대한 자세한 내용은 온도 및 토큰 제어하기 페이지에서 확인할 수 있습니다.

  1. Change settings 설정 열기 버튼을 클릭합니다. 을 선택하여 오른쪽 상단의 설정 메뉴를 엽니다.

  2. 해당 설정의 확인란을 선택하여 값을 조정합니다.

    Cortex Playground 모델 설정.

  3. 다양한 설정으로 프롬프트를 사용해 보십시오.

SQL 쿼리 내보내기

Cortex LLM Playground에서 정의한 온도 등의 설정이 포함된 SQL 쿼리를 가져오려면 모델 응답 뒤에 View Code 를 선택합니다. 표시된 코드는 워크시트 또는 노트북 에서 실행하거나 스트림 및 작업 을 사용하여 연속 실행을 위해 자동화할 수 있습니다. 이 코드를 동적 테이블 과 함께 사용할 수도 있습니다.

참고

동적 테이블은 COMPLETE 를 사용한 증분 새로 고침을 지원하지 않습니다.

다음 이미지는 View SQL 대화 상자의 예를 보여줍니다.

데이터가 연결된 상태로 SQL 내보내기

예제 1: 모델을 Snowflake 테이블에 연결할 때 코드 내보내기

데이터가 연결되지 않은 상태에서 코드 내보내기

예 2: 모델을 Snowflake 테이블에 연결하지 않은 경우 코드 내보내기

언어: 한국어