サービスでのブロックストレージボリュームの使用¶

ステップ1: ブロックストレージ量を定義する¶

spec.volumes フィールドを指定して、作成するブロックストレージボリュームを定義します。

spec:
  containers:
  ...
  volumes:
    - name: <name>
      source: block
      size: <size-in-Gi>
      blockConfig:                             # optional
        initialContents:
          fromSnapshot: <snapshot-name>
        iops: <number-of-operations>
        throughput: <MiB-per-second>
        encryption: SNOWFLAKE_SSE | SNOWFLAKE_FULL

以下のフィールドは必須です。

• name: ボリュームの名前。

• source: ボリュームのタイプ。ブロックストレージボリュームの場合、値は block です。

• size: ブロックストレージボリュームのストレージ容量（バイト単位）。値は常に整数でなければならず、Gi単位のサフィックスを使って指定します。たとえば、 5Gi は 5*1024*1024*1024 バイトを意味します。クラウドプロバイダーのサイズ値の範囲:

  • 1Gi to 65536Gi for AWS.

  • 1Gi to 16384Gi for Azure.

  • Google Cloudに対して 4Gi を 16384Gi に。

以下はオプションのフィールドです。

• blockConfig.initialContents.fromSnapshot: ブロックボリュームを初期化するために、別のボリュームの以前に取得したスナップショットを指定します。スナップショット名には、 完全修飾オブジェクト識別子、例えば TUTORIAL_DB.DATA_SCHEMA.MY_SNAPSHOT を使用することができます。また、スナップショット名は、データベースとサービスのスキーマに関連して解決されます。つまり、 TUTORIAL_DB.DATA_SCHEMA でサービスを作成した場合、 fromSnapshot: MY_SNAPSHOT は fromSnapshot: TUTORIAL_DB.DATA_SCHEMA.MY_SNAPSHOT と同等です。

  次の点に注意してください。

  • スナップショットは、ボリュームの作成に使用する前に CREATED の状態になっている必要があります。そうでないと、サービスの作成は失敗します。

  • スナップショットの暗号化タイプは、作成されるボリュームの暗号化タイプと一致する必要があります。

  スナップショットのステータスと暗号化タイプを取得するには、 DESCRIBE SNAPSHOT コマンドを使用します。

• blockConfig.iops:1秒間にサポートされる入出力操作のピーク数を指定します。なお、1回あたりのデータサイズの上限は256 KiB です。

  • For AWS: The supported range is 3000-80000, with a default of 3000.

  • Azureの場合: 対応範囲は3000～80000で、デフォルトは3000です。

  • Google Cloudの場合:

    • Google Cloud CPU instances: The supported range is 2000-160000, with the following defaults:

      • 4 Giディスクサイズの場合、2000 IOPS

      • 5 Giディスクサイズの場合、2500 IOPS

      • その他すべてのディスクサイズの場合、3000 IOPS

    • Google Cloud GPU インスタンス:Snowflakeでは、スループットのみを指定することを推奨しています。Google Cloudの GPU インスタンスの場合、 blockConfig.iops は16 * blockConfig.throughput である必要があります。

• blockConfig.throughput: ボリュームにプロビジョニングするピークスループットを MiB/秒で指定します。

  • For AWS: The supported range is 125 - 2000, with a default of 125.

  • Azureの場合: 対応範囲は125～1200で、デフォルトは125です。

  • Google Cloudの場合:

    • Google Cloud CPU インスタンス: 対応範囲は140～2400で、デフォルトは140です。

    • Google Cloud GPU インスタンス: 対応範囲は400～1,200,000で、デフォルトは400ですが、ボリュームサイズの GB あたり0.12を下回ることはありません。

• blockConfig.encryption: ボリュームの暗号化タイプを指定: SNOWFLAKE_SSE または SNOWFLAKE_FULL。詳細については、 暗号化のサポート をご参照ください。

ステップ2：コンテナ内の量をマウントする場所を指定する¶

spec.volumes フィールドを追加してブロックストレージ量を定義した後、次の例に示すように spec.containers.volumeMounts フィールドを使用して、アプリケーションコンテナの量をマウントする場所を記述します。

spec:
  containers:
  - name: ...
    image: ...
    volumeMounts:
    - name: <volume-name>
      mountPath: <absolute_directory_path>

例¶

• 10Giサイズのブロックストレージ量がマウントされたサービスを作成する量はメインコンテナ内のパス /opt/block/path にマウントされます。

  CREATE SERVICE my_service
  IN COMPUTE POOL tutorial_compute_pool
  FROM SPECIFICATION $$
  spec:
    containers:
    - name: echo
      image: /tutorial_db/data_schema/tutorial_repository/my_echo_service_image:latest
      volumeMounts:
      - name: block-vol
        mountPath: /opt/block/path
      readinessProbe:
        port: 8080
        path: /healthcheck
    endpoints:
    - name: echoendpoint
      port: 8080
      public: true
    volumes:
    - name: block-vol
      source: block
      size: 10Gi
  $$;
  

  Copy

• スナップショットから初期化されたブロックストレージ量でサービスを作成します。

  CREATE SERVICE new_service
    IN COMPUTE POOL tutorial_compute_pool
    FROM SPECIFICATION $$
  spec:
    containers:
    - name: echo
      image: /tutorial_db/data_schema/tutorial_repository/my_echo_service_image:tutorial
      volumeMounts:
      - name: vol-from-snapshot
        mountPath: /opt/block/path
      readinessProbe:
        port: 8080
        path: /healthcheck
    endpoints:
    - name: echoendpoint
      port: 8080
      public: true
    volumes:
    - name: vol-from-snapshot
      source: block
      size: 50Gi
      blockConfig:
        initialContents:
          fromSnapshot: BACKUP_DB.SNAPSHOTS.MY_SNAPSHOT
  $$
  

  Copy

ステップバイステップの手順の例については、 チュートリアル5:ブロックストレージボリュームがマウントされたサービスを作成する をご参照ください。このチュートリアルでは、マウントされたブロックストレージ量でサービスを作成する方法を説明します。

IOPS とスループットについて¶

サービス IO のパフォーマンスが期待に満たず、サービスがブロック量 IO またはスループットの影響を受けている場合、 IOPS またはスループットの増加を検討することができます。現在の実装では、そのような変更はサービスを再作成する必要があります。

これらの 利用可能なプラットフォーム・メトリクス を確認することで、サービスがブロック・ストレージ上でボトルネックになっているかどうかを特定することができます。

• container.cpu.usage

• volume.read.iops

• volume.write.iops

• volume.read.throughput

• volume.write.throughput

クラウドプロバイダーによっては、以下の考慮事項が適用されます。

• AWS のiopsとスループットの構成:

  • The maximum IOPS that can be configured is 500 IOPS per GiB of volume size, to a maximum of 80,000 IOPS. For example, the maximum IOPS of a 10 GiB volume can be 500 * 10 = 5000. Accordingly, note that the maximum IOPS of 80,000 can only be configured if your volume is 160 GiB or larger.

  • The maximum throughput that can be configured is 1 MiB/second for every 4 IOPS, to a maximum of 2000 MiBs/second. For example, with the default 3000 IOPS you can configure throughput up to 750 MiB/second (3000/4=750).

• Azureのiopsとスループットの構成:

  • ボリュームサイズが6 GB の後、サポートされる IOPS の数は、6 GB （ディスクタイプ）を超える GB ごとに500ずつ増加します。10GB ボリュームの最大 IOPS は500 * 4 + 3000 = 5000です。したがって、最大80,000の IOPS は、ボリュームが160 GiB 以上の場合にのみ設定できることに注意してください。

  • 6 GB 以降、設定可能な最大スループットは、IOPS 毎に0.25 MiB/秒、最大1200 MiBs/秒です。例えば、デフォルトの3000 IOPS では、最大750 MiB/秒（3000*0.25=750）のスループットを設定できます。

• Google Cloudのiopsとスループットの構成:

  • CPU インスタンスの場合:

    • IOPS は、ボリュームサイズ1 Giあたり最大500 IOPS まで構成可能で、最大160,000 IOPS です。例えば、10 Giのボリュームは最大5,000 IOPS （500 IOPS * 10 Gi）を達成することができます。最大160,000 IOPS を達成するには、320 Gi以上のボリュームサイズが必要です。

    • 最大スループットは2400 MiB/秒の構成が可能で、4 IOPS ごとに1 MiB/秒のレートとなります。例えば、3000 IOPS の場合、最大750 MiB/秒のスループットが可能になります（3000 / 4 = 750）。

  • GPU インスタンスの場合:

    • IOPS はスループットとは独立してセットすることはできません。IOPS は16にスループット値を掛けて計算されます。したがって、スループットを指定すると、自動的に IOPS が決まります。GPU インスタンスで使用するディスクには、 IOPS の構成はお勧めしません。

    • 最小スループットを構成する必要があります。少なくとも400 MiB/秒、またはボリュームサイズ GiB ごとに0.12 MiB/秒のいずれか高い方でなければなりません。

    • 構成可能なスループットレートは、最大1,200,000 MiB/秒まで、ボリュームサイズ GiB あたり1600 MiB/秒です。一例として、10 GiB のボリュームで最大スループット16,000 MiB/秒（1600 * 10）を達成できます。なお、上限の1,200,000 MiB/秒は、750 GiB 以上のボリュームでのみ達成可能です。

削除時のスナップショット¶

以下のコマンドは、サービスに関連付けられたブロックボリュームを削除します。

• DROP SERVICE <service-name> FORCE

• ALTER COMPUTE POOL <compute-pool-name> STOP ALL

• ALTER SERVICE <service-name> RESTORE VOLUME <volume-name> FROM SNAPSHOT

The snapshotOnDelete option defaults to true for services and false for jobs. When the value is true, Snowflake takes a snapshot of the volume before deletion, to protect you from accidental data loss. You add this option in the service specification as part of the blockConfig configuration.

他のスナップショットとは異なり、これらのスナップショットは一定期間が経過すると自動的に削除されます。スナップショットの保持期間はデフォルトで7日間で、 snapshotDeleteAfter フィールドを使用して構成できます。

Snowflakeは、次の形式でスナップショット名を割り当てます。 SYS_BACKUP_ON_DELETE<string>_<timestamp>