データファイルの準備¶

ファイルサイズのベストプラクティス¶

最適なロードパフォーマンスと サイズ制限 を回避するために、次のデータファイルのサイズ設定ガイドラインを考慮します。これらの推奨事項は、Snowpipeを使用した連続ロードだけでなく、一括データロードにも該当します。

データベースオブジェクトのサイズ制限¶

Snowflakeへのデータのロード に使用可能なメソッドのいずれかを使用する場合、以下の制限までのサイズのオブジェクトを格納できます。

VARCHAR 列のデフォルトサイズは16 MB（バイナリの場合は8 MB）です。列サイズが16 MB より大きいテーブルを作成するには、サイズを明示的に指定します。例:

CREATE OR REPLACE TABLE my_table (
  c1 VARCHAR(134217728),
  c2 BINARY(67108864));

VARCHAR 列の新しい制限を使用するには、列のサイズを変更するためにテーブルを変更することができます。例:

ALTER TABLE my_table ALTER COLUMN col1 SET DATA TYPE VARCHAR(134217728);

これらのテーブルのBINARYタイプの列に新しいサイズを適用するには、テーブルを再作成してください。既存のテーブルのBINARY列の長さを変更することはできません。

ARRAY 、 GEOGRAPHY 、 GEOMETRY 、 OBJECT 、 VARIANT のタイプの列については、デフォルトでは、既存のテーブルや新しいテーブルに、長さを指定せずに、16 MB より大きなオブジェクトを格納することができます。例:

CREATE OR REPLACE TABLE my_table (c1 VARIANT);

VARIANT、VARCHARまたは BINARY 値を入力として使用する過去に作成されたプロシージャや関数がある場合は、16 MB よりも大きいオブジェクトをサポートするために（指定されたサイズなしで）それらを再作成する必要がある場合があります。例:

CREATE OR REPLACE FUNCTION udf_varchar(g1 VARCHAR)
  RETURNS VARCHAR
  AS $$
    'Hello' || g1
  $$;

外部で管理された :doc:`Icebergテーブル </user-guide/tables-iceberg-create>`の場合、VARCHAR および BINARY 列のデフォルトのサイズは128 MB です。このデフォルトのサイズは、新しく作成されたテーブルまたは更新されたテーブルに適用されます。過去に作成されたテーブルがある場合は、より小さな制限が適用される可能性があります。より大きなサイズ制限をサポートするには、これらのテーブルを更新します。

管理されているIcebergテーブルでは、VARCHARとBINARY列のデフォルトの長さは128 MBです。新しいサイズ制限が有効になる前に作成されたテーブルは、以前のデフォルトの長さのままです。これらのテーブルのVARCHARタイプの列に新しいサイズを適用するには、テーブルを再作成するか、列を変更してください。以下の例では、列を変更して新しいサイズ制限を使用しています。

ALTER ICEBERG TABLE my_iceberg_table ALTER COLUMN col1 SET DATA TYPE VARCHAR(134217728);

これらのテーブルのBINARYタイプの列に新しいサイズを適用するには、テーブルを再作成してください。既存のテーブルのBINARY列の長さを変更することはできません。

100067 (54000): The data length in result column <column_name> is not supported by this version of the client.
Actual length <actual_size> exceeds supported length of 16777216.

連続データロード（Snowpipeなど）とファイルサイズ¶

Snowpipeは、通常、ファイル通知が送信されてから1分以内に新しいデータをロードするように設計されています。ただし、非常に大きなファイルの場合や、新しいデータの圧縮解除、復号化、変換に通常以上のコンピューティングリソースが必要な場合は、ロードにかなりの時間がかかることがあります。

リソースの消費に加えて、内部ロードキュー内のファイルを管理するためのオーバーヘッドも、Snowpipeに請求される使用コストに含まれます。このオーバーヘッドは、ロードのためにキューに入れられたファイルの数に連動して増加します。Snowpipeは外部テーブルの自動更新のイベント通知に使用されるため、このオーバーヘッド料金は請求明細書にSnowpipe料金として表示されます。

Snowpipeで最も効率的かつコスト効率の良い負荷を体験するためには、 ファイルサイズのベストプラクティス （このトピック内）の推奨ファイルサイジングに従うことをお勧めします。およそ100から250 MB 以上のデータファイルをロードすると、ロードされるデータの合計量に比べて、オーバーヘッドコストが重要ではなくなるまでオーバーヘッド料金が削減されます。

ソースアプリケーションに MBs のデータを蓄積するのに1分以上かかる場合は、新しい（潜在的に小さい）データファイルを1分に1回作成することを検討します。通常、このアプローチは、コスト（つまり、Snowpipeキュー管理に費やされるリソースと実際のロード）とパフォーマンス（つまり、ロードレイテンシー）のバランスにつながります。

小さなデータファイルを作成し、1分に1回よりも頻繁にクラウドストレージにステージングすることには、次の欠点があります。

• データのステージングとロードの間のレイテンシーの縮小は保証できません。

• 内部ロードキュー内のファイルを管理するためのオーバーヘッドは、Snowpipeに請求される使用コストに含まれています。このオーバーヘッドは、ロードのためにキューに入れられたファイルの数に連動して増加します。

さまざまなツールでデータファイルを集約およびバッチ処理できます。便利なオプションの1つは、Amazon Data Firehoseです。Firehoseでは、 バッファーサイズ と呼ばれる目的のファイルサイズと、 バッファーインターバル と呼ばれる新しいファイルが（この場合はクラウドストレージに）送信されるまでの待機間隔の両方を定義できます。詳細については、 Amazon Data Firehoseドキュメント をご参照ください。通常、ソースアプリケーションが1分以内に十分なデータを蓄積して、最適な並列処理のために推奨される最大値よりも大きいファイルを取り込む場合は、小さいファイルをトリガーするようにバッファーサイズを縮小することができます。バッファー間隔の設定を60秒（最小値）に維持すると、ファイルの作成が過剰になったり、待ち時間が長くなったりすることを回避できます。

区切りテキストファイルの準備¶

ロードする区切りテキスト（CSV）ファイルを準備するときは、次のガイドラインを考慮してください。

• UTF-8がデフォルトの文字セットですが、追加のエンコードがサポートされています。ENCODING ファイル形式オプションを使用して、データファイルの文字セットを指定します。詳細については、 CREATE FILE FORMAT をご参照ください。

• 区切り文字を含むフィールドは、引用符（一重または二重）で囲む必要があります。データに一重引用符または二重引用符が含まれる場合、それらの引用符はエスケープする必要があります。

• キャリッジリターンは、通常、Windowsシステム上で行末を示す改行文字（\r \n）と組み合わせて導入されます。キャリッジリターンを含むフィールドも引用符で囲む必要があります（一重または二重）。

• 各行の列数は一貫している必要があります。

半構造化データファイルとサブカラム化¶

半構造化データが VARIANT 列に挿入されると、Snowflakeは特定のルールを使用して、可能な限り多くのデータを列指向形式で抽出します。残りのデータは、解析された半構造化構造の単一の列として格納されます。

デフォルトでは、Snowflakeはテーブルごと、パーティションごとに最大200個の要素を抽出します。この制限を増やすには、 Snowflakeサポート にお問い合わせください。

数値データのガイドライン¶

• コンマなどの埋め込み文字（例: 123,456）は避けます。

• 数値に小数部が含まれる場合、整数部と小数点で区切る必要があります（例: 123456.789）。

• Oracleのみ。Oracleの NUMBER または NUMERIC 型は、任意のスケールを許可します。つまり、データ型が精度またはスケールで定義されていなくても、小数成分を持つ値を受け入れます。一方、Snowflakeでは、小数部分を持つ値用に設計された列は、小数部分を保持するスケールで定義する必要があります。

日付とタイムスタンプのデータガイドライン¶

• 日付、時刻、タイムスタンプデータのサポートされている形式については、 日付と時刻の入出力形式 をご参照ください。

• Oracleのみ。Oracle DATE データ型には、日付 または タイムスタンプ情報を含めることができます。Oracleデータベースに時間関連情報も保存する DATE 列が含まれている場合、これらの列を DATEではなくSnowflakeの TIMESTAMP データ型にマップします。