Openflow Connector for Kafkaのパフォーマンスチューニング¶

パーティション数¶

More partitions allow for higher parallelism but require careful coordination with consumer configuration. Excessive partitions can cause several issues: increased memory usage, slower leader elections during failures, and significant metadata management overhead on brokers.

圧縮¶

メッセージ圧縮はネットワーク帯域幅を削減できますが、 CPU オーバーヘッドが増加します。

フローファイルのサイズ¶

パフォーマンスを最適化するには、フローファイルに個々の小さなメッセージを含めるのではなく、1～10 MB の範囲にします。より大きなフローファイルは、処理のオーバーヘッドを削減し、個々のファイル操作の数を最小限に抑えることでスループットを向上させます。デフォルト設定では、許容範囲内のサイズのフローファイルが得られるはずです。スループットが低いと、小さなフローファイルが予想されます。

If you observe small flowfiles with high throughput, contact Snowflake Support for assistance.

ネットワークレイテンシ¶

Lower latency between Kafka brokers and Openflow improves overall performance. Snowflake recommends deploying Kafka brokers and Openflow in the same CSP region.

推奨ノードサイズ¶

The following table provides configuration recommendations based on expected workload characteristics:

プロセッサーの並行タスクの調整¶

To optimize processor performance, you can adjust the number of concurrent tasks for both ConsumeKafka and PublishSnowpipeStreaming processors. Concurrent tasks allow processors to run multiple threads simultaneously, improving throughput for high-volume scenarios.

プロセッサーの並行タスクを調整するには、以下のタスクを実行します。

1. Openflowキャンバスでプロセッサーを右クリックします。

2. Select Configure from the context menu.

3. Navigate to the Scheduling tab.

4. In the Concurrent tasks field, enter the preferred number of concurrent tasks.

5. Select Apply to save the configuration.

並行タスクの推奨設定¶

The following table provides recommended concurrent task settings for different node sizes:

重要な考慮事項¶

メモリ使用状況

各並行タスクは追加のメモリを消費します。並行タスクの増加時に JVM のヒープ使用状況を監視します。

Kafkaパーティション

For ConsumeKafka, the number of concurrent tasks multiplied by the number of runtime nodes should not exceed the number of total Kafka partitions from all topics.

控えめにスタートする

低い値から始め、パフォーマンスメトリックを監視しながら徐々に上げていきます。

Troubleshooting performance issues: Common performance bottlenecks¶