Verwalten des Kafka-Konnektors

Unter diesem Thema werden die administrativen Aufgaben erläutert, die mit der Verwaltung des Kafka-Konnektors verbunden sind.

Unter diesem Thema:

Löschen der vom Kafka-Konnektor verwendeten Snowflake-Objekte

Wenn Sie nicht mehr weiter Daten mit dem Kafka-Konnektor in Snowflake-Tabellen laden möchten, können Sie Kafka herunterfahren und die vom Konnektor verwendeten Snowflake-Objekte löschen.

Der Konnektor verwendet Snowflake-Objekte der folgenden Typen, um Daten zu erfassen:

  • Benannte interne Stagingbereiche

  • Pipes

  • Tabellen

Dieser Abschnitt enthält Anweisungen zum Suchen und Löschen der vom Kafka-Konnektor verwendeten Snowflake-Objekte.

Löschen von Stagingbereichen

Der Konnektor erstellt für jedes Kafka-Thema einen benannten internen Stagingbereich. Das Format des Stagingbereichnamens lautet:

SNOWFLAKE_KAFKA_CONNECTOR_Konnektorname_STAGE_Tabellenname

Beachten Sie, dass in jedem internen Stagingbereich nicht nur Dateien gespeichert werden, die in Tabellen geladen werden sollen, sondern auch Statusinformationen, mit denen sichergestellt wird, dass Zeilen von Kafka genau einmal in die Tabelle übertragen werden.

Wenn ein Stagingbereich und dessen Statusinformationen erhalten bleiben, versucht der Konnektor beim Anhalten und Neustarten automatisch, an der Stelle fortzufahren, an der er aufgehört hat. Wenn jedoch ein Stagingbereich entfernt wird, kann der Konnektor nicht an der Stelle fortfahren, an der er aufgehört hat, und es kann nicht garantiert werden, dass die Bereitstellung genau einmal erfolgt.

So löschen Sie den vom Kafka-Konnektor verwendeten Stagingbereich:

  1. Suchen Sie die Namen der Stagingbereiche, indem Sie als Eigentümer der Stagingbereiche SHOW STAGES ausführen (d. h. die Rolle mit der Berechtigung OWNERSHIP für die Stagingbereiche. Dies sollte die Standardrolle des Benutzers sein, der in der Kafka-Konfigurationsdatei zum Ausführen des Kafka-Konnektors definiert ist.)

  2. Führen Sie DROP STAGE aus, um jeden Stagingbereich zu löschen, den Sie aus dem System entfernen möchten.

Löschen von Pipes

Der Konnektor erstellt für jede Partition eines Kafka-Themas eine Pipe. Das Format des Pipenamens lautet:

SNOWFLAKE_KAFKA_CONNECTOR_Konnektorname_PIPE_Tabellenname_Partitionsnummer

So löschen Sie die vom Kafka-Konnektor verwendeten Pipes:

  1. Suchen Sie die Namen der Pipes, indem Sie als Eigentümer der Pipes SHOW PIPES ausführen (d. h. die Rolle mit der Berechtigung OWNERSHIP für die Pipes. Dies sollte die Standardrolle des Benutzers sein, der in der Kafka-Konfigurationsdatei zum Ausführen des Kafka-Konnektors definiert ist.)

  2. Führen Sie DROP PIPE aus, um jede Pipe zu löschen, die Sie aus dem System entfernen möchten.

Löschen von Tabellen

Wenn Sie die in Ihre Zieltabellen geladenen Daten nicht mehr benötigen, können Sie die Tabellen löschen.

Wenn Sie Kafka-Themen nicht mit dem snowflake.topic2table.map -Parameter in Kafka-Konfigurationseigenschaften Tabellen zugeordnet haben, hat der Kafka-Konnektor neue Tabellen mit den Themennamen erstellt. Der Tabellenname ist in Großbuchstaben geschrieben, ansonsten jedoch identisch mit dem Themennamen, sofern der Themenname nicht gegen die Regeln für die Benennung von Snowflake-Objekten verstößt. Beispielsweise erstellt Snowflake einen Tabellennamen TEMPERATURE_DATA für ein Kafka-Thema mit dem Namen temperature_data.

So löschen Sie die vom Kafka-Konnektor verwendeten Tabellen:

  1. Suchen Sie die Namen der Tabellen, indem Sie als Eigentümer der Tabellen SHOW TABLES ausführen (d. h. die Rolle mit der BerechtigungOWNERSHIP für die Tabellen. Dies sollte die Standardrolle des Benutzers sein, der in der Kafka-Konfigurationsdatei zum Ausführen des Kafka-Konnektors definiert ist.)

  2. Führen Sie DROP TABLE aus, um jede Tabelle zu löschen, die Sie aus dem System entfernen möchten.