Verwalten des Kafka-Konnektors

Unter diesem Thema werden die administrativen Aufgaben erläutert, die mit der Verwaltung des Kafka-Konnektors verbunden sind.

Unter diesem Thema:

Löschen der vom Kafka-Konnektor verwendeten Snowflake-Objekte

Wenn Sie nicht mehr weiter Daten mit dem Kafka-Konnektor in Snowflake-Tabellen laden möchten, können Sie Kafka herunterfahren und die vom Konnektor verwendeten Snowflake-Objekte löschen.

Der Konnektor verwendet Snowflake-Objekte der folgenden Typen, um Daten zu erfassen:

  • Benannte interne Stagingbereiche

  • Pipes

  • Tabellen

Dieser Abschnitt enthält Anweisungen zum Suchen und Löschen der vom Kafka-Konnektor verwendeten Snowflake-Objekte.

Löschen von Stagingbereichen

Der Konnektor erstellt für jedes Kafka-Thema einen benannten internen Stagingbereich. Das Format des Stagingbereichnamens lautet:

SNOWFLAKE_KAFKA_CONNECTOR_Konnektorname_STAGE_Tabellenname

Beachten Sie, dass in jedem internen Stagingbereich nicht nur Dateien gespeichert werden, die in Tabellen geladen werden sollen, sondern auch Statusinformationen, mit denen sichergestellt wird, dass Zeilen von Kafka in die Tabelle übertragen werden.

Wenn ein Stagingbereich und dessen Statusinformationen erhalten bleiben, versucht der Konnektor beim Anhalten und Neustarten automatisch, an der Stelle fortzufahren, an der er aufgehört hat. Wenn jedoch ein Stagingbereich entfernt wird, kann der Konnektor nicht an der Stelle fortfahren, an der er aufgehört hat.

So löschen Sie den vom Kafka-Konnektor verwendeten Stagingbereich:

#. Find the names of the stages by executing SHOW STAGES as the stages owner (i.e. the role with the OWNERSHIP privilege on the stages. This should be the default role of the user defined in the Kafka configuration file to run the Kafka connector).

  1. Führen Sie DROP STAGE aus, um jeden Stagingbereich zu löschen, den Sie aus dem System entfernen möchten.

Löschen von Pipes

Der Konnektor erstellt für jede Partition eines Kafka-Themas eine Pipe. Das Format des Pipenamens lautet:

SNOWFLAKE_KAFKA_CONNECTOR_Konnektorname_PIPE_Tabellenname_Partitionsnummer

So löschen Sie die vom Kafka-Konnektor verwendeten Pipes:

  1. Suchen Sie die Namen der Pipes, indem Sie als Eigentümer der Pipes SHOW PIPES ausführen (d. h. die Rolle mit der Berechtigung OWNERSHIP für die Pipes. Dies sollte die Standardrolle des Benutzers sein, der in der Kafka-Konfigurationsdatei zum Ausführen des Kafka-Konnektors definiert ist.)

  2. Führen Sie DROP PIPE aus, um jede Pipe zu löschen, die Sie aus dem System entfernen möchten.

Löschen von Tabellen

Wenn Sie die in Ihre Zieltabellen geladenen Daten nicht mehr benötigen, können Sie die Tabellen löschen.

Wenn Sie Kafka-Themen nicht mit dem snowflake.topic2table.map -Parameter in Kafka-Konfigurationseigenschaften Tabellen zugeordnet haben, hat der Kafka-Konnektor neue Tabellen mit den Themennamen erstellt. Der Tabellenname ist in Großbuchstaben geschrieben, ansonsten jedoch identisch mit dem Themennamen, sofern der Themenname nicht gegen die Regeln für die Benennung von Snowflake-Objekten verstößt. Beispielsweise erstellt Snowflake einen Tabellennamen TEMPERATURE_DATA für ein Kafka-Thema mit dem Namen temperature_data.

So löschen Sie die vom Kafka-Konnektor verwendeten Tabellen:

  1. Suchen Sie die Namen der Tabellen, indem Sie als Eigentümer der Tabellen SHOW TABLES ausführen (d. h. die Rolle mit der BerechtigungOWNERSHIP für die Tabellen. Dies sollte die Standardrolle des Benutzers sein, der in der Kafka-Konfigurationsdatei zum Ausführen des Kafka-Konnektors definiert ist.)

  2. Führen Sie DROP TABLE aus, um jede Tabelle zu löschen, die Sie aus dem System entfernen möchten.