Snowflake Openflow-Konnektor für Kafka: Konfiguration der AWS MSK IAM-Authentifizierung

AWS MSK IAM-Authentifizierung ermöglicht Ihnen die Verwendung von AWS Identity and Access Management (IAM) zur Authentifizierung bei Amazon Managed Streaming für Apache Kafka (MSK).

Voraussetzungen

  • Ihr Kafka-Cluster muss Amazon MSK mit aktivierter IAM-Authentifizierung sein.

  • Sie müssen IAM-Anmeldeinformationen in Openflow mit BYOC-Konfigurationen (Bring Your Own Cloud) bereitstellen, die in Ihrer Cloud implementiert sind.

  • Die/der IAM-Rolle oder -Benutzer muss über die erforderlichen MSK-Berechtigungen verfügen.

Schritt 1: Erstellen Sie einen AmazonMSKConnectionService

Greifen Sie über die Openflow-Ansicht auf die Konfiguration der Controller-Dienste zu:

  1. Doppelklicken Sie auf die Verarbeitungsgruppe des Konnektors.

  2. Klicken Sie mit der rechten Maustaste auf die Ansicht, und wählen Sie „Controller-Dienste“ aus.

Fügen Sie einen neuen AmazonMSKConnectionService hinzu:

  1. Wählen Sie +, um einen neuen Controller-Dienst hinzuzufügen.

  2. Wählen Sie AmazonMSKConnectionService aus der Liste.

  3. Wählen Sie Hinzufügen.

Konfigurieren Sie die Eigenschaften von AmazonMSKConnectionService:

Eigenschaft

Wert

SASL Mechanism

AWS_MSK_IAM

Security Protocol

#{Kafka Security Protocol}

Bootstrap-Server

#{Kafka Bootstrap Servers}

Überprüfen Sie den AmazonMSKConnectionService:

  1. Wählen Sie für den Dienst Verifizieren.

  2. Stellen Sie sicher, dass der Status des Dienstes als Verifiziert angezeigt wird.

Schritt 2: Konfigurieren Sie den ConsumeKafka-Prozessor

  1. Suchen Sie in Ihrem Kafka-Konnektor den ConsumeKafka-Prozessor.

  2. Konfigurieren Sie den Prozessor für die Verwendung des neuen Verbindungsdienstes:

    Setzen Sie die Eigenschaft Kafka-Verbindungsdienst für den AmazonMSKConnectionService, den Sie in Schritt 1: Erstellen Sie einen AmazonMSKConnectionService erstellt haben.

Schritt 3 (optional): Entfernen Sie alte Kafka-Verbindungen

  1. Suchen Sie auf der Registerkarte „Controller-Dienste“ den alten Kafka3Connection-Dienst.

  2. Deaktivieren und entfernen Sie den Dienst:

    1. Wählen Sie Deaktivieren für den alten Dienst.

    2. Nachdem der Dienst deaktiviert ist, wählen Sie Löschen, um den alten Dienst zu entfernen.