Snowflake Connector for Spark-Versionshinweise 2022¶

Dieser Artikel enthält die Versionshinweise für Snowflake Connector for Spark, einschließlich der folgenden, sofern zutreffend:

Verhaltensänderungen
Neue Features
Fehlerkorrekturen für Kunden

Snowflake verwendet semantische Versionierung für Snowflake Connector for Spark-Aktualisierungen.

Version 2.11.1 (13. Dezember 2022)¶

Neue Features¶

Unterstützung für die Bereitstellung von AWS VPCE hinzugefügt, indem der Konfigurationsparameter S3_STAGE_VPCE_DNS_NAME zur Angabe des VPCE-DNS-Namens auf Sitzungsebene hinzugefügt wurde.
Neue Konfigurationsoption „treat_decimal_as_long“ hinzugefügt, damit der Spark-Konnektor Long-Werte anstelle von BigDecimal-Werten zurückgibt, wenn die Abfrage Decimal(<any_precision>, 0) zurückgibt. Achtung: Wenn der Wert größer ist als der Maximalwert von Long, wird ein Fehler ausgelöst.
Neue Option „proxy_protocol“ hinzugefügt, mit der Sie das Proxyprotokoll (http oder https) bei AWS-Bereitstellungen angeben können. (Die Option hat keine Auswirkungen auf Azure- und GCP-Bereitstellungen.).
Unterstützung für das Zählen von Zeilen in einer Tabelle hinzugefügt, bei der die Zeilenzahl größer als der Maximalwert von Integer ist.
Der Konnektor wurde aktualisiert und verwendet nun den Snowflake-JDBC-Treiber 3.13.24.

Fehlerkorrekturen¶

Konnektor wurde aktualisiert, um JDBC-Verbindungen zu schließen und so Verbindungslecks zu vermeiden.
Problem mit NullPointerException beim Senden von Telemetrie-Meldungen behoben.

Version 2.11.0 (2. September 2022)¶

Kompatible JDBC-Treiberversion: 3.13.22

Unterstützung von Spark 3.3 hinzugefügt und einige Fehler korrigiert:
- Version des PostgreSQL-JDBC-Treibers, von dem die Tests abhängen, wurde aktualisiert, um die Sicherheitslücke CVE-2022-31197 zu vermeiden.
- Konnektor wurde aktualisiert, um den Snowflake-JDBC-Treiber 3.13.22 und das Snowflake Ingest-SDK 0.10.8 zu verwenden.

Bemerkung

Ab Version 2.11.0 unterstützt der Snowflake-Konnektor für Spark die Spark-Versionen 3.1, 3.2 und 3.3. Version 2.11.0 des Snowflake-Konnektors für Spark bietet keine Unterstützung mehr für Spark 3.0. Beachten Sie aber, dass frühere Versionen des Konnektors weiterhin Spark 3.0 unterstützen.
Für Snowflake-GCP-Konten funktionieren die Snowflake-JDBC-Treiberversionen 3.13.16 bis 3.13.21 nicht mit dem Spark-Konnektor.

Version 2.10.1 (15. August 2022)¶

Kompatible JDBC-Treiberversion: 3.13.14

Fehlerkorrekturen¶

Unnötige Abhängigkeiten von Bibliotheken wurden entfernt, um die Sicherheitslücken CVE-2020-8908 und CVE-2018-10237 zu vermeiden.
Unterstützung für die Verwendung des JDBC-Datentyps TIMESTAMP_WITH_TIMEZONE beim Lesen von Daten aus Snowflake hinzugefügt.
Die Logik für die Prüfung auf das Vorhandensein einer Tabelle vor dem Speichern eines DataFrame in Snowflake wurde geändert:
- Der Konnektor verwendet jetzt wieder die bestehende Konnektivität (anstatt eine neue Verbindung zu erstellen), um mögliche Probleme mit dem Ablaufen von Tokens zu vermeiden.
- Wenn der Tabellenname nicht vollqualifiziert ist (d. h. den Schemanamen nicht enthält), sucht der Konnektor die Tabelle jetzt unter dem von sfSchema angegebenen Schema und nicht in dem Schema, das derzeit in der Sitzung verwendet wird.
  
  Bemerkung
  
  Wenn Sie einen DataFrame in einer Tabelle in einem anderen Schema als sfSchema speichern müssen, geben Sie das Schema als Teil des vollqualifizierten Namens der Tabelle an, anstatt USE SCHEMA auszuführen, um das aktuelle Schema zu ändern.
Verarbeitungsleistung durch Vermeidung unnötiger parse_json()-Aufrufe im COPY INTO TABLE-Befehl verbessert, wenn ein DataFrame mit ArrayType-, MapType- oder StructType-Spalten in Snowflake geschrieben wird.
Die Methoden getLastSelectQueryId und getLastCopyLoadQueryId wurden der Klasse Utils hinzugefügt. Diese Methoden geben die Abfrage-ID der letzten Abfrage, die Daten aus Snowflake gelesen hat, bzw. die zuletzt ausgeführte COPY INTO TABLE-Anweisung zurück.

Version 2.10.0 (17. Februar 2022)¶

Kompatible JDBC-Treiberversion: 3.13.14

Verhaltensänderungen¶

Unterstützung von Spark, Version 3.2 hinzugefügt. Ab diesem Release unterstützt der Snowflake-Konnektor für Spark nur noch Spark 3.0, 3.1 und 3.2. Die Spark-Version 2.4 wird nicht mehr unterstützt.

Fehlerkorrektur¶

Problem behoben, bei dem die Zeichenfolge „null“ als NULL-Typ verarbeitet wurde.