Databricks Runtime 18 (Beta)

Diese Seite enthält einheitliche Versionshinweise für Databricks Runtime 18, unterstützt von Apache Spark 4.1.0. Es listet alle Features, Verhaltensänderungen und Korrekturen auf, die im gesamten Databricks Runtime 18-Releasezyklus bereitgestellt werden.

Über einheitliche Versionshinweise

Azure Databricks veröffentlicht Funktionen schrittweise im Verlauf des Releasezyklus, ohne die Versionsnummer zu ändern. Statt für jede Nebenversion separate Seiten zu verwenden, werden alle Aktualisierungen auf dieser einzelnen Seite als datierte Einträge angezeigt. Cluster erhalten Updates, wenn sie neu gestartet werden.

Databricks Runtime 18 ist die erste Version, die dieses einheitliche Format verwendet. Zuvor hatte jede Featureversion (18.0, 18.1, 18.2) eine eigene Versionshinweiseseite. Diese Seiten bleiben referenzierend verfügbar. Features, die zuvor als 18.3 oder höher ausgeliefert wurden, werden jetzt als veraltete Updates für Databricks Runtime 18 ausgeliefert.

• Databricks Runtime 18.0
• Databricks Runtime 18.1
• Databricks Runtime 18.2

In Zukunft folgen Databricks-Runtime-Versionen einem Lebenszyklus von Beta (Early Evaluation) über GA (Featureentwicklung, ca. sechs Monate) bis LTS (langfristige Unterstützung, drei Jahre Stabilität und Sicherheitsupdates). Da 18.0 bis 18.2 unter dem vorherigen Modell ausgeliefert wurde, ist Databricks Runtime 18 eine Übergangsversion, die direkt von Beta zu LTS wechselt. Vollständige Lebenszyklusdetails finden Sie unter Databricks Runtime-Supportlebenszyklus.

Databricks Runtime 18: 29. Mai 2026

• Deduplizierung in Structured Streaming mit NaN-Deduplizierungsschlüsseln: Structured Streaming behandelt bei der Deduplizierung jetzt NaN-Werte (Not-a-Number) mit unterschiedlichen Bitmustern als Duplikate, wenn eine double- oder float-Spalte als Deduplizierungsschlüssel verwendet wird. NaN Zuvor wurden Werte mit unterschiedlichen internen Darstellungen als eindeutig behandelt und nicht dedupliziert.
• Es wurde ein Problem behoben, bei dem Berechtigungen auf Tabellenebene während der Metadatenaktualisierung aus Fremdkatalogtabellen in Unity Catalog (z. B. Tabellen aus Snowflake-Verbindungen) entfernt werden konnten, wodurch Abfragen mit Fehlern vom Typ INSUFFICIENT_PERMISSIONS fehlschlugen. Berechtigungen bleiben jetzt erhalten, wenn Fremdtabellenmetadaten aktualisiert werden.

Databricks Runtime 18: 18. Mai 2026

Verhaltensänderungen

Überprüfen Sie die folgenden Änderungen, die wirksam werden, wenn Cluster auf dieser Laufzeit neu gestartet werden.

• CREATE OR REPLACE TABLE: CREATE OR REPLACE TABLE behält jetzt standardmäßig vorhandene Spalten- und Tabellenkommentare bei. Zuvor wurden Kommentare beim Erneuten Erstellen einer Tabelle gelöscht. Verwaltete Tabellen und Ansichten entsprechen nun dem vorhandenen Verhalten materialisierter Ansichten und Streamingtabellen.
• DataFrame-Schreibvorgänge nach Namen: writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() und write.mode("append").saveAsTable() wandeln jetzt typkompatible Spalten automatisch um (zum Beispiel int in long), damit sie dem Schema der Delta-Zieltabelle entsprechen. Zuvor schlugen diese Vorgänge mit einem DELTA_FAILED_TO_MERGE_FIELDS-Fehler fehl, wenn Spaltentypen kompatibel, aber nicht identisch waren. Das Verhalten stimmt jetzt mit SQL INSERT INTO ... BY NAMEüberein. save() und saveAsTable() im Überschreibmodus sind nicht betroffen.
• ALTER TABLE SET TBLPROPERTIES for pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') versucht jetzt, die angegebene Tabelle für Schreibvorgänge durch die Pipeline zuzulassen. Das Festlegen dieser Eigenschaft auf eine normale Tabelle hat bisher keine Auswirkung. Wenn die Tabelle nicht für Pipeline-Schreibvorgänge geeignet ist, löst der Befehl SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED aus.
• cloud_files_state: Die cloud_files_state Tabellenwertfunktion (TVF) enthält nun eine discovery_mode Spalte, die zeigt, wie das automatische Laden jede Datei ermittelt hat. Dateien, die vor dem Upgrade ermittelt wurden, weisen einen null Wert in dieser Spalte auf.
• DESCRIBE EXTENDED AS JSON: Enthält jetzt Auswertungsergebnisse für die prädiktive Optimierung in der Ausgabe. Zuvor wurden diese Informationen nicht in der JSON-Ausgabe zurückgegeben.
• Messwerte des Metrikansichtsfensters: Liefern jetzt korrekte Ergebnisse, wenn Abfragen GROUP BY, IN/BETWEEN-Filter oder gemischte Prädikate für die Ordnungsspalte des Fensters verwenden. Bisher konnten diese Filtermuster falsche Ergebnisse erzielen.

Neue Features und Verbesserungen

Die folgenden Features und Verbesserungen sind in dieser Version verfügbar.

• Clusterbibliotheken: Wenn Sie PyPI-Bibliotheken, Räder oder requirements.txt Dateien auf einem Cluster installieren, werden nun auf der Registerkarte "Bibliotheken" und der REST-API "Bibliotheken " alle aufgelösten und installierten Pakete angezeigt, einschließlich transitiver Abhängigkeiten. Bei Installationen, die mehr als 500 Pakete auflösen, wird die Liste gekürzt. Der vollständige Installationsbericht ist in den Treiberprotokollen des Clusters verfügbar.
• Auto CDC aus Snapshot mit SQL-Syntax: Lakeflow Spark Declarative Pipelines unterstützen jetzt Auto CDC aus Snapshot mit SQL-Syntax. Bisher war dieses Feature nur über die Python-API verfügbar. Verwenden Sie CREATE STREAMING TABLE ... FLOW AUTO CDC FROM SNAPSHOT, um Snapshot-Quellen (z. B. Delta-Tabellen, Cloudspeicher oder JDBC) jeweils eine Snapshot-Quelle nach der anderen zu verarbeiten. Sowohl SCD Type 1 (Standard) als auch SCD Type 2 werden unterstützt.
• array_sort mit benutzerdefinierten Vergleichsfunktionen: Photon beschleunigt array_sort jetzt Ausdrücke, die benutzerdefinierte Vergleichsfunktionen verwenden, um Arrays von Strukturen nach einem oder mehreren Feldern zu sortieren. Zuvor fielen diese Ausdrücke auf die Nicht-Photon-Ausführung zurück. Um diese Optimierung zu aktivieren, legen Sie diese spark.databricks.photon.rewriteArraySortComparator.enabled Einstellung auf true.

Apache Spark Fixes und Verbesserungen

Diese Version enthält die folgenden Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• SQL-Abfragen unterstützen jetzt eine QUALIFY Klausel, mit der Sie direkt in der Abfrage nach Fensterfunktionsergebnissen filtern können. Zuvor musste die Abfrage dazu in eine Unterabfrage eingebettet werden.
• spark.read.json, spark.read.csvund spark.read.xml akzeptieren Sie jetzt einen DataFrame als Eingabe, sodass Sie In-Memory-Daten analysieren können, ohne sie zuerst in einer Datei zu speichern.
• DataFrame.changes() ist jetzt zum Lesen der CDC-Ausgabe über die DataFrame-API verfügbar.
• Wenn auf eine DataFrame-Spalte aus dem falschen DataFrame verwiesen wird, benennt der Fehler jetzt die bestimmte Spalte. Sie können auch festlegen spark.sql.columnResolution.strict , dass Spark einen strengeren Spaltenabgleich erzwingt und diese Fehler früher abfangen kann.
• MERGE INTO Die Schemaevolution funktioniert jetzt korrekt, wenn die Anweisung WHEN MATCHED THEN DELETE enthält oder über einen Alias auf verschachtelte Spalten verweist. Bisher konnten diese Kombinationen fehlschlagen oder im Hintergrund falsche Ergebnisse erzielen.
• SHOW COLLATIONS listet alle unterstützten Sortierungen und deren Eigenschaften auf, die beim Auswählen einer Sortierung für die Textsortierung oder den Vergleich hilfreich sind.
• Der Abfrageoptimierer von Spark schätzt nun korrekt, wie viel Datenfilter reduziert werden. Falsche Schätzungen führten zuvor dazu, dass Spark bei Joins große Tabellen vollständig in den Arbeitsspeicher lud, was zu Out-of-Memory-Fehlern führte.
• Abfragen mit mehreren COUNT(DISTINCT) Ausdrücken werden schneller ausgeführt, da Spark jetzt die Daten früher im Ausführungsplan reduziert, anstatt sie zuerst zu erweitern.
• Python UDFs, die die Pfeiloptimierung verwenden, führen keine unnötige Datenformatkonvertierung mehr aus, wodurch der Aufwand reduziert wird.
• Stream-Stream-Nicht-äußere Verknüpfungen können jetzt Ausgabe im Updatemodus erzeugen, nicht nur Anfügemodus, wodurch sie in weitere Ausgabeziele schreiben können.
• JDBC-Verbindungen werden jetzt ordnungsgemäß geschlossen, wenn eine Aufgabe abgebrochen wird. Zuvor konnte ein Abbruch eine Verbindung offen lassen, wodurch spätere Aufgaben hängen bleiben konnten.
• array_insert führt nicht mehr zu falschen Ergebnissen, wenn eine sehr große negative Zahl als Einfügeposition angegeben wird.

Databricks Runtime 18: 4. Mai 2026

Verhaltensänderungen

Überprüfen Sie die folgenden Änderungen, die wirksam werden, wenn Cluster auf dieser Laufzeit neu gestartet werden.

• XPath: Beim Auswerten von XPath über XML lädt Azure Databricks externe Dokumenttypdefinitionen (DTDs) nicht mehr. Abfragen, die zuvor nur aufgrund eines nicht erreichbaren externen DTD-Verweises fehlgeschlagen waren, können jetzt erfolgreich sein.
• Verhalten von NULL-Strukturen bei der Schema-Evolution: Für INSERT, MERGE und Streaming-Schreibvorgänge, die Schema-Evolution verwenden, wird eine NULL-Struktur in der Quelle nun als NULL im Ziel gespeichert. Zuvor wurden NULL-Strukturen fälschlicherweise als Nicht-NULL-Strukturen materialisiert, bei denen jedes Feld auf NULL gesetzt war. Aktualisieren Sie allen Code, der davon ausging, eine nicht-null-Struktur zu erhalten, deren Felder alle NULL waren – in diesen Fällen wird jetzt eine NULL-Struktur zurückgegeben.
• NATURAL JOIN: Verwendet jetzt korrekterweise einen Spaltenabgleich ohne Berücksichtigung der Groß-/Kleinschreibung, wenn spark.sql.caseSensitive auf false gesetzt ist (Standard). Zuvor wurden Spalten, die sich nur in der Groß-/Kleinschreibung unterschieden (z. B. ID vs. id), nicht als übereinstimmend erkannt, wodurch NATURAL JOIN stillschweigend Kreuzprodukt-Ergebnisse erzeugte. Diese Korrektur bringt das Verhalten von NATURAL JOIN mit USING Joins in Einklang.
• AWS SDK v1-Abhängigkeiten: Jetzt schattiert und nicht mehr direkt auf dem Klassenpfad verfügbar. Wenn Ihr Code von AWS SDK v1-Bibliotheken abhängt, die zuvor von Databricks Runtime bereitgestellt wurden, fügen Sie sie als explizite Abhängigkeiten in Ihrem Projekt hinzu.
• SQL UDF-Abhängigkeitsüberprüfung im Unity-Katalog: Unity Catalog erzwingt jetzt die Abhängigkeitsüberprüfung für benutzerdefinierte SQL-Funktionen, um die Umgehung der Zugriffssteuerung zu verhindern. SQL UDFs mit ungültigen Abhängigkeitskonfigurationen werden von der Ausführung blockiert.
• LEFT OUTER JOIN LATERAL: Ein Fehler, durch den Zeilen fälschlicherweise gelöscht wurden, wurde behoben. Abfragen, die dieses Konstrukt verwenden, geben jetzt die richtigen Ergebnisse zurück. Um vorübergehend zum vorherigen Verhalten zurückzukehren, setzen Sie spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic auf true.
• regr_r2: Behandelt nun den ersten Parameter ordnungsgemäß als abhängige Variable. Abfragen, die auf dem vorherigen falschen Verhalten basieren, geben unterschiedliche Ergebnisse zurück.
• Hyperbolische Funktionen: sinh, cosh, tanh und verwandte hyperbolische Funktionen geben jetzt Infinity zurück, anstatt bei sehr großen Eingabewerten einen Überlauffehler auszulösen.
• asinh und acosh: Verwenden Sie nun den Fdlibm-Algorithmus für die motorübergreifende Konsistenz. Die Ergebnisse können sich geringfügig von früheren Versionen für Edge-Case-Eingaben unterscheiden.
• LIKE Musterabgleich: Behandelt jetzt ordnungsgemäß ergänzende Unicode-Zeichen (Codepunkte über U+FFFF). Muster, die bei diesen Zeichen zuvor fälschlicherweise übereinstimmten oder fehlschlugen, liefern jetzt die korrekten Ergebnisse.
• VOID (NullType) Spalten: Delta-Tabellen unterstützen jetzt VOID-Spalten (NullType). VOID Spalten werden beim Lesen nicht mehr aus dem Tabellenschema gelöscht. Schreibvorgänge sind nicht betroffen.

Neue Features und Verbesserungen

Die folgenden Features und Verbesserungen sind in dieser Version verfügbar.

• CREATE OR REPLACE TEMP TABLE: Jetzt unterstützt, sodass Sie temporäre Tabellen in einer einzelnen Anweisung erstellen oder ersetzen können.
• agg(): Jetzt als Alias für die measure() Funktion verfügbar. Vorhandene Abfragen, die measure() verwenden, funktionieren weiterhin ohne Änderungen.
• pyspark.pipelines.testing: Jetzt als Komfortalias für dlt.testing APIs verfügbar.
• Leistung beim automatischen Laden: Auto Loader verwendet jetzt eine effizientere Auflistungsmethode, die die Eintragsgeschwindigkeit für Cloudspeicherquellen verbessert. Wenn Ihr Datenstrom aufgrund von langen Auflistungsvorgängen überlappend auslöst, kann diese Optimierung zu höheren Kosten für die Cloudauflistungs-API führen.
• DESCRIBE HISTORY Schreiboptions-Flags: Der Delta-Tabellenverlauf (DESCRIBE HISTORY) enthält jetzt in operationParameters Schreiboptions-Flags für WRITE- und REPLACE TABLE-Operationen. Flags werden nur angezeigt, wenn true: isDynamicPartitionOverwrite, canOverwriteSchema, canMergeSchema, predicate und isV1WriterSaveAsTableOverwrite.
• Strukturiertes Streaming-Rewind und Replay: Strukturiertes Streaming unterstützt jetzt rewinden und wiedergeben, wodurch eine Erneute Verarbeitung von einem früheren Punkt im Datenstrom ermöglicht wird, um Fehler wie Schemaänderungen oder Logikfehler ohne vollständige Zustandszurücksetzung wiederherzustellen.
• SparkSession.emptyDataFrame: Jetzt als Hilfs-API zum Erstellen einer leeren DataFrame ohne Spalten und Zeilen verfügbar.
• TIMESTAMP WITH LOCAL TIME ZONE: Wird nun als SQL-Syntaxalias für den TIMESTAMP_LTZ Typ unterstützt.
• to_json sortKeys option: Die to_json Funktion akzeptiert jetzt eine Option zum Erzeugen der sortKeys JSON-Ausgabe mit Schlüsseln in sortierter Reihenfolge.
• spark.catalog.*: API-Methoden verfügen jetzt über die Featureparität mit ihren entsprechenden DDL-Befehlen für Katalog-, Schema- und Tabellenvorgänge.
• [Sicherheitskorrektur] Sicherheitsupdates des Betriebssystems.

Databricks Runtime 18: 20. April 2026

• Die CRS-Räumliche Referenzautorität für den GEOMETRY(102100) Typ wurde behoben. Die Autorität wird jetzt als ESRI:102100 statt EPSG:102100 gemeldet.
• [Sicherheitskorrektur] Sicherheitsupdates des Betriebssystems.

Databricks Runtime 18: 2. April 2026

• Verbesserte Fehlerbehandlung für Abfragen, die Daten in Delta-Tabellen schreiben, die eine VOID (NullType) Spalte innerhalb eines benutzerdefinierten Typs (UDT) enthalten.
• JDBC-Streaming-Sink-Verbindungen verwenden nun einen 30-Sekunden-Socket-Timeout, eine Wiederholungslogik mit exponentiellem Backoff für vorübergehende Fehler (Verbindungsfehler, Deadlocks, Ratenbegrenzung) und einen kontrollierten Rollback bei unterbrochenen Verbindungen.
• Sql-Textbeschädigung beim Verwenden von Unicode-Zeichen in parametrisierten Abfragen wurde behoben.
• SHOW CREATE TABLE erzeugt jetzt die richtige Ausgabe für Tabellen und Ansichten mit einer nicht standardmäßigen Sortierung.
• [Sicherheitskorrektur] Sicherheitsupdates des Betriebssystems.

Databricks Runtime 18: 11. März 2026

Verhaltensänderungen

Überprüfen Sie die folgenden Änderungen, die wirksam werden, wenn Cluster auf dieser Laufzeit neu gestartet werden.

• Fehler bei Beobachtungsmetriken: Führen nicht mehr zu Fehlern bei der Abfrageausführung. Bisher konnten Fehler in OBSERVE Klauseln (z. B. Division durch Null) die gesamte Abfrage blockieren oder fehlschlagen. Die Abfrage wird nun erfolgreich abgeschlossen, und der Fehler wird ausgelöst, wenn Sie aufrufen observation.get.
• FILTER Klausel für MEASURE: MEASURE-Aggregatfunktionen unterstützen jetzt FILTER-Klauseln. Zuvor wurden Filter unbemerkt ignoriert.
• DESCRIBE FLOW: Der DESCRIBE FLOW Befehl ist jetzt verfügbar. Wenn Sie eine Tabelle mit dem Namen flow haben, verwenden Sie DESCRIBE schema.flow, DESCRIBE TABLE flow oder DESCRIBE `flow` mit Backticks.
• SpatialSQL Boolesche Mengenoperationen: ST_Difference, ST_Intersection und ST_Union verwenden eine neue Implementierung mit den folgenden Verbesserungen:
  • Gültige Eingabegeometrien erzeugen immer ein Ergebnis und lösen keine Fehler mehr aus.
  • Ungefähr 2x schnellere Leistung.
  • Die Ergebnisse werden für eine konsistente, vergleichbare Ausgabe normalisiert.
• Ausnahmetypen für SQLSTATE: Ausnahmetypen werden aktualisiert, um SQLSTATE zu unterstützen. Wenn Ihr Code Ausnahmen anhand von Zeichenfolgenabgleich analysiert oder bestimmte Ausnahmetypen abfangen, aktualisieren Sie die Fehlerbehandlungslogik.
• Automatische Erweiterung von Spaltentypen beim Streaming: Streaming-Lesevorgänge aus Delta-Tabellen berücksichtigen automatisch die Erweiterung von Spaltentypen. Um eine manuelle Bestätigung erforderlich zu machen, legen Sie diese spark.databricks.delta.typeWidening.enableStreamingSchemaTracking Einstellung auf true.

Neue Features und Verbesserungen

Die folgenden Features und Verbesserungen sind in dieser Version verfügbar.

• Dateiereignisse standardmäßig für Auto Loader: Auto Loader verwendet standardmäßig Dateiereignisse, wenn aus einem externen Speicherort mit aktivierten Dateiereignissen geladen wird. Dadurch werden Auflistungsvorgänge und Kosten im Vergleich zur Verzeichnisauflistung reduziert. Siehe Übersicht über Auto Loader mit Dateiereignissen. Wenn Sie stattdessen die Verzeichnisliste verwenden möchten, legen Sie useManagedFileEvents auf false fest.

• Schemaentwicklung mit INSERT: Verwenden Sie die WITH SCHEMA EVOLUTION Klausel mit SQL-Anweisungen INSERT , um das Schema der Zieltabelle während der Einfügevorgänge automatisch zu entwickeln. Unterstützt für INSERT INTO, INSERT OVERWRITE, und INSERT INTO ... REPLACE. Beispiel:

  INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
  

• Delta Sharing-Transaktionen mit mehreren Anweisungen: Delta Sharing-Tabellen, die Freigabemodi mit vorab signierten URLs oder Cloud-Token verwenden, unterstützen Transaktionen mit mehreren Anweisungen. Beim ersten Zugriff innerhalb einer Transaktion wird die Tabellenversion angeheftet und für alle nachfolgenden Lesevorgänge in dieser Transaktion wiederverwendet.

• parse_timestamp: Die SQL-Funktion parse_timestamp parst Zeitstempelzeichenfolgen anhand mehrerer Muster und unterstützt die Photon-Engine für eine verbesserte Leistung.

• max_by und min_by mit optionalem limit: Die Aggregatfunktionen max_by und min_by unterstützen jetzt ein optionales drittes Argument limit (bis zu 100.000). Wenn angegeben, geben die Funktionen ein Array mit bis zu limit Werten zurück, was Top-K- und Bottom-K-Abfragen ohne Fensterfunktionen oder CTEs vereinfacht.

• DATETIMEOFFSET für Azure Synapse: Der Datentyp DATETIMEOFFSET wird für Microsoft Azure Synapse-Verbindungen unterstützt.

• Google BigQuery-Tabellenkommentare: Google BigQuery-Tabellenbeschreibungen werden aufgelöst und als Tabellenkommentare verfügbar gemacht.

• IGNORE NULLS / RESPECT NULLS für array_agg und collect_list: Die Aggregatfunktionen array_agg und collect_list unterstützen jetzt IGNORE NULLS- und RESPECT NULLS-Klauseln.

• PIVOT Aliase: Die PIVOT Klausel unterstützt jetzt Aliase, sodass Sie Pivotspaltenausdrücke in der Ausgabe umbenennen können.

• SQL-SkriptingvariablenCURSOR: Sql-Skripting unterstützt CURSOR jetzt Variablen zum Durchlaufen einer Abfrageergebnissatzzeile nach Zeile innerhalb eines Skriptblocks.

• Vektormathematik-Aggregatfunktionen: Neue Vektor-Aggregatfunktionen sind verfügbar: vector_avg, vector_sum, vector_norm und vector_normalize. Diese Funktionen funktionieren auf dichten Vektorspalten und unterstützen ML-Workloads.

• Trigger.AvailableNow in Python Streamingleser: Python Datenquellenstreamingleser unterstützen jetzt Trigger.AvailableNow und Admission Control, wodurch die einmalige Batchverarbeitung aller verfügbaren Daten ermöglicht wird.

• Zustandsrepartitions-API in PySpark: Die Zustandsrepartitions-API für TransformWithState Streamingoperatoren ist jetzt zusätzlich zu Scala in PySpark verfügbar. Siehe On-Demand-Zustandsumpartitionierung für zustandsbehaftete Streamingabfragen.

• applyInPandas Leistungskorrektur: Eine 3x-Leistungsregression für applyInPandas große Gruppen wurde behoben.

Databricks Runtime 18: 10. März 2026

• Fehlermeldungen für skalare Unterabfragen, die mit EXEC IMMEDIATE verwendet werden, machen die spezifische Ursache nun deutlicher kenntlich.
• Es wurde eine Racebedingung in der Komprimierung des Streamingprüfpunktprotokolls behoben, die in strukturierten Streaming-Abfragen zu einem nicht deterministischen Verhalten führen konnte.
• [Sicherheitskorrektur] Sicherheitsupdates des Betriebssystems.

Databricks Runtime 18: 26. Februar 2026

• SET METADATA ON COLUMN und UNSET METADATA ON COLUMN SQL-Befehle stehen jetzt zum Verwalten von semantischen Metadaten in Unity Catalog-Tabellenspalten zur Verfügung. Dient SET METADATA ON COLUMN zum Anfügen von Eigenschaften (display_name, formatund synonyms) an Spalten. Verwenden Sie UNSET METADATA ON COLUMN, um zuvor festgelegte Metadateneigenschaften zu entfernen.
• DESCRIBE TABLE enthält nun eine metadata Spalte, in der semantische Metadaten auf Spaltenebene als JSON-Zeichenfolge angezeigt werden.
• Es wurde ein PySpark-Importfehler in Windows Umgebungen behoben, die durch ein fehlendes UnixStreamServer verursacht wurden.
• [Sicherheitskorrektur] Sicherheitsupdates des Betriebssystems.

Databricks Runtime 18: 19. Februar 2026

• Beim Ableiten des Schemas von Excel Dateien werden Zeichenfolgenzellen jetzt als Spark StringType abgeleitet, wobei der in Excel festgelegte Zelltyp berücksichtigt wird. Zuvor wurden Zeichenfolgen mit numerischen Werten automatisch in eingeschränktere Typen wie Long oder Decimal umgewandelt. Aktualisieren Sie Code, der auf dem vorherigen Verhalten basiert.
• DataFrame.toJSON() ist jetzt im Python Spark Connect-Client verfügbar.
• [Sicherheitskorrektur] Sicherheitsupdates des Betriebssystems.

Databricks Runtime 18: 27. Januar 2026

• Auto Loader meldet jetzt batchSizeNumFiles, batchSizeNumBytes und Dateiverarbeitungszustände (numFilesProcessed, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) als Metriken.
• INSERT INTO ... BY NAME unterstützt jetzt die REPLACE WHERE Klausel.
• Die Konfigurationseigenschaft spark.sql.xml.legacyXMLParser.enabled wurde umbenannt in spark.sql.legacy.useLegacyXMLParser. Aktualisieren Sie alle Cluster- oder Sitzungskonfigurationen, die den alten Namen verwenden.
• Wenn spark.task.resource.gpu.amount größer als 1 ist, startet Torch Distributor jetzt einen torchrun Prozess pro GPU statt pro Aufgabe.
• [Sicherheitskorrektur] Sicherheitsupdates des Betriebssystems.

Databricks Runtime 18: 15. Januar 2026

Databricks Runtime 18 ist jetzt in der Featureentwicklung, unterstützt von Apache Spark 4.1.0. Diese Version enthält alle Features, Verbesserungen und Fehlerbehebungen aller vorherigen Databricks-Runtime-Versionen.

Verhaltensänderungen

Überprüfen Sie die folgenden Änderungen, die wirksam werden, wenn Cluster auf dieser Laufzeit neu gestartet werden.

• JDK 21: Databricks Runtime 18 verwendet JDK 21 als Standard-Java Development Kit. JDK 21 ist allgemein verfügbar und ist eine langfristige Supportversion (LTS). Zuvor war der Standardwert JDK 17. Wichtige Änderungen:

  • Double.toString() und Float.toString() erzeugen jetzt die kürzesten eindeutigen Zeichenfolgendarstellungen, die sich in einigen Randfällen von den Ausgaben von JDK 17 unterscheiden können.
  • Thread.stop(), Thread.suspend() und Thread.resume() werfen jetzt UnsupportedOperationException.
  • Aktualisierte lokale Daten (CLDR v42) können sich möglicherweise auf die Formatierung von Datum, Uhrzeit und Zahlen auswirken.

  Wenn Kompatibilitätsprobleme auftreten, sollten Sie auf JDK 17 zurückgreifen. Informationen zum Konfigurieren von JDK-Versionen finden Sie unter Erstellen eines Clusters mit einer bestimmten JDK-Version.

• FSCK REPAIR TABLE: Enthält nun einen anfänglichen Metadatenreparaturschritt, bevor nach fehlenden Datendateien gesucht wird. Der Befehl funktioniert in Tabellen mit beschädigten Prüfpunkten oder ungültigen Partitionswerten.

• Spark Connect Scala Nullability: Die Nullierbarkeit von Array- und Kartentypen wird jetzt für typierte Literale im Spark Connect Scala-Client beibehalten. Zuvor waren Elemente von Arrays und Werten von Karten immer nullfähig.

• FSCK REPAIR TABLE DRY RUN: Die dataFilePath Spalte im FSCK REPAIR TABLE DRY RUN Ausgabeschema ist jetzt nullfähig, um die Meldung neuer Problemtypen zu unterstützen, bei denen der Datendateipfad nicht anwendbar ist.

• SHOW TABLES DROPPED: Berücksichtigt nun die LIMIT Klausel richtig.

• Python UDF-Ausführung: Unity Catalog Python UDFs verwenden nun Apache Arrow als Standard-Austauschformat und verbessern die Gesamtleistung. Im Rahmen dieser Änderung enthalten die an die Python-UDFs übergebenen Werte keine Zeitzoneninformationen mehr im TIMESTAMPdatetime-Attribut des Objekts. Die Zeitstempelwerte selbst verbleiben in UTC, aber die Metadaten der Zeitzone werden jetzt gelöscht. Wenn Ihre UDF von den Zeitzoneninformationen abhängt, stellen Sie sie mit date = date.replace(tzinfo=timezone.utc) wieder her. Weitere Informationen finden Sie unter Timestamp-Zeitzonenverhalten für Eingaben.

• Zeitreise und VACUUM Aufbewahrung: Azure Databricks blockiert jetzt Zeitreiseabfragen jenseits des Schwellenwerts deletedFileRetentionDuration für alle Tabellen. Der VACUUM Befehl ignoriert das Argument "Aufbewahrungsdauer", es sei denn, der Wert beträgt 0 Stunden. Sie können deletedFileRetentionDuration nicht größer als logRetentionDuration oder umgekehrt festlegen.

• BinaryType in PySpark: In PySpark ist BinaryType jetzt konsistent Python bytes zugeordnet. Zuvor hat PySpark BinaryType abhängig vom Kontext entweder in bytes oder in bytearray abgebildet. Um das alte Verhalten wiederherzustellen, setzen Sie spark.sql.execution.pyspark.binaryAsBytes auf false fest.

• NULL-Strukturen in Delta MERGE und UPDATE: werden jetzt in Delta MERGE, UPDATE und Streaming-Schreibvorgängen, die Struct-Typumwandlungen enthalten, als NULL beibehalten. Zuvor wurden NULL-Strukturen auf Strukturierungen mit NULL-Feldern erweitert.

• Partitionsspaltenmaterialisierung: Partitionierte Delta-Tabellen materialisieren jetzt Partitionsspalten in neu geschriebenen Parkettdatendateien. Zuvor wurden Partitionswerte in den Delta-Transaktionsprotokollmetadaten gespeichert und in Verzeichnispfaden wiedergegeben, aber nicht als Spalten in den Parkettdateien selbst geschrieben. Diese Änderung steht im Einklang mit dem Verhalten von Apache Iceberg und UniForm und kann sich auf Workloads auswirken, die Parquet-Dateien direkt lesen, die von Delta Lake geschrieben wurden.

• Zeitzone der Zeitstempelpartition: Zeitstempelpartitionswerte wurden zuvor mithilfe der JVM-Zeitzone statt mithilfe der Konfiguration spark.sql.session.timeZone in UTC umgerechnet. Zeitstempelpartitionswerte werden jetzt ordnungsgemäß mithilfe der Zeitzoneneinstellung der Spark-Sitzung angepasst.

• DESCRIBE TABLE Metadatenspalte: Die Ausgabe von DESCRIBE TABLE [EXTENDED] jetzt enthält eine neue metadata Spalte für alle Tabellentypen. Diese Spalte enthält semantische Metadaten (Anzeigename, Format und Synonyme), die in der Tabelle als JSON-Zeichenfolge definiert sind.

Neue Features und Verbesserungen

Die folgenden Features und Verbesserungen sind in dieser Version verfügbar.

• SQL-Skripting: Das SQL-Skriptingfeature ist jetzt allgemein verfügbar.
• Gemeinsame Isolierung für Unity Catalog Python UDFs: Unity Catalog Python UDFs mit demselben Eigentümer können jetzt standardmäßig eine Isolationsumgebung gemeinsam nutzen. Dies verbessert die Leistung und reduziert die Speicherauslastung, indem die Anzahl der gestarteten separaten Umgebungen reduziert wird. Um sicherzustellen, dass eine UDF immer in einer vollständig isolierten Umgebung ausgeführt wird, fügen Sie die STRICT ISOLATION Merkmalsklausel hinzu. Siehe Umgebungsisolation.
• SQL-Fensterfunktionen in Metrikansichten: Sie können jetzt SQL-Fensterfunktionen in Metrikansichten verwenden, um laufende Summen, Rangfolgen und andere fensterbasierte Berechnungen zu berechnen.
• Dynamische Shuffle-Partitionen im zustandslosen Streaming: Sie können jetzt die Anzahl der Shuffle-Partitionen in zustandslosen Streamingabfragen ändern, ohne die Abfrage neu zu starten.
• AQE und AOS im zustandslosen Streaming: Adaptive Abfrageausführung (AQE) und automatisch optimierte Shuffle (AOS) werden jetzt in zustandslosen Streamingabfragen unterstützt.
• Parametermarkierungen: Sie können jetzt benannte (:param) und unbenannte (?) Parametermarkierungen praktisch überall verwenden, an der ein Literalwert des entsprechenden Typs verwendet werden kann. Dazu gehören DDL-Anweisungen wie CREATE VIEW v AS SELECT ? AS c1, Spaltentypen DECIMAL(:p, :s)oder COMMENT ON t IS :comment. Details finden Sie unter Parametermarkierungen .
• IDENTIFIER Klausel: Der Geltungsbereich der IDENTIFIER Klausel, die Zeichenfolgen in SQL-Objektnamen umwandelt, wurde auf nahezu alle Stellen erweitert, an denen ein Bezeichner zulässig ist. Ausführliche Informationen finden Sie unter IDENTIFIER Klausel.
• BITMAP_AND_AGG: Die vorhandene Bibliothek der BITMAP Funktionen enthält jetzt eine neue BITMAP_AND_AGG Funktion.
• Theta-Sketch-Funktionen: Sie können jetzt eine neue Funktionsbibliothek für die approximative Zählung unterschiedlicher Werte und Mengenoperationen mit Datasketches Theta Sketch verwenden. Siehe theta_sketch_agg und verwandte Funktionen.
• KLL-Skizzenfunktionen: Sie können jetzt eine neue Bibliothek von Funktionen für die ungefähre Quantileberechnung mit KLL-Skizzen verwenden. Siehe kll_sketch_agg_bigint und verwandte Funktionen.
• Neue Geospatialfunktionen: st_azimuth, st_boundary, st_closestpoint und st_geogfromewkt sind jetzt verfügbar.
• GeometryType und GeographyType: Apache Spark unterstützt jetzt native GeometryType und GeographyType Datentypen im PySpark und Java APIs. Diese Typen unterstützen die Arrow-Serialisierung sowie das Lesen und Schreiben von Parquet und unterscheiden sich von den SQL-Geodatenfunktionen.
• approx_top_k: Die neue approx_top_k Aggregatfunktion gibt die ungefähren top-K-häufigsten Werte in einer Spalte mit einem raumeffizienten Skizzenalgorithmus zurück.
• Spark Connect JDBC-Treiber: Apache Spark enthält jetzt einen JDBC-Treiber für Spark Connect, wodurch JDBC-basierte Clients und Tools über das Spark Connect-Protokoll eine Verbindung zu Spark herstellen können.
• Iterator[pandas.DataFrame] in applyInPandas: DataFrame.applyInPandas akzeptiert nun eine Funktion mit einer Iterator[pandas.DataFrame] Signatur, wodurch der Aufwand beim Verarbeiten großer Gruppen durch Streamen von Daten in Batches reduziert wird.
• Prüfbedingungen: unterstützen jetzt Vergleiche mit Nullwerten im Bedingungsausdruck.
• Zustandsrepartitions-API für TransformWithState: Eine neue Zustandsrepartitions-API ist für TransformWithState Streamingoperatoren in Scala verfügbar, sodass Sie die Schlüsselpartitionierung zustandsbehafteter Daten über Abfrageneustarts ändern können. Siehe On-Demand-Zustandsumpartitionierung für zustandsbehaftete Streamingabfragen.
• Python 3.14 in pyspark-connect: pyspark-client und pyspark-connect unterstützen jetzt Python 3.14.

Verbesserungen der Bibliothek

• Aktualisierte Python-Bibliotheken:

  • anyio von 4.6.2 bis 4.7.0
  • asttokens von 2.0.5 bis 3.0.0.0
  • azure-core von 1.34.0 bis 1.37.0
  • Aktualisierung von azure-mgmt-core von Version 1.5.0 auf 1.6.0
  • azure-storage-blob von 12.23.0 bis 12.28.0
  • azure-storage-file-datalake von 12.17.0 bis 12.22.0
  • boto3 von 1.36.2 bis 1.40.45
  • Botocore von 1.36.3 bis 1.40.45
  • Zertifi von 31.01.2025 bis 26.04.2025
  • Klicken Sie von 8.1.7 auf 8.1.8
  • Kryptografie von 43.0.3 bis 44.0.1
  • Cython von 3.0.12 bis 3.1.5
  • databricks-sdk von 0.49.0 bis 0.67.0
  • Abgekündigt von 1.2.13 bis 1.2.18
  • executing von 0.8.3 auf 1.2.0
  • fastapi von 0.115.12 bis 0.128.0
  • filelock von 3.18.0 auf 3.17.0
  • google-api-core von 2.20.0 bis 2.28.1
  • google-auth von 2.40.0 bis 2.47.0
  • google-cloud-core von 2.4.3 bis 2.5.0
  • google-cloud-storage von 3.1.0 bis 3.7.0
  • google-crc32c von 1.7.1 bis 1.8.0
  • google-resumable-media von 2.7.2 auf 2.8.0
  • h11 von 0.14.0 bis 0.16.0
  • httpcore von 1.0.2 bis 1.0.9
  • httpx von 0.27.0 bis 0.28.1
  • isodate von 0.6.1 bis 0.7.2
  • Jinja2 von 3.1.5 bis 3.1.6
  • jupyter-events von 0.10.0 bis 0.12.0
  • jupyter-lsp von 2.2.0 bis 2.2.5
  • jupyter_server von 2.14.1 bis 2.15.0
  • jupyter_server_terminals von 0.4.4 bis 0.5.3
  • mistune von 2.0.4 bis 3.1.2
  • mlflow-skinny von 3.0.1 bis 3.8.1
  • mmh3 von 5.1.0 bis 5.2.0
  • msal von 1.32.3 bis 1.34.0
  • nbclient von 0.8.0 bis 0.10.2
  • nbconvert von 7.16.4 auf 7.16.6
  • nodeenv von 1.9.1 bis 1.10.0
  • notebook_shim von 0.2.3 bis 0.2.4
  • opentelemetry-api von 1.32.1 bis 1.39.1
  • opentelemetry-sdk von 1.32.1 bis 1.39.1
  • opentelemetry-semantic-conventions von 0.53b1 bis 0.60b1
  • platformdirs von 3.10.0 bis 4.3.7
  • prometheus_client von 0.21.0 bis 0.21.1
  • proto-plus von 1.26.1 bis 1.27.0
  • psycopg2 von 2.9.3 auf 2.9.11
  • Pyarrow von 19.0.1 bis 21.0.0
  • Pygments von 2.15.1 bis 2.19.1
  • pyiceberg von 0.9.0 auf 0.10.0
  • python-lsp-server von 1.12.0 bis 1.12.2
  • Seil von 1.12.0 bis 1.13.0
  • s3transfer von 0.11.3 auf 0.14.0
  • scipy von 1.15.1 bis 1.15.3
  • setuptools von 74.0.0 bis 78.1.1
  • sechs von 1.16.0 bis 1.17.0
  • sqlparse von Version 0.5.3 auf Version 0.5.5 aktualisiert
  • Stack-Data von 0.2.0 bis 0.6.3
  • starlette von 0.46.2 bis 0.50.0
  • Tornado von 6.4.2 bis 6.5.1
  • types-python-dateutil von 2.9.0.20241206 bis 2.9.0.20251115
  • uvicorn von 0.34.2 bis 0.40.0
  • Webcolors von 24.11.1 bis 25.10.0

• Aktualisierte R-Bibliotheken:

  • Pfeil von 19.0.1 bis 22.0.0
  • Basis von 4.4.2 bis 4.5.1
  • bigD von 0.3.0 bis 0.3.1
  • broom von Version 1.0.7 auf 1.0.10
  • Uhr von 0.7.2 bis 0.7.3
  • Commonmark von 1.9.5 bis 2.0.0
  • Compiler von 4.4.2 bis 4.5.1
  • Anmeldeinformationen von 2.0.2 bis 2.0.3
  • curl von Version 6.4.0 auf Version 7.0.0
  • data.table von 1.17.0 bis 1.17.8
  • Datasets von 4.4.2 bis 4.5.1
  • dbplyr von 2.5.0 bis 2.5.1
  • devtools von 2.4.5 bis 2.4.6
  • diffobj von 0.3.5 bis 0.3.6
  • Digest von 0.6.37 bis 0.6.39
  • downlit von 0.4.4 auf 0.4.5
  • dtplyr von 1.3.1 bis 1.3.2
  • von 1.0.3 bis 1.0.5 auswerten
  • fansi von 1.0.6 bis 1.0.7
  • Forcats von 1.0.0 bis 1.0.1
  • fs von 1.6.5 bis 1.6.6
  • Zukunft von 1.34.0 bis 1.68.0
  • future.apply von 1.11.3 auf 1.20.0
  • gargle von 1.5.2 zu 1.6.0
  • gert von 2.1.4 bis 2.2.0
  • ggplot2 von 3.5.1 bis 4.0.1
  • gh von 1.4.1 bis 1.5.0
  • git2r von 0.35.0 bis 0.36.2
  • glmnet von 4.1-8 bis 4.1-10
  • googledrive von 2.1.1 bis 2.1.2
  • googlesheets4 von 1.1.1 bis 1.1.2
  • Grafiken von 4.4.2 bis 4.5.1
  • grDevices von 4.4.2 bis 4.5.1
  • Raster von 4.4.2 bis 4.5.1
  • Aktualisierung von gt von Version 0.11.1 auf 1.1.0
  • hardhat von Version 1.4.1 auf Version 1.4.2
  • haven von Version 2.5.4 bis 2.5.5
  • hms von 1.1.3 bis 1.1.4
  • httpuv von 1.6.15 bis 1.6.16
  • httr2 Version 1.1.1 bis Version 1.2.1
  • jsonlite von 1.9.1 bis 2.0.0
  • später von 1.4.1 auf 1.4.4
  • Lava von 1.8.1 bis 1.8.2
  • listenv Update von Version 0.9.1 auf Version 0.10.0
  • magrittr von 2.0.3 bis 2.0.4
  • Markdown von 1.13 bis 2.0
  • Methoden von 4.4.2 bis 4.5.1
  • miniUI von 0.1.1.1 bis 0.1.2
  • mlflow Versionen von 2.20.4 bis 3.6.0
  • openssl von Version 2.3.3 auf Version 2.3.4 aktualisieren
  • parallel von 4.4.2 bis 4.5.1
  • parallel von 1.42.0 bis 1.45.1
  • Säule von 1.11.0 bis 1.11.1
  • pkgbuild von 1.4.6 auf 1.4.8
  • Aktualisieren von pkgdown von 2.1.1 auf 2.2.0
  • pkgload von 1.4.0 auf 1.4.1
  • pROC von 1.18.5 bis 1.19.0.1
  • prodlim von 2024.06.25 bis 2025.04.28
  • Aktualisierung progressr von Version 0.15.1 auf Version 0.18.0
  • Zusagen von 1.3.2 bis 1.5.0
  • PostScript von 1.9.0 bis 1.9.1
  • purrr von 1.0.4 auf 1.2.0 aktualisieren
  • Ragg von 1.3.3 bis 1.5.0
  • Rcpp von 1.0.14 bis 1.1.0
  • Readr von Version 2.1.5 bis Version 2.1.6
  • Rezepte von 1.2.0 bis 1.3.1
  • reshape2 von 1.4.4 zu 1.4.5
  • rmarkdown von 2.29 bis 2.30
  • roxygen2 von 7.3.2 bis 7.3.3
  • rprojroot von 2.0.4 bis 2.1.1
  • RSQLite von 2.3.9 bis 2.4.4
  • rversions von 2.1.2 auf 3.0.0
  • rvest von 1.0.4 auf 1.0.5
  • sass von Version 0.4.9 auf Version 0.4.10
  • skaliert von 1,3,0 auf 1,4.0
  • Shiny von 1.10.0 bis 1.11.1
  • sparklyr von 1.9.1 bis 1.9.3
  • SparkR von 4.0.0 bis 4.1.0
  • sparsevctrs von 0.3.1 bis 0.3.4
  • Splines von 4.4.2 bis 4.5.1
  • Statistiken von 4.4.2 bis 4.5.1
  • stats4 von 4.4.2 bis 4.5.1
  • stringr von Version 1.5.1 bis Version 1.6.0
  • systemfonts von 1.2.1 bis 1.3.1
  • tcltk von 4.4.2 auf 4.5.1
  • Testthat von 3.2.3 bis 3.3.0
  • Textgestaltung von 1.0.0 bis 1.0.4
  • timeDate von 4041.110 bis 4051.111
  • Tinytex von 0,56 bis 0,58
  • Tools von 4.4.2 bis 4.5.1
  • usethis von 3.1.0 auf 3.2.1
  • utils von Version 4.4.2 auf Version 4.5.1
  • V8 von 6.0.2 bis 8.0.1
  • vroom von 1.6.5 bis 1.6.6
  • waldo von 0.6.1 bis 0.6.2
  • xfun von 0,51 bis 0,54
  • xml2 von 1.3.8 bis 1.5.0
  • zeallot von 0.1.0 bis 0.2.0
  • zip von 2.3.2 auf 2.3.3

• Aktualisierte Java-Bibliotheken:

  • com.amazonaws.amazon-kinesis-client aktualisiert von 1.12.0 auf 1.15.3
  • com.amazonaws.aws-java-sdk-autoscaling von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudformation von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudfront von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudhsm von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudsearch von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudtrail von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatch von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-codedeploy von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cognitoidentity von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cognitosync von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-config von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-core von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-datapipeline von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-directconnect von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-directory von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-dynamodb von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-ec2 von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-ecs von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-efs von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-elasticache von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-elasticbeanstalk von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-elasticloadbalancing von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-elastictranscoder von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-emr von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-glacier von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-glue von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-iam von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-importexport von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-kinesis von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-kms von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-lambda von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-logs von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-machinelearning von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-opsworks von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-rds von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-redshift von 1.12.638 auf 1.12.681
  • com.amazonaws.aws-java-sdk-route53 von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-s3 von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-ses von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-simpledb von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-simpleworkflow von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-sns von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-sqs von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-ssm von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-storagegateway von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-sts von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-support von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-workspaces von Version 1.12.638 bis Version 1.12.681
  • com.amazonaws.jmespath-java von 1.12.638 bis 1.12.681
  • com.databricks.databricks-sdk-java von 0.27.0 bis 0.53.0
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 von 2.18.2 bis 2.18.3
  • com.github.luben.zstd-jni von 1.5.6-10 bis 1.5.7-6
  • com.google.flatbuffers.flatbuffers-java von 24.3.25 bis 25.2.10
  • com.google.guava.failureaccess von 1.0.2 bis 1.0.3
  • com.google.guava.guava.guava from 33.4.0-jre to 33.4.8-jre
  • com.microsoft.sqlserver.mssql-jdbc von 11.2.3.jre8 bis 12.8.0.jre8
  • commons-cli.commons-cli von 1.9.0 bis 1.10.0
  • commons-codec.commons-codec von 1.17.2 bis 1.19.0
  • commons-fileupload.commons-fileupload von 1.5 auf 1.6.0
  • commons-io.commons-io von 2.18.0 bis 2.21.0
  • dev.ludovic.netlib.arpack von 3.0.3 bis 3.0.4
  • dev.ludovic.netlib.blas von 3.0.3 bis 3.0.4
  • dev.ludovic.netlib.lapack von 3.0.3 bis 3.0.4
  • io.dropwizard.metrics.metrics-annotation von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-core von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-graphite von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-healthchecks von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics-jmx von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-json von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-jvm von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-servlets von 4.2.30 bis 4.2.37
  • io.delta.delta-sharing-client_2.13 von 1.3.10 bis 1.3.11
  • io.netty.netty-all von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-buffer von 4.1.118.Final auf 4.2.7.Final
  • Aktualisierung von io.netty.netty-codec von 4.1.118.Final auf 4.2.7.Final
  • io.netty.netty-codec-http von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-codec-http2 von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-codec-socks von 4.1.118.Final auf 4.2.7.Final
  • io.netty.netty-common von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-handler von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-handler-proxy von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-resolver von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-tcnative-boringssl-static von 2.0.70.Final-db-r0-windows-x86_64 bis 2.0.74.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes von 2.0.70.Final auf 2.0.74.Final
  • io.netty.netty-transport Version von 4.1.118.Final auf 4.2.7.Final aktualisiert
  • io.netty.netty-transport-classes-epoll von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-transport-classes-kqueue von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-transport-native-epoll von 4.1.118.Final-linux-x86_64 auf 4.2.7.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue von 4.1.118.Final-osx-x86_64 zu 4.2.7.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common von 4.1.118.Final bis 4.2.7.Final
  • joda-time.joda-time von 2.13.0 bis 2.14.0
  • org.apache.arrow.arrow-format von Version 18.2.0 bis Version 18.3.0
  • org.apache.arrow.arrow-memory-core von 18.2.0 bis 18.3.0
  • org.apache.arrow.arrow-memory-netty von 18.2.0 bis 18.3.0
  • org.apache.arrow.arrow-memory-netty-buffer-patch von 18.2.0 auf 18.3.0
  • org.apache.arrow.arrow-vector von 18.2.0 bis 18.3.0
  • org.apache.avro.avro von 1.12.0 zu 1.12.1
  • org.apache.avro.avro-ipc von 1.12.0 auf 1.12.1
  • org.apache.avro.avro-mapred von Version 1.12.0 zu Version 1.12.1
  • org.apache.commons.commons-collections4 von 4.4 bis 4.5.0
  • org.apache.commons.commons-compress von 1.27.1 auf 1.28.0
  • org.apache.commons.commons-lang3 von 3.17.0 bis 3.19.0
  • org.apache.commons.commons-text von 1.13.0 bis 1.14.0
  • org.apache.curator.curator-client von 5.7.1 bis 5.9.0
  • org.apache.curator.curator-framework von 5.7.1 bis 5.9.0
  • org.apache.curator.curator-recipes von 5.7.1 bis 5.9.0
  • org.apache.datasketches.datasketches-java von 6.1.1 bis 6.2.0
  • org.apache.hadoop.hadoop-client-runtime von 3.4.1 auf 3.4.2
  • org.apache.orc.orc-core von 2.1.1-shaded-protobuf bis 2.2.0-shaded-protobuf
  • org.apache.orc.orc-format von 1.1.0-shaded-protobuf zu 1.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce von 2.1.1-shaded-protobuf auf 2.2.0-shaded-protobuf
  • org.apache.orc.orc-shims von Version 2.1.1 auf Version 2.2.0
  • org.apache.xbean.xbean-asm9-shaded von 4.26 bis 4.28
  • org.apache.zookeeper.zookeeper aktualisiert von 3.9.3 auf 3.9.4
  • org.apache.zookeeper.zookeeper-jute von 3.9.3 bis 3.9.4
  • org.eclipse.jetty.jetty-client von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-http von 9.4.53.v20231009 bis 10.0.26
  • Aktualisierung von org.eclipse.jetty.jetty-io von 9.4.53.v20231009 auf 10.0.26
  • org.eclipse.jetty.jetty-jndi von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-plus von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-proxy von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-security von 9.4.53.v20231009 auf 10.0.26
  • org.eclipse.jetty.jetty-server von 9.4.53.v20231009 auf 10.0.26
  • org.eclipse.jetty.jetty-servlet von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-servlets von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-util von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-webapp von Version 9.4.53.v20231009 auf Version 10.0.26
  • org.eclipse.jetty.jetty-xml von 9.4.53.v20231009 bis 10.0.26
  • org.mlflow.mlflow-spark_2.13 von 2.9.1 bis 2.22.1
  • org.objenesis.objenesis zwischen 3.3 und 3.4
  • org.scala-lang.modules.scala-xml_2.13 von 2.3.0 bis 2.4.0

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

• Betriebssystem: Ubuntu 24.04.4 LTS
• Java: Zulu21.42+19-CA
• Skala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.2.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus dem Posit-Paket-Manager CRAN-Snapshot auf PACKAGES installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)