Databricks Runtime 19

Questa pagina contiene le note di rilascio unificate per Databricks Runtime 19, basato su Apache Spark 4.2.0. Elenca tutte le funzionalità, le modifiche comportamentali e le correzioni fornite durante il ciclo di rilascio di Databricks Runtime 19. I cluster ricevono aggiornamenti al riavvio.

Per informazioni sul ciclo di vita del supporto di Databricks Runtime, vedere Cicli di vita del supporto di Databricks.

Databricks Runtime 19: 21 settembre 2026

Nuove funzionalità e miglioramenti

• truncate funzione: SQL e le API Scala e Python DataFrame ora supportano truncate, che tronca un numero a una scala specificata senza arrotondare.
• trim_array funzione: SQL e le API Scala e Python DataFrame ora supportano trim_array, che rimuove elementi dalla fine di un array quando il conteggio è positivo o dall'inizio quando il conteggio è negativo.
• Variabili dell'ambiente sessione per i worker di funzioni definite dall'utente in Python: Imposta una variabile dell'ambiente worker Python con ambito sessione usando il spark.pythonWorkerEnv.<variable-name> prefisso di configurazione. Le variabili si applicano quando vengono avviati processi worker per funzioni Python scalari standard definite dall'utente (UDF).
• Shuffle v2 ottimizzato automaticamente abilitato di default: Lo shuffle v2 ottimizzato automaticamente viene ora usato quando non si imposta un numero fisso di partizioni shuffle. I carichi di lavoro che impostano esplicitamente un conteggio fisso di partizioni di mescolamento rimangono invariati.

Databricks Runtime 19: 1 settembre 2026

Nuove funzionalità e miglioramenti

• Il feed automatico dei dati di modifica è generalmente disponibile: il flusso automatico di dati di modifica (Auto CDF) calcola le modifiche a livello di riga al momento della query utilizzando il tracciamento delle righe, senza richiedere di abilitare manualmente il feed dei dati di modifica su ogni tabella Delta Lake o Apache Iceberg v3. Auto CDF elimina il sovraccarico in scrittura e rende le operazioni MERGE e UPDATE circa il 15% più veloci nelle tabelle interrogate per rilevare le modifiche. Funziona con query in batch, Structured Streaming e Delta Sharing e richiede Databricks Runtime 19 o superiore con il tracciamento delle righe abilitato. Vedere Feed automatico dei dati delle modifiche.
• variant_strip_nulls funzione: SQL e le API Scala e Python DataFrame ora supportano variant_strip_nulls, che rimuove ricorsivamente i campi oggetto i cui valori sono nulli varianti.
• parse_sql funzione: La nuova parse_sql funzione analizza un'istruzione SQL e restituisce JSON strutturato contenente metadati delle dichiarazioni, riferimenti alle tabelle, espressioni select-list o informazioni sull'errore del parser.

Modifiche comportamentali

• from_protobuf Salta i campi non selezionati malformati quando la potatura dello schema è abilitata: Quando la potatura dello schema protobuf è abilitata, from_protobuf non decodifica o convalida più i campi che una query non seleziona. Un campo non selezionato malformato non annulla più la riga in PERMISSIVE modalità né fallisce la query in FAILFAST modalità.
• Il pushdown JDBC gestisce correttamente i letterali null: il pushdown JDBC di Data Source v2 ora genera il letterale SQL NULL invece della stringa 'null'. Le query che raggruppano espressioni come NULLIF ora producono un gruppo nullo invece di un gruppo di stringhe separato 'null' .
• Le funzioni HTTP e AI non seguono più i redirect: http_request e le funzioni AI non seguono più i redirect HTTP 3xx. Le chiamate che ricevono un reindirizzamento ora restituiscono un errore HTTP remoto per lo stato di reindirizzamento. I download dei connettori di sorgente file non sono influenzati.

Aggiornamenti della biblioteca e dell'ambiente

Questa release ripristina JupyterLab e le librerie Python relative ai notebook nell'ambiente di esecuzione standard per risolvere un problema che impediva agli ipywidget di renderizzare nelle celle del notebook. Le modifiche alla libreria Python sono:

• Librerie Python aggiornate:
  • ipywidgets da 8.1.7 a 7.8.1
  • jupyterlab_widgets dal 3.0.15 al 1.1.11
  • widgetsnbextension dal 4.0.14 al 3.6.6
• Aggiunte librerie Python:
  • argon2-cffi 21.3.0
  • argon2-cffi-bindings 25.1.0
  • arrow 1.4.0
  • async-lru 2.0.5
  • attrs 25.4.0
  • babel 2.16.0
  • beautifulsoup4 4.13.5
  • bleach 6.2.0
  • defusedxml 0.7.1
  • fastjsonschema 2.21.2
  • fqdn 1.5.1
  • httpcore 1.0.9
  • httpx 0.28.1
  • ipython-genutils 0.2.0
  • isoduration 20.11.0
  • json5 0.12.1
  • jsonpointer 3.1.1
  • jsonschema 4.25.0
  • jsonschema-specifications 2025.9.1
  • jupyter-events 0.12.0
  • jupyter-lsp 2.2.5
  • jupyter_server 2.16.0
  • jupyter_server_terminals 0.5.3
  • jupyterlab 4.4.7
  • jupyterlab_pygments 0.3.0
  • jupyterlab_server 2.28.0
  • lark 1.3.1
  • mistune 3.1.2
  • nbclient 0.10.2
  • nbconvert 7.16.6
  • nbformat 5.10.4
  • notebook 7.4.5
  • notebook_shim 0.2.4
  • overrides 7.7.0
  • pandocfilters 1.5.1
  • prometheus_client 0.21.1
  • python-json-logger 3.2.1
  • referencing 0.37.0
  • rfc3339-validator 0.1.4
  • rfc3986-validator 0.1.1
  • rfc3987-syntax 1.1.0
  • rpds-py 0.28.0
  • Send2Trash 1.8.2
  • soupsieve 2.5
  • terminado 0.18.1
  • tinycss2 1.4.0
  • uri-template 1.3.0
  • webcolors 25.10.0
  • webencodings 0.5.1
  • websocket-client 1.8.0

Databricks Runtime 19: 24 agosto 2026

Aggiornamenti della biblioteca e dell'ambiente

• Aggiornato Java da Zulu21.50+19-CA a Zulu21.52+15-CA.
• Librerie Java aggiornate:
  • com.fasterxml.jackson.core.jackson-annotations dalle 2:21 alle 2:22
  • com.fasterxml.jackson.core.jackson-core dal 2.21.2 al 2.22.1
  • com.fasterxml.jackson.core.jackson-databind dal 2.21.2 al 2.22.1
  • com.fasterxml.jackson.datatype.jackson-datatype-joda dal 2.21.2 al 2.22.1
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dal 2.21.2 al 2.22.1
  • com.fasterxml.jackson.module.jackson-module-paranamer dal 2.21.2 al 2.22.1
  • com.fasterxml.jackson.module.jackson-module-scala_2.13 dal 2.21.2 al 2.22.1

Databricks Runtime 19: 10 agosto 2026

Nuove funzionalità e miglioramenti

• collect_union funzione aggregata: SQL e le API Scala e Python DataFrame ora supportano collect_union, che restituisce l'unione distinta degli elementi in array all'interno di ciascun gruppo.

Modifiche comportamentali

• HAVING viene valutata prima delle funzioni finestra nelle query con generatori: Per query che includono generatori, come explode, le funzioni finestra vengono ora valutate dopo il HAVING filtro. I risultati delle finestre includono quindi solo le righe mantenute da HAVING.
• DataFrame.observe riporta metriche dell'ultimo tentativo riuscito: Quando uno stadio che supporta un operatore osservato viene ricalcolato, le metriche osservate ora riflettono solo l'ultimo tentativo riuscito invece di combinare i valori di più tentativi.
• La logica dei criteri è nascosta nei piani di query per impostazione predefinita: i piani di query non espongono più la logica dei filtri di riga e dei criteri di mascheramento delle colonne, a meno che l'utente non disponga del privilegio INSPECT_POLICY_EXECUTION del metastore.
• CREATE OR REPLACE VIEW preserva i metadati atomicamente: per le viste del Catalogo Unity, CREATE OR REPLACE VIEW ora esegue una sostituzione atomica che preserva di default l'identità della vista, le concessioni, i tag e i commenti. Le protezioni regolate per i tag continuano ad applicarsi.
• Delta API DML utilizza i diritti del definitore della policy: DeltaTable.delete, DeltaTable.update e DeltaTable.merge ora risolvono le funzioni di policy di filtro delle righe e mascheramento delle colonne con i diritti del definitore della policy, in linea con SQL DML. I chiamanti non hanno più bisogno EXECUTE di queste funzioni politiche quando hanno i permessi necessari per la tabella.

Aggiornamenti della biblioteca e dell'ambiente

• Aggiornato Java da Zulu21.48+15-CA a Zulu21.50+19-CA.

Databricks Runtime 19: 23 luglio 2026

Databricks Runtime 19 è ora disponibile a livello generale. Per informazioni dettagliate sul ciclo di vita, vedere Ciclo di vita del supporto di Databricks Runtime.

Modifiche comportamentali

• UDF Python ottimizzate per Arrow abilitate per impostazione predefinita: le normali UDF Python ora usano per impostazione predefinita la serializzazione basata su Arrow. Ciò può modificare il comportamento della conversione implicita dei tipi per alcune funzioni definite dall'utente rispetto alle versioni precedenti. Per ripristinare il comportamento precedente, impostare spark.databricks.execution.pythonUDF.arrow.enabled su false.

Nuove funzionalità e miglioramenti

• Pushdown TopN per il controllo degli accessi granulare su calcolo dedicato: il controllo degli accessi granulare su calcolo dedicato ora effettua il pushdown delle operazioni ORDER BY ... LIMIT (TopN) al cluster remoto che applica il filtro, migliorando le prestazioni delle query.
• parquet-java aggiornato alla versione 1.17.0: la apache/parquet-java dipendenza viene aggiornata alla versione 1.17.0. Per l'elenco completo delle modifiche, vedere le note sulla versione di apache/parquet-java.

Databricks Runtime 19 (Beta): 26 giugno 2026

Modifiche comportamentali

• Disponibilità delle variabili di ambiente con restrizioni in modalità di accesso standard: in modalità di accesso standard è disponibile solo un set predefinito di variabili di ambiente per il motore Spark e gli script init. Questo set include variabili di configurazione comuni, ad esempio le impostazioni proxy (HTTP_PROXY), le credenziali cloud (AWS_ACCESS_KEY_ID, AZURE_CLIENT_ID) e le variabili di catalogo (CATALOG). Altre variabili che imposti in un cluster rimangono disponibili al tuo codice utente, incluse le UDF (funzioni definite dall'utente), ma non sono disponibili per il motore Spark o per gli script di inizializzazione. In precedenza, tutte le variabili di ambiente del cluster erano disponibili per il motore Spark e gli script init. Vedere Limitazioni delle variabili di ambiente.
• Configurazioni spark con restrizioni in modalità di accesso standard: in modalità di accesso standard non è più possibile impostare determinate proprietà di configurazione spark. La creazione o la modifica di un cluster che imposta una proprietà limitata (identificata dal prefisso) non riesce e restituisce un errore. Le proprietà con restrizioni includono spark.driver.extraJavaOptions, spark.executor.extraJavaOptions, spark.jarsspark.files, , spark.executorEnv.*e spark.kubernetes.*, tra le altre. In precedenza, è possibile impostare queste proprietà in modalità di accesso standard. Rimuoverli dalla configurazione del cluster prima dell'aggiornamento. Per l'elenco completo, vedere Limitazioni di configurazione di Spark.

Databricks Runtime 19 (Beta): 15 giugno 2026

Databricks Runtime 19 è ora disponibile in Versione beta, con tecnologia Apache Spark 4.2.0.

Modifiche comportamentali

• JDK 17 rimosso: Databricks Runtime 19 supporta solo JDK 21. In precedenza, Databricks Runtime 18 includeva JDK 17 come opzione di fallback che poteva essere selezionata usando la JNAME variabile di ambiente. Tale fallback non è più disponibile in Databricks Runtime 19. I cluster che impostano JNAME=zulu17-ca-amd64 (o l'equivalente arm) devono rimuovere la variabile di ambiente prima dell'aggiornamento.
• Pacchetti Python rimossi: rispetto a Databricks Runtime 18, in Databricks Runtime 19 sono stati rimossi circa 90 pacchetti di runtime standard. Le rimozioni rilevanti includono plotly, seabornopenai, langchain-core, langchain-openai, huggingface_hub, psycopg2e pyodbc. Il server in bundle JupyterLab viene suddiviso dall'immagine di base, rimuovendo circa 54 pacchetti correlati a Jupyter. I carichi di lavoro che dipendono da questi pacchetti devono installarli in modo esplicito usando una libreria cluster o uno script init. Per l'elenco completo dei pacchetti inclusi in Databricks Runtime 19, vedere Librerie di Python installate. Per le rimozioni specifiche del runtime di Ml, vedere Databricks Runtime 19 per Machine Learning.
• Proprietà di tabella pipelines.pipelineIdriservata: Databricks Runtime 19 riserva la pipelines.pipelineId proprietà della tabella in tutte le tabelle. Il tentativo di impostare questa proprietà genera manualmente un errore. Rimuovere eventuali assegnazioni esplicite pipelines.pipelineId dal DDL della tabella prima dell'aggiornamento.
• Ritardo del watermark in modalità in tempo reale posticipato di +1 ms: nelle query di streaming in modalità in tempo reale (RTM), quando il watermark avanza nel corso dell’elaborazione del batch tramite la propagazione del watermark in tempo reale, un record il cui tempo dell’evento è uguale al watermark corrente veniva in precedenza considerato in ritardo e scartato. Il ritardo della watermark event-time è ora spostato di +1 ms, in modo che la verifica dei record in ritardo sia effettivamente rigorosa, e i record il cui timestamp dell'evento è uguale alla watermark corrente vengono ora conservati. La modalità micro-batch non subisce modifiche.
• Lista consentita delle classi di checkpoint DStream richiesta per i tipi personalizzati: Apache Spark 4.2.0 introduce un controllo di sicurezza per la deserializzazione dei checkpoint DStream. Gli utenti che utilizzano tipi personalizzati o di terze parti nelle closure DStream devono impostare spark.streaming.checkpoint.allowedClasses su un elenco di nomi di classe completi con qualificazione o di modelli wildcard separati da virgole prima di tentare il ripristino da checkpoint. L'elenco di elementi consentiti predefinito copre solo i tipi Spark standard.

Correzioni e miglioramenti di Apache Spark

Databricks Runtime 19 include Apache Spark 4.2.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 18 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• is_valid_variant expression: SQL ora supporta is_valid_variant(expr), che restituisce true se l'input è un valore VARIANT ben formato e false in caso contrario. Usare questa opzione per convalidare i dati varianti prima dell'elaborazione downstream.
• INSERT INTO ... REPLACE ON/USING sintassi: SQL ora supporta la sintassi INSERT INTO ... REPLACE ON <columns> e INSERT INTO ... REPLACE USING <subquery>, consentendo operazioni di upsert che sostituiscono le righe esistenti in base alla corrispondenza dei valori delle colonne.
• Gestione delle transazioni DSv2: i cataloghi Data Source v2 supportano ora la gestione delle transazioni, consentendo scritture atomiche su più tabelle e letture coerenti nell'ambito delle operazioni del catalogo.
• Post-elaborazione batch di CDC con ChangelogTable: SQL ora supporta la lettura dell'output di Change Data Capture (CDC) come registro delle modifiche e il calcolo delle modifiche nette in modalità batch. L'analizzatore ResolveChangelogTable convalida lo schema del log delle modifiche e calcola i risultati uniti dalle righe CDC non elaborate.
• TABLESAMPLE SYSTEM campionamento a blocchi con pushdown DSv2: TABLESAMPLE SYSTEM è ora supportato con le tabelle Data Source v2, consentendo di delegare all'origine dati il campionamento a livello di blocco basato su percentuali per migliorare le prestazioni.
• CREATE VIEW e ALTER VIEW nei cataloghi DSv2: i cataloghi Data Source v2 ora supportano le istruzioni CREATE VIEW e ALTER VIEW, portando la parità del DDL delle viste ai cataloghi non-Hive.
• CREATE METRIC VIEW nei cataloghi V2: CREATE METRIC VIEW è ora supportato nei cataloghi di Data Source v2.
• Funzioni quantile KLL in SQL: SQL supporta ora in modo nativo le funzioni di schizzo quantile KLL basate su Apache DataSketches, incluse le funzioni di calcolo di aggregazione e CDF per query quantile approssimative.
• Funzioni Tuple Sketch in SQL: SQL ora supporta nativamente le funzioni di aggregazione Apache Tuple Sketch, consentendo operazioni approssimative di intersezione e unione di insiemi su payload di tipo arbitrario.
• withSchemaEvolution() nell'API di scrittura di DataFrame: L'API di scrittura di DataFrame ora include withSchemaEvolution(), che consente l'evoluzione automatica dello schema durante la scrittura in tabelle che la supportano.
• Dataset.zipWithIndex nell'API Scala: L'API Scala ora include Dataset, abbinando ogni elemento al relativo indice, in linea con le API Python e Java esistenti.
• Funzioni scalari definite dall'utente negli argomenti delle funzioni con valori di tabella: SQL supporta ora l'utilizzo di funzioni scalari definite dall'utente come argomenti per le funzioni con valori di tabella, consentendo una parametrizzazione più ricca.
• DataFrameGroupBy.cov nell'API pandas in Spark: l'API pandas in Spark ora supporta DataFrameGroupBy.cov, calcolando la covarianza a coppie delle colonne all'interno di ciascun gruppo.
• SeriesGroupBy.describe nell'API pandas in Spark: l'API pandas in Spark supporta SeriesGroupBy.describeora , generando statistiche descrittive per ogni gruppo.
• Pianificare i collegamenti per il download nell'interfaccia utente di Spark: la pagina di esecuzione dell'interfaccia utente spark include ora i collegamenti di download per i piani di query in formati SVG, DOT e TXT.
• pa.ChunkedArray supporto in createDataFrame: createDataFrame() ora gestisce correttamente i dataframe pandas con le colonne PyArrow ChunkedArray , impedendo errori di tipo quando si usano i dati pandas supportati da Arrow.
• Supporto di Codegen per le funzioni di ordine superiore della matrice: le funzioni di ordine superiore della matrice, ad filteresempio , transforme aggregate ora traggono vantaggio dalla generazione di bytecode JVM durante la compilazione delle query, migliorando le prestazioni per i carichi di lavoro che usano pesantemente queste funzioni.
• Correzione: exceptAll correttezza in seguito a dropDuplicates con un sottoinsieme di colonne: è stato corretto un bug per cui df.dropDuplicates(subset).exceptAll(other) ha prodotto risultati errati. La correzione garantisce che la logica di rilevamento dei duplicati gestisca correttamente la deduplicazione del subset.
• Correzione: il parser SQL mantiene le istruzioni che terminano con commenti di blocco: viene risolto un bug in cui le istruzioni SQL che terminano con un commento a blocchi vengono eliminate automaticamente dal separatore punto e virgola. Tutte le istruzioni vengono ora analizzate correttamente indipendentemente dallo stile del commento finale.
• Correzione: correttezza dei join tra flussi nel formato dello state store RocksDB V4: è stato risolto un bug nei join tra flussi con predicati di finestra temporale quando si utilizza il formato dello state store RocksDB V4, evitando risultati di join errati durante le query di streaming con stato.

Aggiornamenti della libreria

Le librerie vengono aggiornate solo quando esiste un rischio per la sicurezza con una versione precedente. Quando viene identificata una vulnerabilità, Databricks esegue l'aggiornamento alla versione meno recente che risolve il problema. Se una raccolta è stata aggiornata durante questo ciclo di rilascio a causa di una patch di sicurezza confermata, viene elencata anche la versione precedente per documentare la transizione.

Python

R

Java

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Ambiente di sistema

• Sistema operativo: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.18
• Python: 3.12.3
• R: 4.6.0
• Delta Lake: 4.2.0

Librerie installate di Python

Librerie R installate

Le librerie R vengono installate dallo snapshot Posit Gestione pacchetti CRAN in PACKAGES.

Librerie Java e Scala installate (versione cluster Scala 2.13)