Databricks Runtime 18 (beta)

Questa pagina contiene le note di rilascio unificate per Databricks Runtime 18, basato su Apache Spark 4.1.0. Elenca tutte le funzionalità, le modifiche del comportamento e le correzioni fornite durante il ciclo di rilascio di Databricks Runtime 18.

Informazioni su note di rilascio unificate

Azure Databricks rilascia funzionalità in modo incrementale durante il ciclo di rilascio senza modificare il numero di versione. Anziché separare le pagine per ogni versione secondaria, tutti gli aggiornamenti vengono visualizzati in questa singola pagina come voci datate. I cluster ricevono aggiornamenti al riavvio.

Databricks Runtime 18 è la prima versione per usare questo formato unificato. In precedenza, ogni versione della funzionalità (18.0, 18.1, 18.2) aveva una propria pagina delle note sulla versione. Tali pagine rimangono disponibili per riferimento. Le funzionalità che in precedenza sarebbero state rilasciate nella versione 18.3 o successive ora vengono rilasciate come aggiornamenti con data di Databricks Runtime 18.

• Databricks Runtime 18.0
• Databricks Runtime 18.1
• Databricks Runtime 18.2

In futuro, le versioni di Databricks Runtime seguiranno un ciclo di vita dalla versione Beta (valutazione anticipata) alla disponibilità generale (sviluppo di funzionalità, circa sei mesi) a LTS (supporto a lungo termine, tre anni di correzioni di stabilità e sicurezza). Poiché le versioni dalla 18.0 alla 18.2 sono state rilasciate secondo il modello precedente, Databricks Runtime 18 è una release di transizione che passerà direttamente da Beta a LTS. Per informazioni dettagliate sul ciclo di vita, vedere Ciclo di vita del supporto di Databricks Runtime.

Databricks Runtime 18: 29 maggio 2026

• Deduplicazione di Structured Streaming con chiavi NaN: la deduplicazione di Structured Streaming considera ora come duplicati i valori NaN (Not-a-Number) con schemi di bit diversi quando una colonna double o float viene utilizzata come chiave di deduplicazione. In precedenza, NaN i valori con rappresentazioni interne diverse venivano considerati distinti e non venivano deduplicati.
• È stato risolto un problema a causa del quale le autorizzazioni a livello di tabella potevano essere rimosse dalle tabelle del catalogo esterno di Unity (ad esempio, tabelle di connessione Snowflake) durante l'aggiornamento dei metadati, causando l'esito negativo delle query con INSUFFICIENT_PERMISSIONS errori. Le autorizzazioni vengono ora mantenute quando vengono aggiornati i metadati della tabella esterna.

Databricks Runtime 18: 18 maggio 2026

Modifiche comportamentali

Esaminare le modifiche seguenti, che diventano effettive quando i cluster vengono riavviati in questo runtime.

• CREATE OR REPLACE TABLE: CREATE OR REPLACE TABLE ora mantiene i commenti di colonna e tabella esistenti per impostazione predefinita. In precedenza, i commenti venivano eliminati durante la ricreazione di una tabella. Le tabelle e le viste gestite corrispondono ora al comportamento esistente delle viste materializzate e delle tabelle di streaming.
• Scritture per nome di DataFrame: writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() e write.mode("append").saveAsTable() ora eseguono automaticamente il cast delle colonne con tipi compatibili (ad esempio, int in long) per adattarle allo schema della tabella Delta di destinazione. In precedenza, queste operazioni non riuscivano con l'errore DELTA_FAILED_TO_MERGE_FIELDS quando i tipi delle colonne erano compatibili ma non identici. Il comportamento corrisponde ora a SQL INSERT INTO ... BY NAME. save() e saveAsTable() in modalità di sovrascrittura non sono interessati.
• ALTER TABLE SET TBLPROPERTIES per pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') ora prova a rendere la tabella specificata scrivibile da parte della pipeline. In precedenza, l'impostazione di questa proprietà su una tabella regolare non ha alcun effetto. Se la tabella non è idonea alle scritture tramite pipeline, il comando genera SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.
• cloud_files_state: la cloud_files_state funzione con valori di tabella (TVF) include ora una discovery_mode colonna che mostra il modo in cui il caricatore automatico ha individuato ogni file. I file individuati prima dell'aggiornamento hanno un null valore in questa colonna.
• DESCRIBE EXTENDED AS JSON: ora include i risultati della valutazione dell'ottimizzazione predittiva nell'output. In precedenza, queste informazioni non vengono restituite nell'output JSON.
• Misure della finestra di visualizzazione delle metriche: restituisce ora risultati corretti quando le query usano GROUP BY, IN/BETWEEN filtri o predicati misti nella colonna dell'ordine della finestra. In precedenza, questi modelli di filtro potrebbero produrre risultati non corretti.

Nuove funzionalità e miglioramenti

In questa versione sono disponibili le funzionalità e i miglioramenti seguenti.

• Librerie del cluster: quando si installano librerie PyPI, wheel o file requirements.txt in un cluster, la scheda Libraries e l'API REST Libraries ora mostrano tutti i pacchetti risolti e installati, incluse le dipendenze transitive. Per le installazioni che risolvono più di 500 pacchetti, l'elenco viene troncato. Il report di installazione completo è disponibile nei log dei driver del cluster.
• Cdc automatico dallo snapshot con la sintassi SQL: Lakeflow Spark Declarative Pipelines supporta ora Auto CDC dallo snapshot usando la sintassi SQL. In precedenza, questa funzionalità era disponibile solo tramite l'API Python. Utilizza CREATE STREAMING TABLE ... FLOW AUTO CDC FROM SNAPSHOT per elaborare le origini snapshot (ad esempio tabelle Delta, storage cloud o JDBC), uno snapshot alla volta. Sono supportati sia scD type 1 (default) che SCD Type 2.
• array_sort con comparatori personalizzati: Photon accelera ora le array_sort espressioni che usano comparatori personalizzati per ordinare matrici di struct in base a uno o più campi. Precedentemente, queste espressioni venivano eseguite in modalità non-Photon. Per abilitare questa ottimizzazione, impostare spark.databricks.photon.rewriteArraySortComparator.enabled su true.

Correzioni e miglioramenti di Apache Spark

Questa versione include le correzioni di bug e i miglioramenti seguenti apportati a Spark:

• Le query SQL supportano ora una QUALIFY clausola che consente di filtrare i risultati della funzione finestra direttamente nella query. In precedenza era necessario racchiudere la query in una sottoquery.
• spark.read.json, spark.read.csve spark.read.xml ora accettano un dataframe come input, quindi è possibile analizzare i dati in memoria senza salvarli prima in un file.
• DataFrame.changes() è ora disponibile per la lettura dell'output di Change Data Capture (CDC) tramite l'API DataFrame.
• Quando viene fatto riferimento a una colonna DataFrame dal dataframe errato, l'errore ora assegna un nome alla colonna specifica. È anche possibile impostare spark.sql.columnResolution.strict per fare in modo che Spark applichi la corrispondenza delle colonne più restrittiva e intercetta questi errori in precedenza.
• MERGE INTO L'evoluzione dello schema ora funziona correttamente quando l'istruzione include WHEN MATCHED THEN DELETE o fa riferimento a colonne annidate in base all'alias. In precedenza, queste combinazioni potevano non riuscire o produrre automaticamente risultati errati.
• SHOW COLLATIONS elenca tutte le regole di confronto supportate e le relative proprietà, utili quando si scelgono regole di confronto per l'ordinamento o il confronto del testo.
• Query Optimizer di Spark ora stima correttamente la quantità di filtri dati da ridurre. In precedenza, stime errate inducevano Spark a caricare interamente in memoria tabelle di grandi dimensioni durante i join, causando errori di memoria esaurita.
• Le query con più COUNT(DISTINCT) espressioni vengono eseguite più velocemente perché Spark riduce ora i dati in precedenza nel piano di esecuzione anziché espanderli per primi.
• Le UDF Python che usano l'ottimizzazione Arrow non eseguono più una conversione non necessaria del formato dei dati, riducendo così il sovraccarico.
• Le join stream-stream non esterne possono ora produrre output in modalità Update, non solo in modalità Append, il che consente di scrivere verso più destinazioni di output.
• Le connessioni JDBC vengono ora chiuse correttamente quando un'attività viene annullata. In precedenza, l'annullamento poteva lasciare aperta una connessione, con conseguente blocco delle attività successive.
• array_insert non produce più risultati errati quando viene assegnato un numero negativo molto elevato come posizione di inserimento.

Databricks Runtime 18: 4 maggio 2026

Modifiche comportamentali

Esaminare le modifiche seguenti, che diventano effettive quando i cluster vengono riavviati in questo runtime.

• XPath: durante la valutazione di XPath su XML, Azure Databricks non carica più definizioni DTD (Document Type Definition) esterne. Le query non riuscite in precedenza solo a causa di un riferimento DTD esterno non raggiungibile possono ora avere esito positivo.
• Comportamento dello struct NULL con l'evoluzione dello schema: per INSERT, MERGE e le scritture in streaming che usano l'evoluzione dello schema, uno struct NULL nell'origine viene ora memorizzato come NULL nella destinazione. In precedenza, le struct NULL venivano erroneamente materializzate come struct non null con tutti i campi impostati su NULL. Aggiornare qualsiasi codice che si basava sulla ricezione di uno struct non NULL con tutti i campi impostati su NULL — questi casi ora restituiscono uno struct NULL.
• NATURAL JOIN: ora usa correttamente la corrispondenza delle colonne senza distinzione tra maiuscole e minuscole quando spark.sql.caseSensitive è false (impostazione predefinita). In precedenza, le colonne che differivano solo per maiuscole/minuscole (ad esempio, ID vs id) non venivano riconosciute come corrispondenti, facendo sì che NATURAL JOIN producesse senza segnalarlo risultati di cross join. Questa correzione allinea il comportamento di NATURAL JOIN a quello delle unioni USING.
• Dipendenze di AWS SDK v1: ora ombreggiate e non più disponibili direttamente nel classpath. Se il codice dipende dalle librerie di AWS SDK v1 fornite in precedenza da Databricks Runtime, aggiungerle come dipendenze esplicite nel progetto.
• Convalida delle dipendenze delle UDF SQL in Unity Catalog: Unity Catalog applica ora la convalida delle dipendenze per le funzioni SQL definite dall'utente per impedire di aggirare i controlli di accesso. Le funzioni SQL definite dall'utente con configurazioni delle dipendenze non valide non possono essere eseguite.
• LEFT OUTER JOIN LATERAL: è stato corretto un bug che ha eliminato erroneamente le righe. Le query che usano questo costrutto restituiscono ora risultati corretti. Per ripristinare temporaneamente il comportamento precedente, impostare spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic su true.
• regr_r2: ora considera correttamente il primo parametro come variabile dipendente. Le query basate sul comportamento errato precedente restituiscono risultati diversi.
• Funzioni iperboliche: sinh, cosh, tanhe le funzioni iperboliche correlate ora restituiscono Infinity invece di generare un errore di overflow quando vengono specificati input molto grandi.
• asinh e acosh: ora usare l'algoritmo fdlibm per la coerenza tra motori. I risultati potrebbero differire leggermente rispetto alle versioni precedenti per gli input relativi a casi limite.
• LIKE corrispondenza di pattern: Ora gestisce correttamente i caratteri Unicode supplementari (punti di codice sopra U+FFFF). I modelli che in precedenza corrispondono o non sono riusciti correttamente per questi caratteri ora restituiscono risultati corretti.
• VOID (NullType) colonne: le tabelle Delta ora supportano le colonne VOID (NullType). VOID le colonne non vengono più eliminate dallo schema della tabella dopo le letture. Le scritture non sono interessate.

Nuove funzionalità e miglioramenti

In questa versione sono disponibili le funzionalità e i miglioramenti seguenti.

• CREATE OR REPLACE TEMP TABLE: ora supportato, che consente di creare o sostituire tabelle temporanee in una singola istruzione.
• agg(): ora disponibile come alias per la measure() funzione. Le query esistenti che usano measure() continuano a funzionare senza modifiche.
• pyspark.pipelines.testing: ora disponibile come alias pratico per dlt.testing le API.
• Prestazioni di elencazione di Auto Loader: Auto Loader ora utilizza un metodo di elencazione più efficiente che migliora la velocità di elencazione per le origini di archiviazione nel cloud. Se i trigger di flusso si sovrappongono a causa di operazioni di presentazione a esecuzione prolungata, questa ottimizzazione può comportare un aumento dei costi dell'API di presentazione nel cloud.
• DESCRIBE HISTORY flag delle opzioni di scrittura: la cronologia della tabella Delta (DESCRIBE HISTORY) ora include i flag delle opzioni di scrittura in operationParameters per le operazioni WRITE e REPLACE TABLE. I flag vengono visualizzati solo quando true: isDynamicPartitionOverwrite, canOverwriteSchema, canMergeSchema, predicatee isV1WriterSaveAsTableOverwrite.
• Riavvolgimento e riproduzione dello streaming strutturato: Structured Streaming supporta ora la riavvolgimento e la riproduzione, consentendo la rielaborazione da un punto precedente nel flusso per il ripristino da errori quali modifiche dello schema o errori di logica, senza una reimpostazione dello stato completa.
• SparkSession.emptyDataFrame: ora disponibile come API utile per la creazione di un oggetto vuoto DataFrame senza colonne e senza righe.
• TIMESTAMP WITH LOCAL TIME ZONE: ora supportato come alias di sintassi SQL per il TIMESTAMP_LTZ tipo .
• to_json sortKeys opzione: la to_json funzione accetta ora un'opzione sortKeys per produrre output JSON con chiavi in ordine ordinato.
• spark.catalog.*: i metodi API ora hanno parità di funzionalità con i comandi DDL equivalenti per le operazioni di catalogo, schema e tabella.
• [Correzione della sicurezza] Aggiornamenti della sicurezza del sistema operativo.

Databricks Runtime 18: 20 aprile 2026

• Correzione dell'autorità di riferimento spaziale CRS per il GEOMETRY(102100) tipo. L'autorità viene ora segnalata come ESRI:102100 anziché EPSG:102100.
• [Correzione della sicurezza] Aggiornamenti della sicurezza del sistema operativo.

Databricks Runtime 18: 2 aprile 2026

• Miglioramento della gestione degli errori per le query che scrivono dati in tabelle Delta contenenti una VOID colonna (NullType) all'interno di un tipo definito dall'utente (UDT).
• Le connessioni del sink di streaming JDBC applicano ora un timeout del socket di 30 secondi, una logica di ritentativo con backoff esponenziale per gli errori transitori (errori di connessione, deadlock, limitazione della velocità) e un rollback gestito correttamente in caso di connessioni interrotte.
• Correzione del danneggiamento del testo SQL che si è verificato quando si usano caratteri Unicode nelle query con parametri.
• SHOW CREATE TABLE produce ora un output corretto per tabelle e viste con regole di confronto non predefinite.
• [Correzione della sicurezza] Aggiornamenti della sicurezza del sistema operativo.

Databricks Runtime 18: 11 marzo 2026

Modifiche comportamentali

Esaminare le modifiche seguenti, che diventano effettive quando i cluster vengono riavviati in questo runtime.

• Errori delle metriche di osservazione: non causa più errori di esecuzione delle query. In precedenza, gli errori nelle OBSERVE clausole (ad esempio divisione per zero) potrebbero bloccare o interrompere l'intera query. A questo momento, la query viene completata correttamente e l'errore viene generato quando si chiama observation.get.
• FILTER clausola per MEASURE: le funzioni di aggregazione MEASURE supportano ora le clausole FILTER. In precedenza, i filtri venivano ignorati automaticamente.
• DESCRIBE FLOW: il DESCRIBE FLOW comando è ora disponibile. Se si dispone di una tabella denominata flow, usare DESCRIBE schema.flow, DESCRIBE TABLE flow o DESCRIBE `flow` con i backtick.
• Operazioni del set booleano spatialSQL: ST_Difference, ST_Intersectione ST_Union usano una nuova implementazione con i miglioramenti seguenti:
  • Le geometrie di input valide producono sempre un risultato e non generano più errori.
  • Prestazioni circa 2 volte più veloci.
  • I risultati vengono normalizzati per un output coerente e confrontabile.
• Tipi di eccezione per SQLSTATE: i tipi di eccezione vengono aggiornati per supportare SQLSTATE. Se il codice analizza le eccezioni in base alla corrispondenza di stringhe o rileva tipi di eccezione specifici, aggiornare la logica di gestione degli errori.
• Aumento automatico del tipo di streaming: le letture di streaming nelle tabelle Delta gestiscono automaticamente l'estensione del tipo di colonna. Per richiedere la conferma manuale, impostare spark.databricks.delta.typeWidening.enableStreamingSchemaTracking su true.

Nuove funzionalità e miglioramenti

In questa versione sono disponibili le funzionalità e i miglioramenti seguenti.

• Eventi relativi ai file di Auto Loader per impostazione predefinita: Auto Loader usa per impostazione predefinita gli eventi relativi ai file durante il caricamento da una posizione esterna con eventi relativi ai file abilitati, riducendo le operazioni di elencazione e i costi rispetto all'elencazione delle directory. Vedere Panoramica del caricatore automatico con eventi di file. Per usare l'elenco di directory, impostare useManagedFileEvents su false.

• Evoluzione dello schema con INSERT: usare la WITH SCHEMA EVOLUTION clausola con istruzioni SQL INSERT per evolvere automaticamente lo schema della tabella di destinazione durante le operazioni di inserimento. Supportato per INSERT INTO, INSERT OVERWRITEe INSERT INTO ... REPLACE. Per esempio:

  INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
  

• Transazioni multi-istruzione di Delta Sharing: le tabelle Delta Sharing che utilizzano le modalità di condivisione tramite URL prefirmati o token cloud supportano le transazioni multi-istruzione. Al primo accesso all'interno di una transazione, la versione della tabella viene bloccata e riutilizzata per tutte le letture successive in tale transazione.

• parse_timestamp: la funzione SQL parse_timestamp analizza le stringhe di timestamp usando più modelli, con il supporto del motore Photon per migliorare le prestazioni.

• max_by e min_by con limit facoltativo: le funzioni di aggregazione max_by e min_by ora accettano un terzo argomento facoltativo limit (fino a 100.000). Se fornite, le funzioni restituiscono un array contenente fino a limit valori, semplificando le query top-K e bottom-K senza funzioni di finestra o CTE.

• DATETIMEOFFSET per Azure Synapse: il tipo di dati DATETIMEOFFSET è supportato per le connessioni di Microsoft Azure Synapse.

• Commenti della tabella Google BigQuery: le descrizioni delle tabelle Di Google BigQuery vengono risolte ed esposte come commenti di tabella.

• IGNORE NULLS / RESPECT NULLS per array_agg e collect_list: Le funzioni di aggregazione array_agg e collect_list ora supportano le clausole IGNORE NULLS e RESPECT NULLS.

• PIVOT alias: la PIVOT clausola supporta ora gli alias, consentendo di rinominare le espressioni di colonna pivot nell'output.

• Variabili dello scripting CURSOR SQL: lo scripting SQL ora supporta CURSOR variabili per scorrere riga per riga il set di risultati di una query all'interno di un blocco di scripting.

• Funzioni di aggregazione matematica vettoriale: sono disponibili nuove funzioni di aggregazione matematica vettoriale: vector_avg, vector_sum, vector_norm e vector_normalize. Queste funzioni operano su colonne vettoriali dense e supportano carichi di lavoro ml.

• Trigger.AvailableNow nei lettori di streaming in Python: I lettori di streaming delle origini dati in Python supportano ora Trigger.AvailableNow e Admission Control, consentendo l'elaborazione batch una tantum di tutti i dati disponibili.

• API di ripartizione dello stato in PySpark: l'API di ripartizione dello stato per TransformWithState gli operatori di streaming è ora disponibile in PySpark, oltre a Scala. Vedere Ripartizione dello stato su richiesta per le query di streaming con stato.

• applyInPandas correzione delle prestazioni: è stata risolta una regressione delle prestazioni 3x in applyInPandas per gruppi di grandi dimensioni.

Databricks Runtime 18: 10 marzo 2026

• I messaggi di errore per le sottoquery scalari usate con EXEC IMMEDIATE ora identificano più chiaramente la causa specifica.
• Risolta una race condition nella compattazione del log del checkpoint di streaming che potrebbe causare un comportamento non deterministico nelle query di Structured Streaming.
• [Correzione della sicurezza] Aggiornamenti della sicurezza del sistema operativo.

Databricks Runtime 18: 26 febbraio 2026

• SET METADATA ON COLUMN E UNSET METADATA ON COLUMN i comandi SQL sono ora disponibili per la gestione dei metadati semantici nelle colonne della tabella del catalogo Unity. Usare SET METADATA ON COLUMN per associare le proprietà (display_name, formate synonyms) alle colonne. Usare UNSET METADATA ON COLUMN per rimuovere le proprietà dei metadati impostate in precedenza.
• DESCRIBE TABLE include ora una metadata colonna che visualizza metadati semantici a livello di colonna come stringa JSON.
• Correzione di un errore di importazione pySpark negli ambienti Windows causati da un UnixStreamServer mancante.
• [Correzione della sicurezza] Aggiornamenti della sicurezza del sistema operativo.

Databricks Runtime 18: 19 febbraio 2026

• Quando si deduce lo schema dei file di Excel, le celle stringa vengono ora dedotte come Spark StringType, rispettando il tipo di cella impostato in Excel. In precedenza, le stringhe con valori numerici venivano automaticamente cast a tipi più stretti come Long o Decimal. Aggiornare il codice basato sul comportamento precedente.
• DataFrame.toJSON() è ora disponibile nel client Python Spark Connect.
• [Correzione della sicurezza] Aggiornamenti della sicurezza del sistema operativo.

Databricks Runtime 18: 27 gennaio 2026

• Il caricatore automatico ora riporta batchSizeNumFiles, batchSizeNumBytes e gli stati di elaborazione dei file (numFilesProcessed, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) come metriche.
• INSERT INTO ... BY NAME supporta ora la REPLACE WHERE clausola .
• La proprietà spark.sql.xml.legacyXMLParser.enabled di configurazione è stata rinominata in spark.sql.legacy.useLegacyXMLParser. Aggiornare tutte le configurazioni del cluster o della sessione che usano il nome precedente.
• Quando spark.task.resource.gpu.amount è maggiore di 1, il server di distribuzione Torch avvia ora un torchrun processo per GPU anziché per ogni attività.
• [Correzione della sicurezza] Aggiornamenti della sicurezza del sistema operativo.

Databricks Runtime 18: 15 gennaio 2026

Databricks Runtime 18 è ora in fase di sviluppo di funzionalità, con tecnologia Apache Spark 4.1.0. Questa versione incorpora tutte le funzionalità, i miglioramenti e le correzioni di bug di tutte le versioni precedenti di Databricks Runtime.

Modifiche comportamentali

Esaminare le modifiche seguenti, che diventano effettive quando i cluster vengono riavviati in questo runtime.

• JDK 21: Databricks Runtime 18 usa JDK 21 come Java Development Kit predefinito. JDK 21 è disponibile a livello generale ed è una versione LTS (Long-Term Support). In precedenza, il valore predefinito era JDK 17. Modifiche rilevanti:

  • Double.toString() e Float.toString() ora producono rappresentazioni di stringa univoche più brevi, che potrebbero differire dagli output JDK 17 in alcuni casi limite.
  • Thread.stop(), Thread.suspend()e Thread.resume() ora generano UnsupportedOperationException.
  • I dati delle impostazioni locali aggiornati (CLDR v42) potrebbero influire sulla formattazione di data, ora e numero.

  Se si verificano problemi di compatibilità, eseguire il fallback a JDK 17. Per informazioni sulla configurazione delle versioni di JDK, vedere Creare un cluster con una versione JDK specifica.

• FSCK REPAIR TABLE: ora include un passaggio iniziale di ripristino dei metadati prima di verificare la presenza di file di dati mancanti. Il comando funziona su tabelle con checkpoint danneggiati o valori di partizione non validi.

• Gestione dei valori null in Spark Connect Scala: la nullabilità dei tipi array e mappa è ora preservata per i letterali tipizzati nel client Spark Connect Scala. In precedenza, gli elementi degli array e i valori delle mappe erano sempre nullabili.

• FSCK REPAIR TABLE DRY RUN: La colonna dataFilePath nello schema di output FSCK REPAIR TABLE DRY RUN può ora contenere valori nulli per supportare la segnalazione di nuovi tipi di problemi per i quali il percorso del file di dati non è applicabile.

• SHOW TABLES DROPPED: ora rispetta correttamente la LIMIT clausola .

• Esecuzione delle UDF Python: le UDF Python di Unity Catalog ora usano Apache Arrow come formato di interscambio predefinito, migliorando le prestazioni complessive. Nell'ambito di questa modifica, TIMESTAMP i valori passati alle UDF Python non includono più informazioni sul datetime fuso orario nell'attributo dell'oggetto tzinfo. I valori timestamp stessi rimangono in formato UTC, ma i metadati del fuso orario vengono ora eliminati. Se la UDF dipende dalle informazioni sul fuso orario, ripristinale con date = date.replace(tzinfo=timezone.utc). Per altre informazioni, vedere Comportamento del fuso orario timestamp per gli input.

• Time travel and VACUUM retention: Azure Databricks ora blocca le query di spostamento del tempo oltre la soglia di tempo deletedFileRetentionDuration per tutte le tabelle. Il VACUUM comando ignora l'argomento durata conservazione tranne quando il valore è 0 ore. Non è possibile impostare deletedFileRetentionDuration più grande di logRetentionDuration o viceversa.

• BinaryType in PySpark: In PySpark, BinaryType viene ora mappato in modo coerente a Python bytes. In precedenza, PySpark mappa BinaryType a bytes o bytearray dipende dal contesto. Per ripristinare il comportamento precedente, impostare spark.sql.execution.pyspark.binaryAsBytes su false.

• Strutture NULL in Delta MERGE e UPDATE: ora preservate come NULL in Delta MERGE, UPDATE, e nelle operazioni di scrittura in streaming che includono cast di tipo struct. In precedenza, le struct NULL venivano espanse in struct con campi NULL.

• Materializzazione delle colonne di partizione: le tabelle Delta partizionate ora materializzano le colonne di partizione nei file di dati Parquet appena scritti. In precedenza, i valori di partizione venivano archiviati nei metadati del log delle transazioni Delta e riflessi nei percorsi di directory, ma non scritti come colonne nei file Parquet stessi. Questa modifica è allineata al comportamento Apache Iceberg e UniForm e potrebbe influire sui carichi di lavoro che leggono direttamente i file Parquet scritti da Delta Lake.

• Fuso orario di partizione timestamp: i valori di partizione timestamp sono stati precedentemente convertiti in utc usando il fuso orario JVM anziché la spark.sql.session.timeZone configurazione. I valori della partizione timestamp vengono ora modificati correttamente usando l'impostazione del fuso orario della sessione Spark.

• DESCRIBE TABLE colonna dei metadati: l'output di DESCRIBE TABLE [EXTENDED] include ora una nuova metadata colonna per tutti i tipi di tabella. Questa colonna contiene metadati semantici (nome visualizzato, formato e sinonimi) definiti nella tabella come stringa JSON.

Nuove funzionalità e miglioramenti

In questa versione sono disponibili le funzionalità e i miglioramenti seguenti.

• Scripting SQL: la funzionalità di scripting SQL è ora disponibile a livello generale.
• Isolamento condiviso per le UDF Python di Unity Catalog: le UDF Python di Unity Catalog con lo stesso proprietario possono ora condividere per impostazione predefinita un ambiente isolato. Ciò migliora le prestazioni e riduce l'utilizzo della memoria riducendo il numero di ambienti separati avviati. Per garantire che un UDF venga sempre eseguito in un ambiente completamente isolato, aggiungi la clausola di caratteristica STRICT ISOLATION. Vedere Isolamento dell'ambiente.
• Funzioni della finestra SQL nelle visualizzazioni delle metriche: è ora possibile usare le funzioni della finestra SQL nelle visualizzazioni delle metriche per calcolare i totali, le classificazioni e altri calcoli basati su finestre.
• Partizioni shuffle dinamiche nello streaming senza stato: ora è possibile modificare il numero di partizioni shuffle nelle query di streaming senza stato senza riavviare la query.
• AQE e AOS in streaming senza stato: l'esecuzione di query adattive (AQE) e la shuffle ottimizzata automaticamente (AOS) sono ora supportate nelle query di streaming senza stato.
• Marcatori di parametro: è ora possibile usare marcatori di parametro denominati (:param) e senza nome (?) ovunque sia possibile usare un valore letterale del tipo appropriato. Questo include istruzioni DDL come CREATE VIEW v AS SELECT ? AS c1, tipi di colonna DECIMAL(:p, :s) o COMMENT ON t IS :comment. Per informazioni dettagliate, vedere Marcatori di parametro .
• IDENTIFIER costrutto: l'ambito di applicazione del costrutto, che converte le stringhe in nomi di oggetti SQL IDENTIFIER, è stato esteso a quasi tutti i contesti in cui è consentito un identificatore. Per informazioni dettagliate, vedere IDENTIFIER.
• BITMAP_AND_AGG: la libreria esistente di BITMAP funzioni include ora una nuova funzione di BITMAP_AND_AGG .
• Funzioni Theta Sketch: ora è possibile usare una nuova libreria di funzioni per il conteggio approssimativo dei valori distinti e per le operazioni sugli insiemi tramite DataSketches Theta Sketch. Vedere theta_sketch_agg e funzioni correlate.
• Funzioni di schizzo KLL: è ora possibile usare una nuova libreria di funzioni per il calcolo approssimativo della quantile usando schizzi KLL. Vedere kll_sketch_agg_bigint e funzioni correlate.
• Sono ora disponibili nuove funzioni geospaziali: st_azimuth, st_boundary, st_closestpoint e st_geogfromewkt.
• GeometryType e GeographyType: Apache Spark supporta ora i tipi di dati nativi GeometryType e GeographyType nelle API PySpark e Java. Questi tipi supportano la serializzazione Arrow e la lettura e scrittura in Parquet e sono distinti dalle funzioni geospaziali SQL.
• approx_top_k: la nuova funzione di aggregazione approx_top_k restituisce i valori top-K approssimativi più frequenti in una colonna usando un algoritmo di schizzo efficiente per lo spazio.
• Driver JDBC Spark Connect: Apache Spark include ora un driver JDBC per Spark Connect, consentendo ai client e agli strumenti basati su JDBC di connettersi a Spark tramite il protocollo Spark Connect.
• Iterator[pandas.DataFrame] in applyInPandas: DataFrame.applyInPandas accetta ora una funzione con una Iterator[pandas.DataFrame] firma, riducendo il sovraccarico durante l'elaborazione di gruppi di grandi dimensioni tramite lo streaming di dati in batch.
• Vincoli di controllo: ora supportano confronti con valori null nell'espressione del vincolo.
• API di ripartizione dello stato per TransformWithState: una nuova API di ripartizione dello stato è disponibile per TransformWithState gli operatori di streaming in Scala, consentendo di modificare il partizionamento delle chiavi dei dati con stato tra i riavvii delle query. Vedere Ripartizione dello stato su richiesta per le query di streaming con stato.
• Python 3.14 in pyspark-connect: pyspark-client e pyspark-connect ora supportano Python 3.14.

Aggiornamenti della libreria

• Librerie di Python aggiornate:

  • anyio dalla versione 4.6.2 alla versione 4.7.0
  • asttokens da 2.0.5 a 3.0.0
  • azure-core da 1.34.0 a 1.37.0
  • azure-mgmt-core da 1.5.0 a 1.6.0
  • azure-storage-blob da 12.23.0 a 12.28.0
  • azure-storage-file-datalake da 12.17.0 a 12.22.0
  • boto3 da 1.36.2 a 1.40.45
  • botocore dalla versione 1.36.3 alla versione 1.40.45
  • certificato dal 31/01/2025 al 26/04/2025
  • fare clic da 8.1.7 a 8.1.8
  • crittografia da 43.0.3 a 44.0.1
  • Cython dalla versione 3.0.12 alla versione 3.1.5
  • databricks-sdk da 0.49.0 a 0.67.0
  • Deprecato da 1.2.13 a 1.2.18
  • esecuzione da 0.8.3 a 1.2.0
  • fastapi da 0.115.12 a 0.128.0
  • filelock da 3.18.0 a 3.17.0
  • google-api-core da 2.20.0 a 2.28.1
  • Google-auth dalla versione 2.40.0 alla versione 2.47.0
  • google-cloud-core da 2.4.3 a 2.5.0
  • google-cloud-storage da 3.1.0 a 3.7.0
  • google-crc32c da 1.7.1 a 1.8.0
  • Google-resumable-media da 2.7.2 a 2.8.0
  • h11 da 0.14.0 a 0.16.0
  • httpcore da 1.0.2 a 1.0.9
  • httpx da 0.27.0 a 0.28.1
  • isodate da 0.6.1 a 0.7.2
  • Jinja2 da 3.1.5 a 3.1.6
  • jupyter-events versione da 0.10.0 a 0.12.0
  • jupyter-lsp da 2.2.0 a 2.2.5
  • jupyter_server dalla versione 2.14.1 alla versione 2.15.0
  • jupyter_server_terminals da 0.4.4 a 0.5.3
  • mistune da 2.0.4 a 3.1.2
  • mlflow-skinny da 3.0.1 a 3.8.1
  • mmh3 da 5.1.0 a 5.2.0
  • msal da 1.32.3 a 1.34.0
  • nbclient da 0.8.0 a 0.10.2
  • nbconvert da 7.16.4 a 7.16.6
  • nodeenv da 1.9.1 a 1.10.0
  • notebook_shim da 0.2.3 a 0.2.4
  • opentelemetry-api dalla versione 1.32.1 alla versione 1.39.1
  • opentelemetry-sdk dalla versione 1.32.1 alla versione 1.39.1
  • opentelemetry-semantic-conventions da 0.53b1 a 0.60b1
  • platformdirs dalla versione 3.10.0 alla versione 4.3.7
  • prometheus_client da 0.21.0 a 0.21.1
  • proto-plus da 1.26.1 a 1.27.0
  • psycopg2 da 2.9.3 a 2.9.11
  • pyarrow da 19.0.1 a 21.0.0
  • Pygments da 2.15.1 a 2.19.1
  • pyiceberg da 0.9.0 a 0.10.0
  • python-lsp-server da 1.12.0 a 1.12.2
  • corda da 1.12.0 a 1.13.0
  • s3transfer dalla versione 0.11.3 alla versione 0.14.0
  • scipy da 1.15.1 a 1.15.3
  • setuptools da 74.0.0 a 78.1.1
  • six da 1.16.0 a 1.17.0
  • sqlparse da 0.5.3 a 0.5.5
  • stack-data da 0.2.0 a 0.6.3
  • starlette da 0.46.2 a 0.50.0
  • tornado da 6.4.2 a 6.5.1
  • types-python-dateutil da 2.9.0.20241206 a 2.9.0.20251115
  • uvicorn da 0.34.2 a 0.40.0
  • webcolors da 24.11.1 a 25.10.0

• Librerie R aggiornate:

  • freccia da 19.0.1 a 22.0.0
  • base da 4.4.2 a 4.5.1
  • bigD da 0.3.0 a 0.3.1
  • scopa da 1.0.7 a 1.0.10
  • orologio da 0.7.2 a 0.7.3
  • commonmark versioni da 1.9.5 a 2.0.0
  • compilatore da 4.4.2 a 4.5.1
  • credenziali dalla versione 2.0.2 alla versione 2.0.3
  • curl da 6.4.0 a 7.0.0
  • data.table da 1.17.0 a 1.17.8
  • set di dati da 4.4.2 a 4.5.1
  • dbplyr da 2.5.0 a 2.5.1
  • devtools dalla versione 2.4.5 alla versione 2.4.6
  • diffobj da 0.3.5 a 0.3.6
  • digest da 0.6.37 a 0.6.39
  • downlit da 0.4.4 a 0.4.5
  • dtplyr da 1.3.1 a 1.3.2
  • valutare da 1.0.3 a 1.0.5
  • fansi da 1.0.6 a 1.0.7
  • forcats da 1.0.0 a 1.0.1
  • fs da 1.6.5 a 1.6.6
  • futuro dal 1.34.0 al 1.68.0
  • future.apply dalla versione 1.11.3 alla versione 1.20.0
  • gargle dalla versione 1.5.2 alla 1.6.0
  • Aggiornamento gert da versione 2.1.4 a 2.2.0
  • ggplot2 da 3.5.1 a 4.0.1
  • gh da 1.4.1 a 1.5.0
  • git2r dalla versione 0.35.0 alla versione 0.36.2
  • glmnet da 4.1-8 a 4.1-10
  • Google Drive da 2.1.1 a 2.1.2
  • Googlesheets4 da 1.1.1 a 1.1.2
  • grafica da 4.4.2 a 4.5.1
  • grDevices dalla versione 4.4.2 alla versione 4.5.1
  • griglia da 4.4.2 a 4.5.1
  • gt da 0.11.1 a 1.1.0
  • Aggiornamento di hardhat da versione 1.4.1 a 1.4.2
  • aggiornamento di haven dalla versione 2.5.4 alla 2.5.5
  • hms da 1.1.3 a 1.1.4
  • httpuv da 1.6.15 a 1.6.16
  • httr2 da 1.1.1 a 1.2.1
  • jsonlite da 1.9.1 a 2.0.0
  • dalla versione 1.4.1 alla versione 1.4.4
  • lava da 1.8.1 a 1.8.2
  • listenv da 0.9.1 a 0.10.0
  • magrittr da 2.0.3 a 2.0.4
  • markdown da 1.13 a 2.0
  • metodi da 4.4.2 a 4.5.1
  • miniUI da 0.1.1.1 a 0.1.2
  • mlflow da 2.20.4 a 3.6.0
  • openssl dalla versione 2.3.3 alla versione 2.3.4
  • parallelo da 4.4.2 a 4.5.1
  • parallelamente da 1.42.0 a 1.45.1
  • pilastro da 1.11.0 a 1.11.1
  • pkgbuild da 1.4.6 a 1.4.8
  • pkgdown da 2.1.1 a 2.2.0
  • pkgload da 1.4.0 a 1.4.1
  • pROC da 1.18.5 a 1.19.0.1
  • prodlim dal 2024.06.25 al 2025.04.28
  • Aggiornamento del progressr dalla versione 0.15.1 alla versione 0.18.0
  • promesse dalla versione 1.3.2 alla 1.5.0
  • Versioni di ps da 1.9.0 a 1.9.1
  • purrr da 1.0.4 a 1.2.0
  • ragg da 1.3.3 a 1.5.0
  • Rcpp da 1.0.14 a 1.1.0
  • readr dalla versione 2.1.5 alla versione 2.1.6
  • ricette da 1.2.0 a 1.3.1
  • reshape2 da 1.4.4 a 1.4.5
  • rmarkdown da 2.29 a 2.30
  • roxygen2 da 7.3.2 a 7.3.3
  • rprojroot da 2.0.4 a 2.1.1
  • RSQLite da 2.3.9 a 2.4.4
  • versioni da 2.1.2 a 3.0.0
  • rvest da 1.0.4 a 1.0.5
  • aggiornamento di sass dalla versione 0.4.9 alla versione 0.4.10
  • scala da 1.3.0 a 1.4.0
  • brillante da 1.10.0 a 1.11.1
  • sparklyr da 1.9.1 a 1.9.3
  • SparkR dalla versione 4.0.0 alla versione 4.1.0
  • sparsevctrs da 0.3.1 a 0.3.4
  • spline da 4.4.2 a 4.5.1
  • statistiche dalla versione 4.4.2 alla versione 4.5.1
  • stats4 da 4.4.2 a 4.5.1
  • stringr da 1.5.1 a 1.6.0
  • systemfonts da 1.2.1 a 1.3.1
  • tcltk da 4.4.2 a 4.5.1
  • testthat da 3.2.3 a 3.3.0
  • textshaping da 1.0.0 a 1.0.4
  • DataOra da 4041.110 a 4051.111
  • tinytex da 0,56 a 0,58
  • strumenti da 4.4.2 a 4.5.1
  • usethis da 3.1.0 a 3.2.1
  • utils dalla versione 4.4.2 alla versione 4.5.1
  • V8 dalla versione 6.0.2 alla versione 8.0.1
  • vroom da 1.6.5 a 1.6.6
  • waldo da 0.6.1 a 0.6.2
  • xfun da 0.51 a 0.54
  • xml2 da 1.3.8 a 1.5.0
  • zeallot da 0.1.0 a 0.2.0
  • zip da 2.3.2 a 2.3.3

• Librerie Java aggiornate:

  • com.amazonaws.amazon-kinesis-client da 1.12.0 a 1.15.3
  • com.amazonaws.aws-java-sdk-autoscaling da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudformation da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudfront da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudhsm da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudsearch da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudtrail da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatch da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-codedeploy da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cognitosync da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-config da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-core da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-datapipeline da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-directconnect da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-directory da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-dynamodb da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ec2 da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ecs da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-efs da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticache da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticbeanstalk da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-emr da 1.12.638 a 1.12.681
  • Versione di com.amazonaws.aws-java-sdk-glacier da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-glue da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-iam da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-importexport da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-kinesis da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-kms da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-lambda da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-logs da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-machinelearning da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-opsworks da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-rds da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-redshift da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-route53 da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-s3 da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ses da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-simpledb dalla versione 1.12.638 alla versione 1.12.681
  • com.amazonaws.aws-java-sdk-simpleworkflow da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sns da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sqs da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ssm da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-storagegateway da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sts aggiornato dalla versione 1.12.638 alla 1.12.681
  • com.amazonaws.aws-java-sdk-support aggiornato dalla versione 1.12.638 alla versione 1.12.681
  • com.amazonaws.aws-java-sdk-workspaces da 1.12.638 a 1.12.681
  • com.amazonaws.jmespath-java da 1.12.638 a 1.12.681
  • com.databricks.databricks-sdk-java da 0.27.0 a 0.53.0
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.18.2 a 2.18.3
  • com.github.luben.zstd-jni da 1.5.6-10 a 1.5.7-6
  • com.google.flatbuffers.flatbuffers-java da 24.3.25 a 25.2.10
  • com.google.guava.failureaccess dalla versione 1.0.2 alla versione 1.0.3
  • com.google.guava.guava da 33.4.0-jre a 33.4.8-jre
  • com.microsoft.sqlserver.mssql-jdbc da 11.2.3.jre8 a 12.8.0.jre8
  • commons-cli.commons-cli da 1.9.0 a 1.10.0
  • commons-codec.commons-codec da 1.17.2 a 1.19.0
  • commons-fileupload.commons-fileupload dalla versione 1.5 alla 1.6.0
  • commons-io.commons-io da 2.18.0 a 2.21.0
  • dev.ludovic.netlib.arpack da 3.0.3 a 3.0.4
  • dev.ludovic.netlib.blas da 3.0.3 a 3.0.4
  • dev.ludovic.netlib.lapack da 3.0.3 a 3.0.4
  • annotazione io.dropwizard.metrics.metrics da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-core da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-graphite da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-healthchecks da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-jmx da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-json da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-jvm dalla versione 4.2.30 alla versione 4.2.37
  • io.dropwizard.metrics.metrics-servlets da 4.2.30 a 4.2.37
  • io.delta.delta-sharing-client_2.13 da 1.3.10 a 1.3.11
  • io.netty.netty-all dalla versione 4.1.118.Final alla versione 4.2.7.Final
  • io.netty.netty-buffer da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-codec da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-codec-http: passaggio dalla versione 4.1.118.Final alla versione 4.2.7.Final
  • io.netty.netty-codec-http2 dalla versione 4.1.118.Final alla versione 4.2.7.Final
  • io.netty.netty-codec-socks da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-common da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-handler da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-handler-proxy da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-resolver da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-tcnative-boringssl-static da 2.0.70.Final-db-r0-windows-x86_64 a 2.0.74.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes da 2.0.70.Final a 2.0.74.Final
  • Trasporto io.netty.netty-transport da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-classes-epoll da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-classes-kqueue da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-native-epoll da 4.1.118.Final-linux-x86_64 a 4.2.7.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue da 4.1.118.Final-osx-x86_64 a 4.2.7.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common da 4.1.118.Final a 4.2.7.Final
  • joda-time.joda-time da 2.13.0 a 2.14.0
  • org.apache.arrow.arrow-format da 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-core da 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-netty da 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-netty-buffer-patch da 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-vector da 18.2.0 a 18.3.0
  • org.apache.avro.avro da 1.12.0 a 1.12.1
  • org.apache.avro.avro-ipc da 1.12.0 a 1.12.1
  • org.apache.avro.avro-mapred da 1.12.0 a 1.12.1
  • org.apache.commons.commons-collections4 da 4.4 a 4.5.0
  • org.apache.commons.commons-compress da 1.27.1 a 1.28.0
  • org.apache.commons.commons-lang3 da 3.17.0 a 3.19.0
  • org.apache.commons.commons-text da 1.13.0 a 1.14.0
  • org.apache.curator.curator-client dalla versione 5.7.1 alla versione 5.9.0
  • org.apache.curator.curator-framework dalla versione 5.7.1 alla versione 5.9.0
  • org.apache.curator.curator-recipes dalla versione 5.7.1 alla versione 5.9.0
  • org.apache.datasketches.datasketches-java da 6.1.1 a 6.2.0
  • org.apache.hadoop.hadoop-client-runtime da 3.4.1 a 3.4.2
  • org.apache.orc.orc-core da 2.1.1-shaded-protobuf a 2.2.0-shaded-protobuf
  • org.apache.orc.orc-format da 1.1.0-shaded-protobuf a 1.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce da 2.1.1-shaded-protobuf a 2.2.0-shaded-protobuf
  • org.apache.orc.orc-shims da 2.1.1 a 2.2.0
  • org.apache.xbean.xbean-asm9-shaded da 4.26 a 4.28
  • org.apache.zookeeper.zookeeper da 3.9.3 a 3.9.4
  • org.apache.zookeeper.zookeeper-jute da 3.9.3 a 3.9.4
  • org.eclipse.jetty.jetty-client da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-http da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-io da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-jndi da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-plus da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-proxy da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-security da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-server da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-servlet da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-servlets da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-util da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-webapp da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-xml da 9.4.53.v20231009 a 10.0.26
  • org.mlflow.mlflow-spark_2.13 da 2.9.1 a 2.22.1
  • org.objenesis.objenesis da 3.3 a 3.4
  • org.scala-lang.modules.scala-xml_2.13 dalla versione 2.3.0 alla versione 2.4.0

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Ambiente di sistema

• Sistema operativo: Ubuntu 24.04.4 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.2.0

Librerie installate di Python

Librerie R installate

Le librerie R vengono installate dallo snapshot Posit Gestione pacchetti CRAN in PACKAGES.

Librerie Java e Scala installate (versione cluster Scala 2.13)