Le 5 più grandi storie di Linux e open source del 2024: dagli argomenti sull'intelligenza artificiale alle chiamate ravvicinate per la sicurezza
Databricks, campione della tecnologia data lakehouse e del suo formato di storage aperto, ha annunciato di aver stabilito un record mondiale per un benchmark delle prestazioni del data warehouse.
Riepilogo dei risultati del benchmark TPC-DS di Databricks
Con l'aumento delle fonti e dei volumi di dati e con l'orientamento basato sui dati sempre più considerato una necessità competitiva, la guerra tra i fornitori di piattaforme per fornire l'archivio principale per i nostri dati è intensa. La guerra ha diversi fronti, uno dei quali è l'analisi. E all'interno di questo ambito, i campi del data warehouse e del data lake sono i principali combattenti.
Il lato del data warehouse è forte, in quanto include una combinazione di fornitori storici come Teradata e Vertica (ora parte di Micro Focus), tutti e tre i principali fornitori di cloud (AWS, Google Cloud, Microsoft Azure) e il beniamino del settore Snowflake. Per quanto riguarda i data lake, i fornitori indipendenti, come Cloudera e Databricks, sono forse i concorrenti più emblematici.
Il precedente detentore del record di prestazioni su scala di benchmark TPC-DS di Databricks era Alibaba. Il gigante cinese di Internet e dell'e-commerce ha raggiunto un risultato di 14.861.137 QphDS @ 100TB (query di supporto decisionale all'ora, basate su query che coinvolgono 100TB di dati), utilizzando il proprio sistema di data warehouse personalizzato e anche piuttosto robusto.
Databricks, nel frattempo, ha annunciato di aver raggiunto un risultato di 32.941.245 QphDS @ 100TB, più del doppio delle prestazioni di Alibaba. Lo ha fatto su un sistema che, secondo l'azienda, aveva un costo inferiore del 10% rispetto alla piattaforma di birra fatta in casa di Alibaba. E mentre i benchmark sono stati condotti da Databricks stessa, i risultati sono stati verificati dal TPC.
Secondo Databricks, ha stabilito un record di tutti i tempi.
L'azienda ritiene inoltre che tutti gli ostacoli che impedivano ai clienti di utilizzare una piattaforma lakehouse al posto di una piattaforma di magazzino dovrebbero ora essere eliminati. Questo è significativo perché, anche nel suo sostegno all'approccio lakehouse, Databricks ha precedentemente ammesso che le piattaforme di magazzino hanno prestazioni migliori per determinati carichi di lavoro e l'azienda ha capito che questo deficit di prestazioni impediva ai clienti di passare dal lato lakehouse.
Affrontare Fiocco di Neve
Databricks ha chiaramente ritenuto che questi risultati di benchmark lo abbiano reso in grado di tenere testa a Snowflake, il beniamino del data warehouse. A proposito, oltre ai risultati del benchmark TPC, Databricks sta pubblicizzando il lavoro svolto dal Barcelona Supercomputing Center (BSC) confrontando Databricks SQL e Snowflake. Databricks afferma che questo lavoro, basato su benchmark TPC-DS ma non controllato da TPC, mostra che Databricks SQL è 2,7 volte più veloce (vedere la figura seguente da un post del blog di Databricks sull'argomento). BSC segnala inoltre che un cluster SQL di Databricks è 12 volte migliore in termini di rapporto prezzo/prestazioni rispetto a una configurazione Snowflake di dimensioni simili.
Confronto tra Databricks SQL e Snowflake con un benchmark derivato da TPC-DS.
C'è un sacco di spin qui, ma ciò che i risultati TPC e BSC mostrano è che l'architettura lakehouse può gestire questi carichi di lavoro BI. Questo è significativo perché la maggior parte dei sistemi basati su Spark, incluso Databricks, era in precedenza la soluzione migliore per l'ingegneria dei dati, l'apprendimento automatico e le query intermittenti nell'ambito dell'analisi. Ottenere un sistema di questo tipo per gestire i carichi di lavoro di analisi in corso, o l'analisi ad hoc che coinvolge più query che si basano l'una sull'altra, è stato più difficile da trovare.
Se la domanda è se questo significa che la lakehouse è ora un sostituto completamente abilitato per un magazzino, allora la risposta non è chiara.
La ragione principale di questa mancanza di chiarezza ha a che fare con l'opinione dei clienti sul motivo per cui un lago o una casa sul lago non erano un sostituto adeguato, prima. Sì, per alcuni, il motivo per rimanere con un magazzino è stato il rendimento e questa suite di benchmark TPC può risolvere queste preoccupazioni e influenzare i clienti che le hanno sposate.
Una questione di formalità
Per altri clienti, i criteri riguardano più il paradigma, tra cui la modellazione dei dati e, in un certo senso, la governance dei dati, che le prestazioni. L'etica di un lago è quella di archiviare i dati sotto forma di file denominati in formati aperti, in modo che i dati siano compatibili e possano essere utilizzati da una serie di motori di database e analisi. E poiché i dati sono archiviati come file su disco o in cloud storage, la necessità (e la volontà) di modellarli è ridotta.
Ciò rende i dati meno formali, spesso meno esaminati e anche meno controllati. Il controllo è più delegato, il che semplifica l'inserimento dei dati. Queste caratteristiche di un data lake si applicano anche agli scenari lakehouse.
Un data warehouse è più formale e controllato e in genere applica un modello di dati più esplicito e completo. È meno agile, il che frustra gli utenti, ma ha anche più di un filtro, che può essere correlato a un grado generalmente più elevato di qualità dei dati e fiducia degli utenti.
Grandi benchmark per i big data
Configurazione con benchmark Databricks TPC-DS
Un sistema con un'infrastruttura del valore di 5 milioni di dollari e enormi volumi di dati potrebbe essere in grado di competere con il benchmark di Alibaba, ma non è tipico di ciò di cui la maggior parte dei clienti ha bisogno o può permettersi. Dimostra che Databricks SQL può gestire carichi di lavoro enormi e, per alcuni clienti, questo sarà di per sé importante.
L'importanza dei risultati dei benchmark di Databricks può essere compresa al meglio attraverso un'adeguata definizione della domanda. Databricks lo inquadrerebbe in termini di: "Quale modello regna sovrano?" Ma forse la domanda è: "Quale modello attrae di più determinati clienti, in particolari casi d'uso?" Seguito da: "Le prestazioni sono ora sufficienti con entrambi i modelli?"
In definitiva, la maggior parte delle aziende può probabilmente trarre vantaggio da un data warehouse e da un data lake. Il warehouse può essere un repository per dati altamente controllati, attentamente conformati e modellati per guidare la reportistica, i dashboard operativi e le query ad hoc nell'ambito delle "incognite note". I laghi e le lakehouse, nel frattempo, possono ospitare più dati, con un processo di onboarding più breve, con meno "modellazione in scrittura" ed essere utilizzati per analisi esplorative e visualizzazioni estemporanee.
La vittoria, non il vincitore
I risultati del TPC chiariscono che entrambi i modelli funzionano bene, offrono risultati eccellenti, possono interfacciarsi quando necessario e funzionano con gli stessi strumenti di BI. Sono anche convenienti, cloud-first, elastici e agili. Ma anche se la questione magazzino/lakehouse non richiede necessariamente una scelta o l'altra, c'è un lato positivo per i fornitori che la vedono in questo modo: la concorrenza per gli stessi clienti e gli stessi carichi di lavoro si traduce in un'innovazione continua a vantaggio del cliente.
Se i benchmark TPC sono l'arbitro ultimo di ciò che è meglio dipenderà dai criteri dell'acquirente. Ma i risultati TPC-DS di Databricks sono impressionanti, a prescindere. Sono una pietra miliare per il settore e una funzione di forzatura per assicurarsi che i fornitori adottino un approccio di miglioramento continuo, sia che pubblicizzino il lago, la casa sul lago o il magazzino.