Cosa è un data lake

Cosa è un data lake. Un data lake è uno spazio centrale che contiene una grande quantità di dati nel loro formato nativo e grezzo. Rispetto a un data warehouse gerarchico, che archivia i dati in file o cartelle, un data lake utilizza un’architettura piatta e l’archiviazione a oggetti per memorizzare i dati.‍ L’archiviazione a oggetti archivia i dati con tag di metadati e un identificatore univoco, il che facilita la localizzazione e il recupero dei dati in diverse regioni e migliora le prestazioni. Sfruttando l’archiviazione a oggetti a basso costo e i formati aperti, i data lake consentono a molte applicazioni di sfruttare i dati.

I data lake sono stati sviluppati in risposta ai limiti dei data warehouse. Sebbene i data warehouse forniscano alle aziende analisi altamente performanti e scalabili, sono costosi e proprietari, e non sono in grado di gestire i casi d’uso moderni che la maggior parte delle aziende cerca di affrontare. I data lake sono spesso utilizzati per consolidare tutti i dati di un’organizzazione in un’unica posizione centrale, dove possono essere salvati “così come sono”, senza la necessità di imporre uno schema (cioè una struttura formale per l’organizzazione dei dati) a monte, come fa un data warehouse. I dati possono essere archiviati in un data lake in tutte le fasi del processo di affinamento: i dati grezzi possono essere caricati e archiviati accanto alle fonti di dati strutturati e tabellari di un’organizzazione (come le tabelle dei database), nonché alle tabelle di dati intermedie generate nel processo di affinamento dei dati grezzi. A differenza della maggior parte dei database e dei data warehouse, i data lake sono in grado di elaborare tutti i tipi di dati, compresi quelli non strutturati e semi-strutturati come immagini, video, audio e documenti, che sono fondamentali per gli attuali casi d’uso di machine learning e advanced analytics.

Perché utilizzare un data lake?
Innanzitutto, queste tecnologie sono in formato aperto, quindi gli utenti evitano il lock-in in un sistema proprietario come un data warehouse, che è diventato sempre più importante nelle moderne architetture di dati. I data lake sono anche altamente durevoli e a basso costo, grazie alla loro capacità di scalare e di sfruttare lo storage a oggetti. Inoltre, l’analisi avanzata e l’apprendimento automatico dei dati non strutturati sono oggi tra le priorità più strategiche per le aziende. La capacità unica di gestire dati grezzi in una varietà di formati (strutturati, non strutturati, semi-strutturati), insieme agli altri vantaggi menzionati, rende un data lake la scelta più chiara per l’archiviazione dei dati.

Se correttamente strutturati, i data lake consentono di:

• Power data science e apprendimento automatico. I data lake consentono di trasformare i dati grezzi in dati strutturati pronti per l’analisi SQL, la scienza dei dati e il machine learning con bassa latenza. I dati grezzi possono essere conservati a tempo indeterminato a basso costo per un uso futuro nell’apprendimento automatico e nell’analisi.

• Centralizza, consolida e cataloga i propri dati
  Un data lake centralizzato elimina i problemi con i silos di dati (come la duplicazione dei dati, le politiche di sicurezza multiple e la difficoltà con la collaborazione), offrendo agli utenti a valle un unico posto per cercare tutte le fonti di dati.
• Integrazione rapida e perfetta di diverse fonti di dati e formati
  Qualsiasi tipi di dati possono essere raccolti e conservati a tempo indeterminato in un data lake, compresi i dati batch e in streaming, video, immagini, file binari e altro ancora. E poiché il data lake fornisce una zona di atterraggio per i nuovi dati, è sempre aggiornato.
• Democratizza i dati offrendo agli utenti strumenti self-service.I data lake sono incredibilmente flessibili, consentendo agli utenti con competenze, strumenti e lingue completamente diverse di eseguire diverse attività di analisi contemporaneamente.

Sfide del data lake
Nonostante i loro pro, molte delle promesse dei lake non sono stati concretizzati a causa della mancanza di alcune caratteristiche critiche: nessun supporto per le transazioni, nessuna applicazione della qualità dei dati o di governance, e poche ottimizzazioni delle prestazioni. Di conseguenza, la maggior parte dei data lake nell’impresa si sono trasformati in “paludi di dati”.

Problemi di affidabilità
Senza gli strumenti adeguati in atto, i data lake possono soffrire di problemi di affidabilità dei dati che rendono difficile per gli scienziati dei dati e gli analisti a ragionare sui dati. Questi problemi possono derivare dalla difficoltà di combinare i dati in batch e in streaming, la corruzione dei dati e altri fattori.

Prestazione lenta
Come la dimensione dei dati in un lake aumenta, le prestazioni dei motori di query tradizionali è tradizionalmente diventato più lenti. Alcuni dei colli di bottiglia includono la gestione dei metadati, il partizionamento dei dati improprio e altri.

Mancanza di caratteristiche di sicurezza
Data laghi sono difficili da proteggere correttamente e governare a causa della mancanza di visibilità e la capacità di eliminare o aggiornare i dati. Queste limitazioni rendono molto difficile soddisfare i requisiti degli organismi di regolamentazione.

Per questi motivi, un data lake tradizionale da solo non è sufficiente a soddisfare le esigenze delle aziende che cercano di innovare, motivo per cui le aziende spesso operano in architetture complesse, con i dati isolati in diversi sistemi di storage: magazzini di dati, database e altri sistemi di archiviazione in tutta l’azienda. Semplificare l’architettura unificando tutti i dati in un data lake è il primo passo per le aziende che aspirano a sfruttare la potenza del machine learning e dell’analisi dei dati per vincere nel prossimo decennio.

Come un Lakehouse risolve queste sfide
La risposta alle sfide dei laghi di dati è il Lakehouse, che aggiunge un livello di archiviazione transazionale in cima. Un Lakehouse che utilizza strutture dati e funzionalità di gestione dati simili a quelle di un data warehouse, ma invece li esegue direttamente sui lake di dati in cloud. In definitiva, un Lakehouse consente l’analisi tradizionale, la scienza dei dati e il machine learning per coesistere nello stesso sistema, il tutto in un formato aperto.

Un Lakehouse consente una vasta gamma di nuovi casi d’uso per l’analisi cross-funzionale su scala aziendale, BI e progetti di apprendimento automatico che possono sbloccare enorme valore di business. Gli analisti di dati possono raccogliere informazioni dettagliate interrogando il data lake utilizzando SQL, i data science possono unire e arricchire set di dati per generare modelli ML con una precisione sempre maggiore, gli ingegneri di dati possono costruire pipeline ETL automatizzate, e gli analisti di business intelligence possono creare dashboard visivi e strumenti di reporting in modo più rapido e semplice rispetto a prima. Questi casi d’uso possono essere eseguiti sul data lake contemporaneamente, senza sollevare e spostare i dati, anche mentre i nuovi dati sono in streaming.

Costruire un Lakehouse con Delta Lake
Per costruire un lakehouse di successo, le organizzazioni si sono rivolte a Delta Lake, un livello di gestione e governance dei dati in formato aperto che combina il meglio sia dei data lake che dei data warehouse. In tutti i settori, le aziende stanno sfruttando Delta Lake per alimentare la collaborazione fornendo un affidabile, unica fonte di lavoro. Offrendo qualità, affidabilità, sicurezza e prestazioni sul lago dati (sia per le operazioni di streaming e batch) Delta Lake elimina i silos di dati e rende l’analisi accessibile in tutta l’azienda. Con Delta Lake, i clienti possono costruire un Lakehouse economico e altamente scalabile che elimina i silos di dati e fornisce analisi self-service agli utenti finali.

(fonte)

Innovaformazione, scuola informatica specialistica promuove la cultura IT e dei Big Data. Nell’offerta formativa trovate l’elenco Corsi Big Data tra cui Hadoop & Spark, Apache Kafka. Scala, TensorFlow e altre tecnologie. Corsi erogati solo per aziende.

INFO: info@innovaformazione.net – tel. 3471012275 (Dario Carrassi)