Big Data

Questo saggio della collana IT4nonIT ti accompagna in un viaggio pratico e accessibile al mondo dei Big Data senza affogare in dettagli tecnici.
Agli inizi del 2016 mi venne offerta l'opportunità di prendere la responsabilità di strutturare e far crescere il dipartimento architetture e infrastrutture Big Data per la mia azienda. Supportato da un team internazionale di fantastici Sysadmin e Cloudera admin siamo riusciti a costruire una soluzione funzionale che per anni, a quanto ci dicevano i commerciali Cloudera, è stata tra le più grandi architetture Cloudera/Big Data on premises a livello italiano ed europeo.
Guardando indietro a questi ultimi 9 anni, devo ammettere che le maggiori complessità non sono state puramente "tecniche" come la Kerberizzazione degli ambienti, l'interfacciamento ai più disparati strumenti di BI e ML o l'amministrazione di servizi in real time con milioni di interrogazioni al giorno.
L'aspetto più complesso del mio lavoro è stato interfacciarmi con i miei manager e "clienti" lato business per far capire "cosa" fosse realmente Big Data: spiegare che non era semplicemente un modo per avere "cheap storage" per le loro soluzioni, che un ambiente distribuito vuole anche dire l'opportunità di ottimizzare le performance dei loro servizi, che Big Data non era un posto dove far girare 1 GB di dati per una reportistica mensile, ma per gestire l'accesso a decine e decine di TeraByte di informazioni in modo analitico e performante... insomma che Big Data non fosse solo una soluzione per "...tutto quello che fa crashare Excel".
In questo saggio ho provato a raccogliere i principali concetti che hanno portato dalla gestione di un Database da 100 MB all'amministrazione di più di 30 Data Product per oltre 12PB di storage e renderli accessibili agli utenti con poche conoscenze delle "complessità IT".