DBaaS Time Series: l'esperienza del team Storage di OVH

L’infrastruttura di storage OVH è composta da migliaia di server, localizzati geograficamente nei datacenter di Roubaix, Strasburgo, Parigi, Gravelines e Beauharnois e gestiti internamente dal team Storage OVH.Numerosi servizi interni utilizzano questo parco macchine: i server possono essere utilizzati per archiviare dati tramite il sistema operativo OmniOS e il filesystem ZFS, altri vengono consegnati ai team di hosting condiviso per creare gli spazi disco dei clienti OVH, altri ancora sono destinati ai datastore dei Dedicated Cloud.

Oggi è indispensabile dotarsi di una Roadmap per avere una visione precisa delle attività e farla coesistere con un sistema di monitoring che, invece, mostri lo stato delle macchine. I tool per la raccolta delle metriche sono altrettanto importanti, perché consentono di ripartire al meglio i server nelle divese zone.

"Oggi è indispensabile dotarsi di una Roadmap per avere una visione precisa delle attività."

Alcuni mesi fa, di fronte a un volume di dati sempre crescente, il team Storage ha individuato nuove esigenze e riflettuto sulle tecnologie da utilizzare relativamente ai tre aspetti importanti: la raccolta, lo storage e l'elaborazione.

I software esistenti consentivano di avere una visione sull'intero parco macchine in attività attraverso:
Graphite, per visualizzare quotidianemente le informazioni relative a decine di migliaia di server e dischi. Questo sistema associava semplicità e flessibilità di utilizzo per aggregare i dati trasmessi e sintetizzarli.
Dashing, per visualizzare costantemente sui monitor di controllo alcuni valori critici in un momento temporale T.

Metrologia

Possiamo definire la metrologia come un metodo per valutare, visualizzare e analizzare dati provenienti da applicativi o risorse hardware.
Per farlo è necessario essere in grado di salvare e recuperare facilmente informazioni, in genere tramite API o interfacce Web che consentono di accedere a funzionalità avanzate – nel nostro caso, Grafana.
Questa soluzione in genere è associata a sistemi monitoring (citiamo ad esempio Shinken/Nagios o Icinga), che utilizzano sonde per informare gli amministratori sullo stato dei vari servizi e componenti.

Time Series, il prossimo Eldorado?

Le informazioni e i dati relativi all'infrastruttura costituiscono il nuovo materiale grezzo da utilizzare. Sono tante sfacettature di un tutto, il "datascience", che raggruppa soluzioni, capacità e manipolazioni di grandi volumi di dati.
Una delle tendenze principali di questa scienza è stato il Big Data, che permette di raccogliere e analizzare grandi volumi di dati per renderli accessibili e riutilizzabili.

L’analisi di Time Series, altro settore di questa datascience, è molto ambita, grazie all'interesse delle start-up che lavorano principalmente con gli oggetti connessi.
Ma gli utenti dell’IoT non sono i soli a gestire quotidianamente grandi volumi di informazioni, basti pensare alla Business Intelligence.

Parliamo in cifre – Utilizzo del team Storage

1 TB - Volume archiviato al giorno
57.000 - Metriche trasmesse al secondo
152 miliardi - Punti disponibili negli ultimi 30 giorni

OVH ha sviluppato una soluzione dedicata: il DBaaS Time Series

È un punto di accesso in questo universo per manipolare e gestire i terabyte (o per alcuni, petabyte) delle metriche raccolte.
DBaaS Time Series semplifica l’accesso alle tecnologie di storage e di analisi in molti casi. Il vantaggio maggiore di questa soluzione? Non doversi preoccupare della gestione del tool-piattaforma per concentrarsi sulla propria attività. Internamente, in OVH, numerosi team hanno integrato in produzione questo strumento di metrologia.

Per il team Storage questa scelta è praticamente venuta da sé, considerando i molti vantaggi: un'espansione illimitata in modalità DBaaS, un risparmio di tempo e manutenzione dell'infrastruttura di metrologia non più a carico del team Storage. I controlli quotidiani sono doppiamente migliorati con l'integrazione rapida di DBaaS TS, basato sugli standard (OpenTSDB), e la semplificazione delle richieste grazie a questi protocolli aperti.
Grazie a DBaaS Time Series, il team Storage OVH dispone di strumenti ancora più avanzati ed è informato costantemente durante il monitoraggio dell’infrastruttura.

Il DBaaS Time Series in dettaglio

L'offerta OVH include diverse componenti che, insieme, consentono di assemblare la piattaforma consegnata ai nostri clienti. La Metrics Gateway, vera e propria porta di accesso del DBaaS TS, è stata progettata per essere multi-protocollo e al momento gestisce OpenTSDB (in futuro Graphite o InfluxDB). Le metriche raccolte devono essere trasmesse, rapidamente e senza perdite, per essere archiviate. Per assicurare la parte "Queue", per il punto centrale (Event Bus) è stato scelto Kafka. Questo approccio permette di capitalizzare il know-how interno.

I dati trasmessi vengono poi archiviati all'interno del Metrics Warehouse, un enorme database specializzato e ottimizzato per i dati temporali, basato sulla stack Big-Data Apache. Questa scelta, HBase, permette di usufruire di una scalabilità infinita e di una replica multisito.
L'ultimo degli elementi di questa piattaforma gestiti da OVH è la Dashboard. Il vantaggio dell'utilizzo di Grafana è immediato: i dati sono accessibili quasi in tempo reale.

In che modo DBaaS TS viene alimentato ogni giorno

In che modo DBaaS TS viene alimentato ogni giorno

A monte, è necessario raccogliere l’informazione, i valori che saranno salvati nella piattaforma. Scollector è stato implementato proprio per questo.

DBaaS TS è compatibile con OpenTSDB, di cui rispetta le convenzioni. Scollector, invece, ha la particolarità e il vantaggio di poter comunicare con la sua API. È uno dei motivi principali che hanno spinto il team a utilizzare e semplificare l'integrazione.

La raccolta viene effettuata tramite script, alcuni inclusi direttamente per le metriche di sistema classiche (ad esempio, il consumo del processore e della RAM, Load Average, spazio disponibile su ogni partizione) e altri sviluppati internamente in Python dai collaboratori. Il progetto è disponibile su GitHub: scollector. Uno dei piccoli "plus" di questa soluzione: la sua rapida adattabilità. Gli script specifici alla nostra attività sono stati implementati in tempo record.

"Uno dei piccoli "plus" di questa soluzione: la sua rapida adattabilità. Gli script specifici alla nostra attività sono stati implementati in tempo record."

Utilizzo di Grafana

Utilizzo di Grafana

Ogni giorno miliardi di dati vengono raccolti per essere analizzati. È quindi fondamentale disporre di uno strumento dalle performance elevate per visualizzarli: Grafana.

Questa scelta risponde alle necessità di flessibilità e reattività dei team e permette di incrociare diverse sorgenti di informazione. Ecco perché OVH ha messo a disposizione Grafana all'interno di DBaaS TS.

L’interfaccia di visualizzazione delle metriche è di importanza capitale perché, durante l'analisi da parte di un amministratore, può costituire un valore aggiunto e rappresentare un vero e proprio vantaggio nelle operazioni di diagnostica. Il DBaaS TS utilizzato in uno scenario di metrologia è una risorsa all'interno di un'infrastruttura massiva. Associato a una soluzione di monitoring, diventa uno strumento di precisione, affidabile e solido.

LoadAverage e RAM su Grafana

Utilizzare quotidianamente Grafana con DBaaS TS in backend consente una visione quasi in tempo reale, perchè i dati sono accessibili a partire dal minuto precedente. La possibilità di ritornare al momento in cui sono state rilevate le metriche visualizzate permette di individuare una tendenza nelle ore o nei giorni precedenti e distinguere meglio un elemento prendendone le distanze.

Visione quasi in tempo reale, con uno zoom sugli ultimi 30 minuti

E in futuro?

L’innovazione fa parte del nostro DNA e individuare nuove sfide è ciò che più ci piace. Le sfide attuali gravitano attorno alla ricerca, grazie all’apprendimento di pattern e a capacità di previsione sempre più avanzate. Attualmente questi cantieri ci sembrano decisivi e ormai con il DBaaS TS sono alla portata di tutti.

Contribuisci a migliorare questi servizi interagendo con i nostri esperti, scrivendo alla mailing list dedicata: [url="mailto:iot-subscribe@ml.ovh.net"]iot-subscribe@ml.ovh.net[/url].