Case study · Pubblica Amministrazione
Una multinazionale attiva nei servizi di comunicazione e nella gestione di data center ha realizzato, per conto di un'amministrazione governativa estera, un'infrastruttura di virtualizzazione soggetta a requisiti di sovranità e di isolamento. Rackone ha operato come partner tecnico specialistico su architettura distribuita, dimensionamento dello storage e procedure di esercizio in ambiente isolato.
I numeri del progetto
Tra i due data center, su fibra ottica privata con percorsi ridondati e distinti
Su sei nodi di calcolo, tre per sede, con 4,5 TiB di memoria complessiva
Grezzi interamente flash, 21 TB utili con due repliche per sito
Voti di quorum: il sito superstite li raggiunge con i suoi tre nodi più l'arbitraggio
Sintesi del progetto
Il cluster Proxmox VE è distribuito su due data center distanti circa 180 chilometri, con tre nodi di calcolo per sede e un nodo di arbitraggio in terza posizione, per 192 core, 4,5 TiB di memoria e 84 TB grezzi interamente flash, con Ceph in modalità stretch e due repliche per sito.
L'infrastruttura opera air gapped, con sottoscrizioni Standard attivate e aggiornate mediante Proxmox Offline Mirror. Il perimetro di isolamento si estende alle postazioni di lavoro e al personale, condizione che ha determinato l'organizzazione dell'intero cantiere.
Nota sulla riservatezza: il case study è pubblicato in forma anonima. Sono omessi la denominazione del cliente e dell'utente finale, la localizzazione dei siti, i nomi di host e di cluster, gli indirizzamenti di rete e ogni altro elemento riconducibile all'infrastruttura.
Obiettivi del progetto
Garantire l'esercizio dei servizi anche a fronte dell'indisponibilità totale di un data center, con ripresa automatica e senza perdita di dati.
Mantenere dati, configurazioni e chiavi interamente all'interno del perimetro controllato dall'utente finale, senza dipendenza da servizi esterni per il funzionamento, la gestione o l'aggiornamento dell'infrastruttura.
Escludere vincoli tecnologici o contrattuali che rendano onerosa o impraticabile una futura evoluzione dell'infrastruttura, condizione particolarmente rilevante per un'amministrazione pubblica che pianifica su orizzonti pluriennali.
Rendere il personale interno in grado di gestire l'infrastruttura senza assistenza remota, coerentemente con il regime di isolamento.
Vincoli progettuali
Il servizio deve proseguire in caso di indisponibilità totale di una sede, senza intervento manuale e senza perdita di dati, requisito che esclude le architetture a replica asincrona.
I due data center distano circa 180 chilometri, collegati da fibra ottica privata su percorsi ridondati e distinti. La separazione dei domini di rischio è adeguata a eventi territoriali, ma introduce una latenza che incide su replica sincrona e stabilità del quorum.
Le politiche di sicurezza escludono ogni connettività verso Internet, inclusa quella per l'attivazione delle licenze e per gli aggiornamenti. Il vincolo si estende alle postazioni impiegate per l'implementazione e al personale presente nelle sale.
In assenza di connettività non esiste supporto remoto: rilevare autonomamente anomalie e degradi è un requisito funzionale, non un complemento.
Perché Proxmox VE
La piattaforma è stata selezionata sulla base di quattro caratteristiche, tutte riconducibili agli obiettivi di sovranità e di indipendenza.
Il codice sorgente è disponibile e ispezionabile, condizione che consente la verifica in sede di analisi di sicurezza e l'assenza di componenti non documentate. Alla natura aperta si affianca una sottoscrizione commerciale che dà accesso al repository enterprise e a un canale di supporto contrattuale. L'ente dispone quindi contemporaneamente della verificabilità propria dell'open source e della responsabilità contrattuale propria di un prodotto enterprise, elementi che nei modelli tradizionali risultano alternativi.
Il funzionamento non presuppone alcun servizio del produttore: non esiste console di gestione esterna, non è richiesta telemetria, e l'attivazione delle sottoscrizioni può avvenire integralmente offline. L'infrastruttura resta pertanto amministrabile e aggiornabile all'interno del perimetro, senza che il rispetto delle politiche di isolamento comporti la rinuncia al supporto o agli aggiornamenti di sicurezza. Per un ente governativo la sovranità operativa coincide con questa proprietà.
La piattaforma si basa su componenti standard e su formati aperti, dall'hypervisor KVM allo storage distribuito Ceph. I dati e le macchine virtuali restano leggibili con strumenti non proprietari, e la reversibilità della scelta è garantita per costruzione anziché affidata alla disponibilità del fornitore.
La sottoscrizione è calcolata per socket, indipendente dal numero di macchine virtuali e dalle risorse assegnate, e non riserva funzionalità ai livelli superiori. Il software resta inoltre utilizzabile anche in assenza di sottoscrizione attiva: la continuità del servizio non dipende dal rinnovo contrattuale né da decisioni commerciali del fornitore, condizione che elimina la principale leva di lock-in.
Architettura
Il nodo di arbitraggio non è un elemento accessorio. In una configurazione paritetica a due siti l'interruzione del collegamento produce due partizioni di tre nodi: nessuna raggiunge la maggioranza, con arresto di entrambe oppure, senza protezioni adeguate, split brain con due gruppi che operano sugli stessi dati. Il settimo voto fissa la maggioranza a quattro, valore che il sito superstite raggiunge con i propri tre nodi più l'arbitraggio.
Il nodo ospita un monitor Ceph aggiuntivo ma non partecipa allo storage e non esegue carichi: tutti gli storage sono disabilitati e una regola di affinità stretta lo esclude dalle destinazioni ammesse in alta disponibilità.
Architettura
Ceph è configurato in modalità stretch, che gestisce in modo esplicito il partizionamento tra due data center.
I pool sono replicati con fattore quattro e min_size due, con due copie di ogni blocco per sito: la sede superstite dispone di una copia completa e coerente e prosegue l'esercizio in stato degradato ma disponibile, con riallineamento automatico al ripristino dell'altra.
La modalità impone condizioni vincolanti, tutte rispettate: capacità di storage identica nelle due sedi, monitor in numero pari più quello di arbitraggio per un totale di cinque, pool esclusivamente replicati poiché la codifica a cancellazione non è supportata, OSD integralmente su unità a stato solido senza componenti a disco rotante o configurazioni ibride.
La distribuzione di due repliche su tre host per sede determina il margine interno a ciascuna sala: la perdita di un nodo lascia due host attivi, sufficienti a mantenere entrambe le copie locali. Tre nodi per sede sono pertanto la configurazione minima compatibile con la modalità stretch a fattore quattro, fattore che riduce la capacità utile a un quarto di quella grezza: 21 TB sugli 84 installati.
Architettura
Su 180 chilometri il tempo di andata e ritorno teorico si attesta intorno a 1,8 millisecondi, ai quali si sommano i contributi degli apparati.
La propagazione in fibra ottica comporta un ritardo dell'ordine di cinque microsecondi per chilometro. L'ordine di grandezza è compatibile con un cluster stretched ma incide su due componenti.
La replica sincrona aggiunge il tempo di andata e ritorno a ogni scrittura che richiede conferma dal sito remoto, con effetti sui carichi a elevata frequenza di scritture di piccole dimensioni. Il quorum, sensibile alla variabilità dei tempi di risposta più che al loro valore assoluto, richiede temporizzazioni coerenti con il collegamento.
Caratterizzazione della tratta, verifica della ridondanza di percorso e separazione del traffico hanno pertanto preceduto il dimensionamento dei nodi.
Configurazione
La scelta di una piattaforma monosocket AMD EPYC discende anche dal modello di licenza: un processore da 32 core monosocket dimezza il numero di socket a parità di capacità di calcolo rispetto a una piattaforma bisocket equivalente.
I dodici moduli di memoria per nodo corrispondono ai canali della piattaforma, con popolamento completo a un modulo per canale e banda massima disponibile.
Protezione dei dati e monitoraggio
Ciascun data center ospita un'istanza di Proxmox Backup Server con datastore locale, configurate in sincronizzazione reciproca.
L'impostazione produce due effetti distinti: la perdita di una sede non comporta la perdita dei backup delle macchine in essa ospitate, e il recupero può avvenire dal datastore locale al sito che lo richiede, senza attraversare il collegamento intersede. I backup sono incrementali con deduplica a livello di blocco, riducendo sia l'occupazione dei datastore sia il volume trasferito nelle sincronizzazioni. Le procedure di ripristino sono state collaudate da ciascun sito prima del passaggio in esercizio.
L'osservabilità è realizzata con Zabbix in configurazione a nodi multipli distribuiti sui due data center, con subentro automatico in caso di indisponibilità del nodo attivo. La raccolta copre stato del quorum, salute e prestazioni dello storage, esito dei job di backup e delle sincronizzazioni, parametri del collegamento intersede e stato hardware dei nodi. In un'infrastruttura priva di connettività non esiste telemetria verso il produttore né diagnosi remota: la rilevazione precoce di un degrado dipende interamente dalla strumentazione interna, con soglie definite sui valori rilevati in collaudo.
Esercizio in modalità air gapped
Un'infrastruttura isolata incontra due difficoltà: l'attivazione della sottoscrizione, che ordinariamente presuppone l'interrogazione dei sistemi del produttore, e il reperimento degli aggiornamenti di sicurezza, che richiede l'accesso ai repository ufficiali. In molte realtà il vincolo si traduce nella rinuncia alla sottoscrizione oppure in procedure non supportate.
Proxmox Offline Mirror risolve entrambi gli aspetti mediante uno strumento ufficiale. Un sistema di appoggio dotato di connettività, esterno al perimetro protetto, ospita la registrazione delle chiavi di sottoscrizione dei nodi isolati e ne ottiene dal produttore i dati di attivazione in forma firmata, mantenendo una copia locale del repository enterprise sincronizzata per istantanee successive. Entrambi gli elementi sono trasferiti nel perimetro mediante supporto controllato.
I nodi non stabiliscono quindi in alcun momento connessioni verso l'esterno, le sottoscrizioni Standard risultano attive e il canale di supporto del produttore rimane disponibile. Gli aggiornamenti sono distribuiti per istantanee coerenti, che consentono collaudo preventivo e allineamento simultaneo di tutti i nodi alla medesima versione, rilevante in un cluster nel quale la disomogeneità tra i siti è di per sé un fattore di rischio.
Esercizio in modalità air gapped
Le prescrizioni di sicurezza investono anche le modalità di svolgimento del lavoro.
Nessun dispositivo presente nelle sale poteva disporre di connettività verso l'esterno: la condizione si applica alle postazioni impiegate per installazione e configurazione, prive di collegamento per l'intera durata delle attività, e si estende ai dispositivi personali del personale tecnico, telefoni cellulari inclusi, non ammessi nel perimetro.
Vengono così meno alcune consuetudini operative sulle quali un cantiere infrastrutturale ordinariamente si appoggia: consultare la documentazione durante l'intervento, reperire un pacchetto mancante, verificare un errore su una base di conoscenza, attivare un'escalation remota. Ogni elemento necessario deve essere presente nel perimetro prima dell'ingresso, e ciò che manca non è recuperabile nel corso della sessione.
L'onere si sposta pertanto sulla fase preparatoria. Immagini di installazione, mirror completo dei repository, documentazione in copia locale, strumenti diagnostici e procedure operative sono stati predisposti e collaudati su un ambiente di prova esterno riproduttivo della configurazione di destinazione, così da portare nel perimetro sequenze già stabilizzate. Il materiale è stato trasferito mediante supporti sottoposti a controllo e registrazione.
Rackone, Proxmox Gold Partner e Authorized Training Partner, affianca enti pubblici, imprese, MSP e fornitori di servizi su architetture distribuite su più siti e ambienti soggetti a vincoli di sicurezza.
