Ciao a tutti,
con piacere vi racconto la favola della brutta storia finita bene… come voi tutti sapete se c’è uno che ha ragione quello è Murphy!
Infatti è da circa due anni che la mia società  ha messo i server in co-location presso Colt a Milano ed è due anni che non succedeva nulla…
L’altro giorno penso tra me e me, certo che la co-location è proprio una gran cosa, mai un down di linea, di corrente, di nulla (un tempo quando avevamo i server in casa tra Grapes e l’Enel erano dolori di panza…), perà penso anche, i server ormai hanno due anni, speriamo che non si rompa niente e che tutto prosegua così per il meglio…

Succede così che si arriva a sabato 31 dicembre… e parte la cronistoria:

  • Ore 13.00 (Lo sgomento)
    Mi sveglio e do un’occhiata alla posta, tutto bene… clicco un link di una mail che mi porta a visitare il nostro sito aziendale… www.coresis.com.
    Noto con tristezza e sgomento che il buon firefox 1.5 mi mostra un connection refused (o qualcosa di simile)
    Scattano a questo punto le normali procedure di troubleshooting, telnet porta 80, telnet porta 80 IP numerico, vai in VPN e prova a loggarti in SSH… si sa mai che è scoppiato apache… no, niente, nada…
    30 secondi di panic mode e poi la lucidità  è nuovamente ritornata. Penso che dovrei far finta di nulla, in fondo chi guarda il 31 i siti aziendali ospitati sul nostro server? Ma un barlume di etica mi spinge ad approfondire…
  • Ore 13.30 (La reazione)
    Decido che è giunto il momento di tentare l’accesso dal terminal server, ma niente, una fava.
    Chiamo l’H24, vediamo come sta fisicamente la nostra creatura ferita…
    =============================
    PICCOLO INCISO, CHI E’ COSTUI, QUESTO SERVER DI NOME RAMSES?
    Server HP DL 140 con servizio WEB per i siti dei nostri clienti realizzati e mantenuti da personale Coresis, più servizio FTP aperto solo ai nostri IP aziendali.
    Supporto classico a php, mysql e compagnia bella
    =============================
    La simpatica signorina che mi risponde sostiene che il poveretto ha una spia rossa, come ben sapete il rosso è un colore che nell’informatica da la stessa gioia al sistemista che Bertinotti darebbe a Berlusconi…
    Chiedo di riavviare il server, chissamai, almeno avere una shell per analizzare il problema.
    Niente, nada, un tubo secco.
    P.S. nel frattempo sono stato raggiunto a casa mia da Alessandro Franz, mio socio e sistemista senior che perà nella sua nuova casa non ha nè telefono nè tantomeno ADSL causa mamma Telecom…
    Anche lui chiaramente puà fare ben poco e ripiega su Travian.it che ha ormai impossessato la sua mente…
  • Ore 14.00 (La triste constatazione)
    Chi va in sala macchine il 31 Dicembre 2005?
    Ebbene la scelta ricade sul sottoscritto e sul prode Alessandro N., sistemista senior silenzioso e con il cappellino (questa prima o poi ve la spiegherà) che è di rientro per le 16.00, momento in cui scatta la spedizione. Notare che Franz ospitava gente, mentre il sottoscritto e Alessandro N. avevano impegni di fine anno per le 19.30… ce l’avrebbero fatta i nostri eroi a stappare la bottiglia di spumante a casa di amici anzichè in sala server?
  • Ore 16.00 (Un po’ di ferraglia)
    Andiamo in ufficio a prendere un po’ di materiale necessario, ovviamente:
    - CD di Linux già  pronti erano quasi spariti, reperito uno per miracolo
    - Cacciaviti e balle varie, finiti nell’altro ufficio non si sa perchè ma recuperati
    - Chiamare nostro contatto alle Maldive per dirgli di avvisare le guardie della sala macchine che arrivavano due sistemisti e non ladri
    - Recupero un portatile più piccolo del mio per me, la sala macchine non è esattamente comoda
  • Ore 17.00 (Ha inizio lo show)
    Entriamo in sala macchine, prima operazione, estrarre il cadavere e provare a collegarlo ad un monitor normale, risultato semplici lampeggi della lucina del monitor
    Tentativo di sostituzione RAM, niente, proviamo a togliere un processore alla volta (è un bi-proc XEON), niente… constatazione Ramses è morto e sepolto…
  • Ore 17.15 (Le alternative)
    A questo punto era chiaro che la pizza (il server rack 1U) era bruciata, avevamo diverse strade:
    - Recuperare il backup e far girare tutto sull’altro web server, quello per i clienti che aggiornano il sito da se o tramite terzi, ma c’era il casino dei permessi di mysql, dover mischiare i DB, insomma… non ci garbava…
    - Spegnere il server dedicato di Openskills (se lo facevamo Franceschi ci mangiava vivi…), mettere il disco di Ramses, riavviare e recuperare Openskills dal backup…
    A posteriori mi pareva la scelta migliore… perà… c’era qualcosa che non ci garbava e abbiamo optato per la terza soluzione
    - Recuperare i dati dal backup, migrare tutto su un’altra macchina che fa backup di altro poco importante… semi-spare e già  installata copiando le varie conf e compagnia bella e procedere con il ripristino dei dati principali (SCELTA FATTA!)
  • Ore 17.45 (Le danze cominciano)
    Per comodità  la macchina che deve sostituire Ramses la chiamiamo Pino.
    L’idea era quella di non inquinare lo status del sistema di Pino con le varie menate di Ramses (es. /etc/passwd, etc…) abbiamo quindi optato per recovery di:
    /home dove stanno tutti i siti
    /var/log/httpd dove stanno i log di apache
    /etc File di conf di apache, webalizer etc…
    /var/lib/mysql File binari di mysql
    Assegnare a Pino anche l’IP di Ramses
    Renderlo raggiungibile dagli uffici Coresis, infatti lavorare in sala macchine è molto scomodo e lungo, abbiamo quindi deciso che a parte il recovery dei dati etc… una volta avuta la connettività  il lavoro di setup lo avremmo fatto dall’ufficio
  • Ore 18.30 (La decisione più estrema)
    La copia di tutti i dati dal backup a Pino richiedeva nonostante la copia via rete da dischi fissi, circa un’ora. Praticamente un’ora persa a guardarci in faccia e lo spumante che si avvicinava…
    Parte la mia proposta, lanciamo su più shell il recovery dei dati, smobilitiamo tutto e torniamo in ufficio guadagnando il tempo del viaggio.
    Nota, se la copia andava male bisogna forse dover tornare in sala macchine e allora si che portavamo dietro lo spumante…
    Il prode Alessandro N. (che non aveva ancora tolto il berretto) mi ha appoggiato e siamo partiti alla volta di Burago di Molgora
  • Ore 19.15 (Il rush finale)
    Arriviamo, attacchiamo i portatili… Situazione:
    Il recovery era finito con successo, il ripristino delle funzionalità  core è stato semplice…
    Qualcuno potrebbe contestare, ma avete lasciato delle shell di root aperte? No, il buon Alessandro si è ricordato di zapparle direttamente dai processi
  • Ore 20.00 (La fine)
    Siamo pronti ognuno per andare dove deve andare a festeggiare il Capodanno…

E’ chiaro che la situazione poteva essere facilmente evitata con Cluster e menate varie… ma… costano…

Un saluto a tutti, soprattutto a Murphy!
Maxgrante