I'm nuked

Ros je een grappig tooltje op de site om eens een stad of zo plat te gooien met een ploffert voor pro’s wordt ik geploffed.

Afgelopen zaterdag zouden we het laatste stukje van de werkzaamheden van de migratie afronden. Wat een weekend terug nog af te ronden was binnen een uurtje bleek afgelopen zaterdag toch onder een heel ander gesternte te staan. Begonnen om ongeveer twaalf uur bleek omstreeks een uur of vier dat dit beduidend anders liep. Na wat testen waarbij de verschillende uitkomsten in plaats van eensgezind dezelfde kant op te kijken allemaal hun eigen richting opgingen tijd voor extra maatregelen. Die bak koffie bij familie die ik zou doen kwam wat onder druk te staan en zou komen te vervallen.

Na een hoop gedonder waarbij in het kader van snelle actie ‘Dus plat die bak‘ servers omgeschopt werden leek omstreeks een uur of negen dat alles weer in orde was. Precies volgens plan, hopeloos uitgelopen, maar alles werkt werkt zoals we gepland hadden. [Dachten we]

Als ik op m’n nest ga liggen en na lig te gniffelen over een grappig contact met een stoere systeembeheerster op wiens kosten ik mezelf een lekker glas wijn in schenk ben ik blij dat dit verhaal achter de rug is. Na een leuke film val ik in slaap en mijn volgende moment is het (vrouwelijke) hoofd facilitaire zaken die me wakker belt. Om een uur of vier ’s morgens.  Ze is een leuk mens, daar niet van, maar niet echt mijn eerste keuze om op zo’n tijdstip wakker gebeld te worden.
Er blijkt een probleem met de airco te zijn en ze (TD en beveiliging) kunnen die ruimte niet in. Ik zit even na te denken maar hoe ik het ook wend of keer: die deur krijgen ze inderdaad niet open. Slot is al tijden een probleem geval en de vervanging door een noodslot is op de een of andere manier niet in een echte oplossing omgezet.
Ondertussen belt de meldkamer me en nadat we de mogelijkheden bepaald hebben ga ik die kant op.  Deur openen want de jongens van de TD melden dat de ruimte temperatuur  al vrij hoog wordt.
Zo midden in de nacht (of vroege ochtend) schiet het op de snelweg lekker op, waar ik normaal een ruim een uur en 15 min onder de pannen ben kan ik  nu in een krap uurtje over zijn. Steenkoud en niet goed wakker maar ik ben er.
Als we de airco storing onder handen willen nemen blijkt ie echt plat te liggen. Koelmiddel is weg, ergens zit een lek. Omdat alles wat uit de klauwen loopt escaleren we het en komt er een ploeg van de airco leverancier die koelmiddel en noodkoeling heeft.

‘Nu jullie er toch zijn‘ –  Bij gebruikers ben ik er bedacht op, maar deze zag ik van die beveiligingvent niet aankomen..
De monitoren laten een wat gedateerd beeld zien en de meldkamer had daar een opmerking over gemaakt. Onder het motto ‘ah een video server is ook een servert‘ gaan we, terwijl de airco volgepompt wordt, de videoserver omzetten en weer online brengen.
Na wat gepriegel, gefoeter en een aantal ‘dan zal dit wel voor dat zijn‘ redenaties hebben we het spul weer aan de praat gekregen.

Na wachten en tegen de slaap vechten haakt de TD’er van de airco ploeg af. Alles getest, nagemeten en toch klapt ie er uit. De noodkoeling wordt in stelling gebracht en via veel ductape en tiewraps vast gemaakt aan een afzuigpijp boven het plafond.
We sluiten de ruimtes af en de TD houdt op afstand de ruimte in de gaten voor de temperatuur. Als er weer een probleem is dan merken we het meteen.

Dan omstreeks half negen, poten over elkaar, koffie enzo,en rete gammel door een fout nachtje doorhalen:  telefoon: ‘Hey Den, sinds een uur of drie is de temp in de ruimte ongeveer een 28/29 graden en daalt niet meer..‘ Voor een ruimte die we tussen de 20 en 21 graden willen hebben.
In gedachten heb ik een idee wat het kan zijn: die ductape is gesmolten. De afblaas pijp van de airco was gloeiend heet toen we weggingen, en ik kan me zo voorstellen dat ie dus uit die afzuigopening is gezakt.
Als we er om een uurtje of 10 weer zijn blijkt inderdaad dat de ductape niet tegen de warmte kon en losliet. We maken een soort van afvoer tentje bij een halfopen deur en blazen de warmte in het kantoor.  Na een halfuurtje meten blijkt de temperatuur weer lager te worden en sluiten we de zaak af. Half een staat Daphne weer voor de deur en kruip ik m’n nest in.

Maandag ochtend is er ineens paniek. Een vrij cruciale netwerk omgeving is voor de ene business unit niet te gebruiken. Terwijl ik in ondergoed thuis wat opties met de jongens in Nederland en Polen doorneem blijkt de omvang. Fors en niet goed.
Ik speer naar kantoor, en daar aangekomen blijkt mijn airco tentje afgebroken te zijn. Er zijn ramen opengezet met een truc en de hete slang blaast z’n zooi naar buiten,maar wel effectief : het is koud in de ruimte.

Een hele ochtend en middag is er crisis overleg over de mogelijkheden die we hebben en wat we willen. Een aantal opties zijn makkelijk maar leveren op termijn meer ellende op dan we nu goedmaken. Dus uiteindelijk na veel vijven en zessen en diverse teams te hebben geraadpleegd : we gaan die ene virtuele server die we uitgezet hebben weer aanslingeren. Enige optie die we kunnen doen op zo’n korte termijn. Een en ander voorbereidend zouden we omstreeks 2000 uur alles kunnen starten. Ik zorg dat ik dan thuis ben en kan testen.

Ondertussen hangen er twee technici aan de airco te sleutelen en te rammelen, maar om een uur of 5 geven die het ook op. Onderdelen moeten besteld worden en dus gaat het niet werken vandaag. Geen probleem, een nachtje die slang omleiden is geen probleem. Tot de beveiliging er lucht van krijgt. Ze mompelen iets over insluipen en niet handig etc..Een patstelling is het resultaat in eerste instantie. Dan na veel heen en weer gesoebat: weer dat fucking tentje bouwen.

Terwijl ik ‘m nu alleen moet maken maak ik een super stomme fout. Die overigens het schaterlachen van de schoonmaakster oplevert. De deur wordt iets opengehouden om de slang door te voeren. Daaromheen plak ik met plastic folie alles af en met twee stukken plastic en met wat tape is die deur redelijk dicht. Als Ik de opening boven de deur wil afplakken glijd het ding wat de deur moet openhouden weg terwijl ik me aan de deur vasthoud. Die glijd langzaam dicht met mijn vingers er aan de bovenkant tussen. Tussen een deur en een metalen dranger. Terwijl de deur steeds dichter gaat schieten de pijnscheuten door mijn vingers en komen ze echt vast te zitten. Terwijl ik nog steeds kalm blijf, aan de deur hang en tegen de schoonmaakster zeg “Mhm, dit doet toch echt wel zeer zo‘ krijgt die doos de slappe lach. Daar heb je wat aan zo…
Alleen door me tegen de deur af te zetten, waardoor ie nog even dichter gaat krijg ik de deur in beweging en zwaait ie weer open. Daarmee mijn vingers bevrijdend en mijn tentje aan flarden trekkend.
Bloed stroomt langs de ene vinger, blauwpaarse deuken in de andere vingers en een kloppend gevoel in alles. En een schoonmaakster met de slappe lach.
Gierend zit ze op de grond als ze zegt “Dat was echt dom sukkel. ” O’rly? Sherlock..

Met het bloed druipend van de vingers ren ik naar de ehbo hoek, ruk er een pleiser uit en plak af. Scheldend op alles plak ik het tentje weer opnieuw (met de fijne toevoeging van de schoonmaakster “Net zat ie er toch netter op hoor… “) en sluit als de donder af. Ik moet als de bliksem testen en zit op hete kolen. Ik houd de handvat verwaming bewust uit om die kloppende vingers te koelen en kom iets later dan geplanned thuis.

Thuis gaat de laptop aan, frot ik brood in m’n kanaal en log in. De poolse teams hebben al wat voorbereid dus als de bliksem een “out of order” bericht naar elke nederlandse gebruiker gestuurd.

En dan omstreeks 2200 uur.. alles lijkt te werken. Nou als de bliksem uitzoeken wat de tijdelijke oplossing voor een aantal gebruikers was en zien dat we dat terug draaien. Mijn vingers zijn inmiddels weer opgewarmt en kloppen alsof het dieselmotoren zijn…

En dan 2230 uur… alles werkt weer, de mailtjes dat het opgelost is worden verstuurd en klaar voor vandaag. Er zijn wel eens weken rustiger begonnen.