Ups : polish for WTF,
pools voor ‘Snotverjanhennegat‘;
uitroep van onverwachte problemen: De man zag de problemen en zei ‘Ups’
Een kleine twee maanden zijn we bezig met een slag om van de eerdere verhuizing vorig jaar beide gescheiden computer systemen een te maken. Uiteraard zonder dat dat voor de medewerkers verkeerd uitpakt.
Ik had al een periode van een jaar of twee op mijn verlanglijstje een herinrichting van het netwerk staan. Beter doordachte ip-range, net wat handelbaarder allemaal. Dus waarom niet meteen meepakken?
Twee maanden geleden maak ik de voorbereidingen en vraag de verschillende teams om hierover mee te denken en te doen. Dat resulteert ongeveer een anderhalve maand geleden in een team wat op stoom komt, maar vergeet de passagiers mee te nemen. Wij (ons locale team) spelen even de passagiers.
Na wat heen en weer gebel, mailen etc. besluiten we krap een maand geleden om toch iets minder voortvarend op te treden. Dat houdt het overzichtelijk en vooral beheersbaar.
Het initiΓ«le plan was om alles in een weekend te regelen :
- Alle servers omnummeren
- printers omnummeren
- Retail en stock systemen omnummeren
- Server verhuizen van ene host naar andere
- ombouwen storage
- netwerk componenten updaten, herinrichten, en verdelen
- Internet toegang en router verbindingen omnummeren en herverdelen.
Zo al met al als je in gedachten houdt dat dat voor een zeer groot deel op afstand moet gebeuren best indrukwekkend. Maar vooral een grote potentiΓ«le ramp op handen. De kans dat tijdens het een of ander er een probleem ontstaat waarna de teams er remote niet meer bij kunnen is best aanwezig.
Dus na wat heen en weer bellen en mailen besluiten we om de zaak te splitsen. Die servers ‘op een hoop’ gooien gaat aanstaande zaterdag gebeuren. Vanaf een uur of 8 aan het sleutelen en theoretisch rond 1800 uur alles weer in de lucht.
Ons daarop concentrerend zijn we de afgelopen weken elke dag minstens een uur aan vergaderen en overleg kwijt. Italianen, Polen, Engelsen en Nederlanders. Mooi samenwerken op deze manier.Β Vragen, discussie en veel tekeningen en zelfs foto’s die bewerkt worden. ’s Avonds nog dingen bekijken en regelen en dan als je thuis bent verrot je nest in duiken.
Maar uiteindelijk de laatste loodjes en de laatste vergadering. We zijn rond. Een paar kleinigheidjes sluiten we kort en we gaan er zaterdag voor.
Een van mijn Italiaanse collega tikt me aan. Stelt een kleine vraag en ik beantwoord ‘m naar eer en geweten. We hebben geen probleem lijkt me en ons beiden.
Maar toch even doorvragen. Iets over een ip en DNS server en eigenlijk staat die server straks uit..
Na wat meer doordenken en vragen toch even een van de jongens van het Storage team erbij gehaald. En zijn reactie nadat we het uit gelegd hebben?
“Ups”
Een van die woorden die je niet wil horen. Niet als gebruiker, maar zeker niet als IT’er die vlak voor een spannende taak zit. Na een grondige voorbereiding is “Ups” echt niet wat je in een meeting wil zien verschijnen.
Met wat handigheid bepalen we snel wat de mogelijkheden zijn zonder meteen in allerlei officiciele procedures te blijven hangen, en krijgen het voor elkaar om morgen ook de ups de pas af te snijden.
Op de terugweg schiet ik over de bevroren snelweg en denk aan die ups en moet ineens aan deze pagina denken :
101 Things you do NOT want your System Administrator to say.
- Uh-oh…..
- Shit!!
- What the hell!?
- Go get your backup tape. (You do have a backup tape?)
- That’s SOOOOO bizarre.
- Wow!! Look at this…..
- Hey!! The suns don’t do this.
- Terminated??!
- What software license?
- Well, it’s doing something…..
- Wow….that seemed fast…..
- I got a better job at Lockheed…
- Management says…
- Sorry, the new equipment didn’t get budgetted.
- What do you mean that wasn’t a copy?
- It didn’t do that a minute ago…
- Where’s the GUI on this thing?
- Damn, and I just bought that pop…
- Where’s the DIR command?
- The drive ate the tape but that’s OK, I brought my screwdriver.
- I cleaned up the root partition and now there’s lots of free space.
- What’s this “any” key I’m supposed to press?
- Do you smell something?
- What’s that grinding sound?
- I have never seen it do *that* before…
- I think it should not be doing that…
- I remember the last time I saw it do that…
- You might as well all go home early today …
- My leave starts tomorrow.
- Ooops.
- Hmm, maybe if I do this…
- “Why is my “rm *.o” taking so long?”
- Hmmm, curious…
- Well, my files were backed up.
- What do you mean you needed that directory?
- What do you mean /home was on that disk? I umounted it!
- Do you really need your home directory to do any work?
- Oracle will be down until 8pm, but you can come back in and finish your work when it comes up tonight.
- I didn’t think anybody would be doing any work at 2am, so I killed your job.
- Yes, I chowned all the files to belong to pvcs. Is that a problem to you?
- We’re standardizing on AIX.
- Wonder what this command does?
- What did you say your (l)user name was…? π
- You did what to the floppy???
- Sorry, we deleted that package last week…
- NO! Not that button!
- Uh huh……”nu -k $USER”.. no problem….sure thing…
- Sorry, we deleted that package last week…
- [looks at workstation] “Say, what version of DOS is this running?”
- Oops! (said in a quiet, almost surprised voice)
- YEEEHA!!! What a CRASH!!!
- What do you mean that could take down the whole network?
- What’s this switch for anyways…?
- Tell me again what that ‘-r’ option to rm does
- Say, What does “Superblock Error” mean, anyhow?
- If I knew it wasn’t going to work, I would have tested it sooner.
- Was that your directory?
- System coming down in 0 min….
- The backup procedure works fine, but the restore is tricky!
- Hey Fred, did you save that posting about restoring filesystems with vi and a toothpick? More importantly, did you print it out?
- OH, SH*T! (as they scrabble at the keyboard for ^c).
- The sprinkler system isn’t supposed to leak is it?
- It is only a minor upgrade, the system should be back up in a few hours. (This is said on a monday afternoon.)
- I think we can plug just one more thing in to this outlet strip with out triping the breaker.
- What is all this I here about static charges destroying computers?
- I found this rabbit program that is supposed to test system performance and I have it running now.
- Ummm… Didn’t you say you turned it off?
- The network’s down, but we’re working on it. Come back after diner. (Usually said at 2200 the night before thesis deadline…)
- Ooops. Save your work, everyone. FAST!
- Boy, it’s a lot easier when you know what you’re doing.
- I hate it when that happens.
- And what does it mean ‘rm: .o: No such file or directory’?
- Why did it say ‘/bin/rm: not found’?
- Nobody was using that file /vmunix, were they?
- You can do this patch with the system up…
- What happens to a Hard Disk when you drop it?
- The only copy of Norton Utilities was on THAT disk???
- Well, I’ve got a backup, but the only copy of the restore program was on THAT disk….
- What do mean by “fired”?
- hey, what does mkfs do?
- where did you say those backup tapes were kept?
- …and if we just swap these two disc controllers like this…
- don’t do that, it’ll crash the sys…….. SHIT
- what’s this hash prompt on my terminal mean?
- dd if=/dev/null of=/vmunix
- find /usr2 -name nethack -exec rm -f {};
- now it’s funny you should ask that, because I don’t know either
- Any more trouble from you and your account gets moved to the 750
- Ooohh, lovely, it runs SVR4
- SMIT makes it all so much easier……
- Can you get VMS for this Sparc thingy?
- I don’t care what he says, I’m not having it on my network
- We don’t support that. We won’t support that.
- …and after I patched the microcode…
- You’ve got TECO. What more do you want?
- We prefer not to change the root password, it’s an nice easy one
- Just add yourself to the password file and make a directory…
- We prefer not to change the root password, it’s an nice easy one
- Just add yourself to the password file and make a directory…
- Next week we’re ditching these UNIX machines and moving to Windows NT. Now won’t that
be exciting? - I don’t care if your machine’s crashed! I just lost another life!
hmmm, sounds familiar, very familiar…
TOO familiar
Je komt een kantoor binnen en daar zie je de beheerder over de tafel duiken, luidgodverend,(das: GodverGodverGodverGodver) in een snoekduik naar de power button van zijn pc….
Dan heeft ie of: de verkeerde delete actie gestart en hoopt het nog te beperken of hij heeft net iemand de verkeerde mail gestuurd π
We zijn nu bezig met die host omzetting.. Net weer een UPS moment. Bij het omhangen van de kabels zit er eentje in de weg. Hangt al tijden zo en zit mij tijdens het doorlussen van de FO’s super vervelend in de weg. Omdat toch alles uit staat denk ik ‘Mooi, kan ik die kabel ook even wegwerken’ Kabel net te kort, dus even een andere opgesnord. Die er tussen, netjes alles weggewerkt, meuk weer aan. Dan paniek vanuit polen.. ze zien de machines niet meer.
hoe dat begon :
11:11[naam pool]: this is really wird
weird*
Aangezien ik meer omgeprikt en omgehangen had alles weer nagelopen. Netwerk doorgelicht en alles werkt. Behalve naar buiten. Wat dan de poolse problemen weer verklaart.
Het duurde nogal voor ik me realiseerde dat die ene vervelende en te korte kabel een crosslink was……
Affijn.. dat vervelende ding hangt er nu weer tussen.