Deense Clash

29-09-2009

Afgelopen twee dagen heb ik tweemaal een deense clash opgelopen. Eentje semi uitgelokt en eentje volkomen onverwacht.

Afgelopen maandag hadden we weer het vaste verschijnsel dat omstreeks half negen het internet super traag werd. Dat houdt dan vol tot ongeveer 5 over vier en dan is het super snel. Vandaag was het weer zover, beiden bijna tegelijkertijd “We gaan mailen…”

Drie weken geleden hebben we monitoringsresultaten opgevraagd en die een week later gekregen. Over de periode van 1 september tot 14 september (= 10 werkdagen) is er gemeten en zijn de top 20 sites voor hits en verbruik gemeten.

En wat schetst onze verbazing ? Er is een site (van de 6000 die die 10 dagen zijn gehit) die in zijn eentje voor 10% van de hits verantwoorelijk is, en het is geen bedrijfssite. Gewoon de deense versie van de telegraaf.
Om even wat getallen te gooien :

Top 20 Sites by Hits          Hits    %       Bytes    %      Cached    %  C/H %
www.bt.dk 124,315  10.9    156.95M   1.5        602   0.1   0.5
multimedia.ekstrabladet.dk  22,815   2.0    191.47M   1.8     16,079   3.9  70.5
images.bt.dk                18,493   1.6    143.17M   1.4          –     –   0.0
www.sporten.dk 15,429   1.4     75.50M   0.7     14,141   3.4  91.7
webmail.wannafind.dk        13,534   1.2    119.53M   1.1     10,582   2.6  78.2
www.berlingske.dk 13,371   1.2     59.52M   0.6     11,854   2.9  88.7
ekstrabladet.dk             12,994   1.1    185.79M   1.8     10,733   2.6  82.6
www.dr.dk 10,563   0.9    104.13M   1.0      6,164   1.5  58.4
gadk.hit.gemius.pl          10,510   0.9      1.57M   0.0          –     –   0.0
mail.google.com              9,894   0.9     34.08M   0.3      1,385   0.3  14.0
5,458 others               721,191  63.3      8.39G  81.9    300,503  73.2  41.7
Total                    1,139,052 100.0     10.25G 100.0    410,686 100.0  36.1

Tracking sites etc zijn weggelaten, maar één nieuwssite en 2 webmail sites staan in de top 20 van 6000 gemeten sites.
En het blijkt dus dat ene site zo’n beetje garant staat voor 1500 hits / uur. Daardoor loopt ons in en externe webverkeer langzaamaan vast.
We hebben in het in het verleden al eens getracht het voorzichtig onder de aandacht te brengen, maar men heeft het nog niet opgepikt. Tijd voor actie.

Mailtje gebouwd met wat teasende opmerkingen “Is je internet traag, duurt het lang voordat een site opkomt ?” en het lijstje er onder geplakt.
Daaronder in discreet vet rood lettertype “When this mail isn’t sufficient to get a acceptable networkusage indepth tracking will be used to identify the heavy users of our network.”
We monitoren namelijk niet op user niveau. Nog niet…

We hadden de monitorings software open staan op het moment dat ik de mail met SEND het gebouw injoeg.
Binnen 1 minuut liep de netwerk belasting met bijna 80% terug, en de bloeddruk in een aantal kantoor met 80% omhoog.
De afdeling finance liep ons kantoor binnen, nog net niet juichend, met de mededeling dat ze weer normaal konden werken.

Een beetje achtergrond info : vorige maand waren er serieuze problemen om te betalen vanuit die afdeling, zo erg zelfs dat er naar een normale adsl aansluiting was uitgeweken om betalingen te kunnen doen.

En nou wachten..

En jawel.. Directeur 1 komt binnen lopen, kaffert minder diplomatiek mijn deense collega de huid vol en zegt tegen mij (zonder te kafferen) “He wil explain what I just told“. [Samenvatting, dit soort communictatie doen we niet, we gaan niet monitoren en jullie zorgen maar dat het opgelost wordt. We zijn ook onder curatele gesteld, in die zin dat we geen algemenene berichten meer mogen sturen]

De general manager mailt. Het is niet helemaal duidelijk waarom we zo strikt op de rem gaan staan en men wil wat uitleg. Uiteraard het hele EC ingekopieerd. [Uitgelegd dat prive gebruik niet op voorhand verboden is, maar dat als betalingen de mist ingaan er sprake is van corrumpering van bedrijfskritische processen, je je kan afvragen waarom 2 prive webmail sites in de top 20 naar voren komen, en hoe iemand normaal kan werken als een site ruim 150 keer per uur bekeken moet worden door ELKE medewerker]

En de finishing touch, ons eigen afdelings hoofd simpel mailtje “We need to have a chat, at 3 o’clock. Greetings.”
En die was er om 3 uur, en de deur ging discreet dicht.
Uiteraard hadden we ons voorbereid, hoewel we beiden in gedachten al bont en blauw geslagen onder de bureaus lagen. Gezien het feit dat er in minstens 2 gevallen sprake was van verstoringen van bedrijfskritische processen kunnen we een beroep doen op een interne veiligheidsdienst. Kwestie van een mailtje, beschrijven wat er gebeurd is en hoppa.. Het betere speurwerk begint. Lijnen worden doorgemeten, hardware gechecked, logs bijgehouden, en tot op de man precies is per minuut te zien wie wat uitgevreten heeft.
Eén mailtje..

Hij trekt van leer. Ik incaseer het verhaal omdat mijn collega bij de andere manager de huid vol gescholden kreeg. Zulke mailtjes sturen we niet in denemarken. (Nee? Ik heb ‘m anders wel net gestuurd) En waarom doen we niets aan die bandbreedte problemen ? Ik laat ‘m stoom afblazen, en vraag of ik eea in een meer technisch perspectief mag toelichten. Dat mag. Snel schets ik een een diagram waarbij onze bandbreedte, QOS, protocollen en applicaties en bedrijfskritische applicaties een plek krijgen. Ook dat we voor HTTP-verkeer (internet surfen) ruim 50% van de capaciteit ter beschikking stellen, en dat als die 50% gebruikt is er een wachtrij gebruitk wordt, uitgaand en inkomend. En dat die wachtrij soms zo lang is dat een site er (gemeten) 9 min over doet om op te bouwen. En dat er in het gebouw in 10 werkdagen 124.000x naar één site gegaan word. Hij stelt wat vragen en nadat we die toegelicht hebben valt ie stil. Dus zijn beurs site waar ie 2x op kijkt zien we als 1 site, met 2 hits, dus in die 10 dagen 20 hits ? Ja. Dus die ene site met meer als honderduizend hits ? Ja honderduizend keer klik. Niet dat iemand dat in zijn eentje kan doen, of met z’n tweeen, maar veel mensen die een fout geprogrammeerde site open hebben staan kunnen dit soort rotzooi wel veroorzaken.
Hij geeft aan dat we hier niets aan kunnen doen wat ik tegenspreek. Wijzend op de richtlijnen voor ons netwerk gebruik geef ik aan dat ik slechts een mailtje nodig heb om alles uit te laten zoeken. “and I’m not sure that some DK persons would like to be investigated on their internet behaviour” Hij schiet in de lach. Nou dan konden we er dus wel wat aan doen, die mail kan altijd nog. Hij heeft gegevens genoteerd en volgend week moeten we een presentatie houden waarin we precies de problemen, getallen en mogelijke oplossingen uit de doeken moeten doen. De klacht is inmiddels afgezwakt tot een opmerking dat ik wat minder onbehouwen moet communiceren, maar zoals een nederlandse manager van mij al zei “So what else is new?”

Overigens is het netwerk gebruik sinds onze actie wel rustiger geworden. Schijnbaar zijn er toch een paar mensen op het juiste moment op de tenen getrapt door ons. Ik zal als eerste toegeven dat deze manier van werken geen schoonheidsprijs verdiend, maar in een ochtend hebben we meer bereikt als in de afgelopen 6 maanden.

De onverwachte clash kwam vandaag van een collega, die het niet eens zo bedoelde.
De drop uit nederland was vorige week goed bevallen, dus als tegenprestatie een zakje deense drop gekregen. Mooie mix van van alles, “Volgens Henrik’s gammele recept” om eens een deensnederlandse zin er tegen aan te gooien.

Een zakje drop, zakje open, hand er in, één dropje. Eén lekker dropje. Een erg lekker dropje. Hand weer in zak, meer dropjes, meer lekker, meer zin, meer hand in zakje, meer dropjes in de hand, en meer lekker in de mond. Je snap ‘m .. als een soort van transport band eet ik zoute, zoete, harde, zachte lekkere drop. Tot ik beschaamd constateer dat die zak bijna leeg is. Shit. Hebberige onbenul. Met een misplaatst schaamtegevoel leg ik de rest van de zak op het bureau van mijn collega. Ik lees op de achterkant dat dit spul niet aan kinderen gegeven mag worden en maximale dagelijkse consumptie is 25 gram. Gram, u weet wel, het gewicht van een opstijgende mug.

Iets in mijn hoofd begint uit te leggen dat dat er niet voor niets op stond. Tinitus heb ik en daardoor hoor ik 24×7 een fluittoon op ca. 50 Hz. Daar kan ik tot dusver goed mee omgaan mits ik niet te vermoeid word. Drank heeft ook een slechte invloed, dan wordt het volume harder. Inmiddels betrapte ik me er op dat ik de mp3 speler al een keer wat harder had gezet vanwege het gefluit wat lichtelijk oorverdovend begint te worden. Typisch, zonder drank ?

Als ik naar het beeldscherm kijk ziet een oog wat wazig, net alsof er vuil op het oog ligt. Ik krijg het beeld niet scherp. Ondertussen zijn mijn handen ook gezwollen. En hoe. Ringen liggen in de vingers in plaats van er op, en ze voelen ook echt strak aan.
De huid van mijn handen staat ook strak waardoor de vingers krommen zwaarder gaat.

Mhm… ik ben niet allergisch voor iets wat je kan eten, althans, tot nu toe niet. Ik wacht even af en na een half uur treed er nog geen noemenswaardige verbetering op. Het oog doet het inmddels weer beter, maar handen zijn nog steeds dik, en het gierende gefluit is nog steeds oorverdovend.
Na uurtje ga ik naar de afdeling waar ik de drop van heb. Nonchelant vraag ik of er ook bijzonderheden met die drop waren. Geen, behalve dat je er niet teveel van moest eten.
Ah ja en wat dan teveel is? Alles meer als 2x pakken. Als ik uitleg dat ik 3/4 van de zak opgegeten heb en wat rare verschijnselen heb wordt ik eerst utgelachen, en krijg dan te horen wat de truc is om het op te lossen. Er is geen truc. Enige wat je kan doen is veel water drinken, plassen en domweg afwachten tot het minder wordt.

Het is nu ruim half negen, en kijken gaat weer normaal. Mijn handen zijn bijna weer als vanouds, en het fluiten is gehalveerd. Het inwendig trillen lijkt ook al af te nemen. Nog even en ik ben weer mens. Nou is het enige dat ik morgenochtend langs het bureau van mijn collega moet om op mijn plek te komen. Op dat bureau ligt een open zakje met erg lekkere drop…..