Vad är det här? Spel? Lek? Tjafs? Client/server, multitasking, ohyggligt många användare, stenhård belastning, glödande brandväggar, en affärs-tillämpning vilken som helst, skulle vi vilja säga. Och dessutom med hårda realtidskrav. Helt bortsett från alla snygga ekipage.
Jönköping möter med klar himmel, solen speglar sig i Vätterns blå vågor som lättjefullt kluckar mot stranden, där ... strunt i det. Det var datorer det skulle handla om. VM i nätverksspelet Counterstrike mot en enda server gick av stapeln den 25–28 november 2004 på Dreamhack Winter i Elmiahallen, för tillfället ombyggd till nätverkstempel. Ett LAN-party av absolut gigantiska mått – världens garanterat största speltillställning där alla har en egen, publik ip-adress och obegränsad bandbredd.
Fantastisk organisation
Och organisationen var otrolig. Ett 30-tal personer hade byggt hela nätet med 6 270 fungerande 100-megabitsuttag, konfigurerat och provkört allt på bara tre dagar. Det fanns dubblerade gigabitanslutningar till Internet och totalt 40 gigabits kapacitet i stamnätet i lokalerna. Under drift fanns det en Tech Crew som löste tekniska problem, en Game Crew för speltekniska frågor, en Security Crew som höll ordning på folk, höll brandgator öppna och så vidare, en supportavdelning som hjälpte användarna med nätverksfrågor och slutligen en driftgrupp som höll nätet igång dag och natt.
Som spindel i nätet satt Extreme Networks router Black Diamond 10808, eller BD10K. Den kan routa 1,6 terabit/sekund med latenstider på under 9 mikrosekunder. 1,2 miljoner routingvägar mot 250 000 MAC-adresser är en baggis för denna gigant. 48 portar med 10 gigabit Ethernet eller hela 480 gigabitportar kan anslutas.
Stora kostnader
Priset är också det gigantiskt, flera miljoner kronor, så Extreme Networks har varit vänliga nog att låna ut en BD och ett antal mindre Summit-switchar. Den andra stora kostnaden man inte heller behövde täcka var för de små Zyxel ES-3024-switcharna, av vilka man hade fått låna 275 stycken. Inte heller behövde man betala för den dubblerade Internetanslutningen, som bestods av Rix Telecom. De hade ställt upp med ett riktigt rå-monster till router: en Cisco 12008 GSR. Allt var upplagt för "störssssta ... möjliga ... bandbredd".
Mikael Abrahamsson från nätverksgruppen mötte upp med ett glatt leende och en laptop, och berättade om nätets historik och uppbyggnad:
– Strukturen är hyfsat enkel. Det vanligaste är kablar som inte fun-gerar och att man inte får tag i rätt utrustning. Men kompetens att konfigurera alla apparater rätt, det har vi. Vi har som mål att nätet inte får vara nere mer än en halvtimme per festival.
Startade 1997
Dreamhack började 1997 i en mindre hall i Borlänge med 500 besökare och växte med åren. Till sist blev det problem med elen, och man fick välja Elmia istället. De
6 270 maskinerna i hallen får dra 275 watt styck, cirka 1,7 megawatt, och människorna avger ytterligare 500 kilowatt, så luftkonditioneringen måste klara av att föra bort 2,2 megawatt.
– Historiskt har utmaningarna varit trafikvolym, infekterade datorer och logistik, att bara hålla ordning och ge mat åt 5 700 personer. Driftgruppen består av 17
entusiaster, med en kärntrupp på åtta som alltid håller nätet uppe.
Hallen är full av bord på längden och tvären. Vid vart och ett ryms 66 deltagare och tre switchar, varför 22 personer får dela på en switch. Varje bord är ett eget LAN, men data routas mellan borden.
– Borden byggs av SJ-pallar, närmare 4 000, med spånplattor ovanpå – många ton spånplattor. Materialet tillhör oss och ligger på lager mellan DH. Det tar tre veckor att bygga upp, och mängden gaffatejp kan knappast ens uppskattas.
Dryga 5 000 besökare kräver ett stort system för att ta emot anmälningar, och ett sådant har man skrivit själv. Realtidskraven är stora.
År 2003 tog det 11 timmar att sälja alla biljetter – i år sålde man de första 4 500 på bara 40 minuter. Det hade inte varit möjligt utan ett väl fungerande webbsystem.
Sedan kom deltagarna. Datorer kom in pallvis eller kördes in på kontorsstolar på hjul. Vi var trots allt i Kinnarp Country. En del gick ut hårt med att installera om XP innan de började; andra mediterade, djupt försjunkna i bios. Cola köptes i backar, men lika många drack till exempel apelsinjuice. Chipspåsar radades upp och mobiltelefoner pluggades in. Nallebjörnar monterades i samma takt som blå saftblandare. Runt omkring surrade diskussioner om drivrutiner och bästa bios-inställningar. Windows XP:s dominans var nästan total – man såg väldigt lite Linux, och Macintosh lyste i princip med sin frånvaro.
Lockade även kvinnor
Ljusslingor och blå lysrör åkte upp, robotarmar likaså. Många valde skärmbakgrund länge och omsorgsfullt, eftersom den visade deras identitet. Och om du trodde att det bara var finniga småpojkar, så hade du fel. Det fanns gott om kvinnor, och åldrarna sträckte sig ända upp till grått skägg och mustascher.
Men för att ingen skulle bli stående på grund av anslutningsproblem eller grundläggande drivrutiner fanns också en supportdisk där folk kunde få råd och hjälp. Supporten använde SNMPc (se N&K 16/2004) för att ha realtidskoll på alla de 275 switcharna och kunna se precis vilken utgång eller TP-kabel som inte fungerade. I de flesta fall fanns svaren klara innan del-tagaren ens kommit fram till supportdisken.
Vi försvann in på systemavdelningen och började med att fundera på hur mycket datorkraft det egentligen fanns i hallen. Kopplade som en superdator borde de 5 800 maskinerna kunna ge uppåt 17 TIPS med huvud-CPU:n och ytterligare lika mycket med grafikkorten. Bara man kunde komma åt kraften ...
Fördelar med darknetting
Dreamhack hade tilldelats en uppsättning ip-adresser, fast långt ifrån alla användes. Alla som inte användes tilldelades istället en Free BSD-server som bara sög åt sig alla paket som kom och analyserade dem. Eftersom alla användare hade en känd ip-adress kunde man se med en titt på huvudena varifrån alla virus och attacker kom, eftersom dessa drabbade alla adresser blint, även de "mörka". På så sätt kunde man veta precis vem som hade vilket virus och kunde gå direkt dit och meddela.
Unisys "Wintel mainframe"
Unisys hade ställt upp med den mycket kraftiga spelservern, en 32-processorers ES 7000/540. Den
har inte PC-arkitektur, även om den bestyckas med PCI-kort. Under DH hade den fyra gigabit-kort
och tilldelades 100 ip-adresser,
25 per nätverkskort, kopplade rakt in i DB10K-routern för minsta flaskhalseffekt. Diskutrymmet, "bara" 4 × 78 gigabyte, är inte så viktigt i spelsammanhang, utan
det är processorkraften som räknas. Så visade det sig också i slut-änden att nätet inte alls var flaskhalsen, som man hade trott, utan enbart kraften. Bandbredden var mer än tillräcklig.
Ingen tvingade någon att spela något särskilt spel, utan var och en kunde starta sin egen server och spela mot andra. Folk kunde komma in från Internet och spela, deltagarna kunde spela mot Internet och så vidare. Under överinseende av Guinness Rekordbok klockade man dock 1 160 Counterstrike-spelare under rekordförsöket mot en och samma server, med 300 Counterstrike-servrar igång. Maskinens 32 processorer gick med 98 procents belastning.
Men om det varit Cola istället ...?
Under Dreamhacks sista timmar hade supporten stora problem med elen. Jordfelsbrytaren löste ut hela tiden, men efter idogt felsökande upptäckte man att någon hade fyllt en grendosa med Fanta, kanske med förhoppningen att det skulle gå lite bättre. Dessvärre hade det fått motsatt effekt, och både DNS- och DHCP-servrarna gick ner, även om de stod på trippla UPS:er.
Fredag kväll vallades jag runt av två systemansvariga som ville peka ut alla godbitarna, öppna luckorna till routrarna, dra i fibrer och bara mysa i största allmänhet. Jag tyckte jag tog upp deras tid allt för mycket och föreslog att de kanske hade något bättre för sig, men fick svaret:
– Nej, det är lugnt, faktiskt. Allting flyter. Vi har inget arbete just nu.
Så vill du uppleva systemarbete när det är som bäst – åk till Dreamhack!
Experimenterade med ip v6 på Dreamhack
Papparazzi-kameran svänger runt och fångar en glittrande välklädd Måns Nilsson, nätverkskändis från KTHNOC i Stockholm, med chic djävulsfigur på magen. På frågan om vem som sytt upp feststassen svarade han med ett bländande leende att den kom från Diod. Och festfrissan? Ja, den har denne händige mångsysslare kreerat och stajlat själv.
Måns hade kommit till Dreamhack för att göra ett experiment med ip v 6. Han hade noterat att ingen på allvar hade rullat ut ip v 6 till en större grupp oförberedda användare, och ville se vad som hände. De stora operatörerna verkar inte vara särskilt intresserade av ip v 6, så det är den akademiska världen som driver saken framåt. Eftersom de allra flesta på Dremhack körde XP, som har stöd för ip v 6, hade han satt in en Cisco-router på nätet som gav alla automatisk tillgång till ett VLAN med en länk till Stockholm och ett antal ISP:er och ftp.sunet.se. Vad skulle hända? Skulle det bli ketchupeffekt? Skulle nätet brinna upp?
Men det blev knappt mätbara resultat. Det visade sig att Windows XP med SP2, trots Microsofts löften, inte alls konfigurerade sig för ip v 6 automatiskt. Med handpåläggning gick det, men det provades endast på 20 av de 5 852 maskinerna. Efter utannonsering av tjänsterna ökade antalet till 80 och användarkommentarerna var glada: "Det bara fun-gerar". En brist, anser Måns, var att det inte fanns några lokala tjänster tillgängliga på ip v 6, och inget annat som lockade heller. Men när Måns panna slätats ut efter att han analyserat sina mätdata är han definitivt grabben att prata med om du vill ha v 6-visdom.
Spelservern: en Unisys ES 7000/540
Den logiska uppbyggnaden av Unisys-servern i celler och partitioner, samt den konfiguration som användes vid världsrekordet.
På Windows-servern startar man ett antal CS-servrar, enligt konfigurationen på skärm-bilden. Varje server klarar 12 användare.
Så här visade Windows Server 2003 lasten under världsrekordförsöket. Alla 32 processorer gick i samma partition och var belastade till 98%.
Med övervakningsprogrammet Server Sentinel kan man konfigurera serverns 4 celler i logiska partitioner med olika antal CPU:er, och sedan starta ett operativsystem ovanpå varje partition. Dessutom är övervakningsskärmen bara sååå snygg.
Nätet som aldrig gick ner
Dreamhack var ett jättelikt stjärnnät där stamledningarna var 10 gigabit per sekund och gradvis grenade ut sig mot långsammare ledningar, tills man var nere på "ynka" 100 megabit per sekund hos de 6 270 användarna. Alla hade unika, publika ip-adresser, och dessutom en VPN-tunnel mot Sunet. Inga bärarprotokoll, inget NAT, utan rent Ethernet rakt igenom.
Så går du vidare
- Dreamhack hittar du såklart på www.dreamhack.se.
- Andra LAN-partynyheter finns på www.lana.nu, bland annat timelapse-filmer från hela Dreamhack.
- Nästa stora LAN-fest, Rixhack den 5-9 maj (rixhack.se) arrangeras av Dreamhacks ISP Rix Telecom (rixtelecom.se).
- Extreme Networks, med deras Summit och Black Diamond hittar du på www.extremenetworks.com.
Av Jörgen Städje
Artikeln finns i tidningen Nätverk&Kommunikation nummer 3 för 2005.
Här kan du prenumerera på tidningen.
- 275 24-portars Zyxel 3024-växlar (22 portar utnyttjades i varje, och det satt 3 på varje bord - 66 portar per bord)
- 40 Zyxel 1016-växlar
- 3 Extreme Summit 400-växlar
- 1 Black Diamond 10808-router från Extreme Networks
- 1 mängd mindre, blandade växlar
- 8 380 meter UTP för upplänkar
- 1 kilometer optisk fiber i stamnät
- 5 852 UTP-kablar till arbetsstationer
- 1 spelserver: Unisys ES 7000/540 med 32 processorer
- 1 Cisco 12008 Gigaswitch Router
- 40 gigabit/sekund var den sammanlagda kapaciteten i stamnätet
- 2 gigabit/sekund lämnade Rix Telecom mot Internet via sin GSR i 2 redundanta ledningar
- 1 gigabit per sekund lämnade Måns Nilssons IPv6-router mot Sunet