2019-09-27

Driftstörningen i stadsnätet 24-25 september

Natten till tisdag 24/9 gjorde vi ett planerat driftarbete i stadsnätet, som i slutändan resulterade i ett avbrott som berörde i princip samtliga kunder i stadsnätet. Vi vill med den här texten förklara själva händelseförloppet, hur vi agerade, samt hur vi kommer att arbeta i fortsättningen. Vi hoppas också kunna reda ut eventuella frågetecken.

Vi har under det senaste dygnet fått in en stor mängd frågor om vad som egentligen hände och hur vi arbetar i samband med driftstörningen, vilket är helt naturligt. Låt oss därför börja med att beskriva själva händelseförloppet.

Detta hände, steg för steg

Natten till tisdag 24/9 hade vi planerat in ett driftarbete i stadsnätet. Arbetet genomfördes för att uppgradera centrala delar av nätet, för att kunna hantera fler kunder i framtiden och så att driftsäkerheten ska kunna hålla den höga standard som den gjort tidigare. Inför arbetet hade vi, precis som vid alla andra driftarbeten vi genomför, gjort noga kontroller och tester samt gjort en grundlig riskanalys. Resultatet av testerna och analysen gav oss följande svar: I allra värsta fall kommer några kunder få en mindre störning under någon enstaka minut under arbetet. Som ett rent rutinförfarande förvarnade vi även om arbetet till samtliga tjänsteleverantörer – samt la ut information i förväg på vår hemsida och på vår Facebooksida.

Själva arbetet under natten gick sedan helt enligt plan, felet uppstod först på morgonen när trafiken i nätet skulle kopplas på igen. När detta skedde kraschade det stödsystem som bland annat hanterar tjänsteförsörjningen i nätet, vilket gjorde att det blev ett avbrott. Något vi vill vara tydliga med är att felet som uppstod var ett ytterst komplicerat mjukvarufel, som varken vi eller vår driftpartner NetNordic kunnat förutse. Det var också av den anledningen som felsökningen tog tid och att vår tillbakarullning inte gick att genomföra som vi hade önskat.

Om vi hade drabbats av ett hårdvaruproblem, exempelvis om någon råkat gräva av en fiberkabel eller om någon fysisk utrustning hade gått sönder, hade felet varit mycket mer konkret och vi hade enklare kunnat åtgärda det. I det här fallet, då vi fått ett okänt mjukvarufel, blev det hela mycket mer komplext. Det som skedde under stora delar av tisdagen var därför ett gediget felsökningsarbete, där olika metoder och lösningar testades. Till slut hittade vi tillsammans med vår driftpartner en lösning, varpå återställningen inleddes under eftermiddagen. Eftersom det var väldigt många kunder som drabbats tog återställningen lång tid, vilket var orsaken till att det dröjde långt in på tisdagskvällen innan de allra flesta kunderna kom igång igen. Under onsdagsmorgonen kvarstod fortfarande några problem, skillnaden då var att problemen hade satt sig i delar av vår utrustning som en följd av de omfattande störningarna som var under tisdagen – något vi relativt snabbt kunde lokalisera och felavhjälpa. Under onsdagsförmiddagen började vårt nät att fungera som det skulle igen.

Så har vi arbetat med felet

Vi och vår driftpartner NetNordic har sedan driftstörningen började på tisdag morgon haft full prioritet på att lösa felet och vi har lagt alla resurser vi har för att få fram en lösning. Vi har även försökt att löpande få ut så relevant information som möjligt till er kunder via vår hemsida, vår Facebooksida och via Karlstads kommuns motsvarande kanaler. Vi har även gått ut med pressmeddelanden för att nå ut med informationen i media, samt utökat våra ordinarie öppettider i kundservice – både via telefon och chatt. Vi har hört och sett samtliga era samtal, mejl, reaktioner och kommentarer. Till dig som inte känner att du fått tillräckligt bra svar hoppas vi att den här texten fyller i de luckor du saknat.

Vad gör vi nu?

Vi har redan inlett vårt utvärderingsarbete och har därigenom kunnat lokaliserat felorsaken. På så vis kan vi försäkra oss om att samma typ av fel inte kommer att inträffa vid liknande arbeten i framtiden. Vi samverkar tätt med vår driftpartner och har gått igenom, och kommer att fortsätta att gå igenom, varje steg och skede för att hitta bitar att ta lärdom av.

Vi på Karlstads El- och Stadsnät har en driftorganisation som har beredskap och bevakning av våra nät dygnet runt, alla årets dagar.

Det planerade arbetet 1/10, blir det av?

Nej, vi anser att det mest ansvarsfulla är att flytta på det arbetet. Anledningen är helt enkelt att vi vill ge oss själva gott om tid till att fortsätta att utvärdera och planera så att vi eliminerar riskerna för liknande fel igen.

Vilka är NetNordic?

NetNordic är en multinationell systemintegratör med kontor i Sverige, Norge, Danmark och Finland, med cirka 300 anställda. NetNordic är sedan flera år tillbaka driftpartner till både Karlstads El- och Stadsnät och till hela MittNät, och har lång och bred erfarenhet i branschen.

Vilka är MittNät?

I samband med rapporteringen av driftstörningen kanske du har läst eller hört namnet MittNät vid något tillfälle. MittNät är ett samverkansbolag där sju kommunala stadsnät samarbetar: Arvika, Forshaga, Hammarö, Karlstad, Munkfors, Vansbro och Åmål. Syftet med samarbetet är att främja fiberutbyggnaden till våra kommuninvånare och att kunna erbjuda ett så bra och komplett tjänsteutbud som möjligt. Eftersom det planerade driftarbetet gjordes på MittNäts initiativ och skedde centralt så påverkades alla sju kommuner av den efterföljande driftstörningen. Du som kund är dock kund hos oss på Karlstads El- och Stadsnät och inget annat. Vi kan hålla med om att medias rapportering kan ha varit lite förvirrande i vissa fall.

Tack för ditt tålamod

Som avslutning vill vi vara tydliga med att vi ser väldigt allvarligt på det som hände. Vårt utvärderingsarbete fortsätter och vi kommer att fortsätta att sträva efter att hålla en lika hög driftsäkerhet som tidigare. Vår vision om att erbjuda ”Nätverk i världsklass” till er Karlstadsbor är fortsatt vår högsta prio och vi menar att man lär sig av sina misstag.

Slutligen vill vi tacka dig som berördes av störningen för ditt tålamod. Du är mer än välkommen att höra av dig om du har frågor.