Palvelukatkos!

Häiriö on ohi – Jatkoselvitys alkaa.

Hävettää. Itkettää. Harmittaa. Palveluntarjoajamme häiriö on ohi. Häiriön korjaaminen kesti pidempään, kun mitä sen olisi pitänyt. Vika, joka laitesalissa oli, oli katastrofaalinen. Niin kutsuttu “näin ei olisi pitänyt voida tapahtua” vika. Todennäköisesti saamme lukea tämän jatkoselvittelyä lehdistöstä tulevien päivien aikana.

ReFox on kahdennettu palvelu. Se tarkoittaa sitä, että se sijaitsee samaan aikaan kahdella erillisellä palvelimella. Vaikka yksi hajoaisi, niin toinen hoitaa homman ja palvelu jatkuu kaikilla normaalisti. Tässä tapauksessa on kuitenkin käynyt niin, että kyseessä ei ilmeisesti ole ollut laiterikko, vaan palveluntarjoajan käyttäjän tekemä virhe, jolloin virhe on replikoitunut myös kahdennettuun ympäristöön. Kaikki oli tehty ja suunniteltu oikein, mutta inhimilliset virheet estivät suunnitelmien toimimisen. NÄIN VAIN EI TEORIASSA OLISI PITÄNYT KÄYDÄ.

Onneksi vika saatiin korjattua. Varmuuskopiointi oli onnistunut ja meillä oli käsissämme kaikkien ReFox-asiakkaiden 11.9.2017 klo 03.00 otettu varmuuskopio. Olimme asettaneet deadlinen klo 22.00, jolloin kaikki ReFox-palvelut olisi siirretty Eurooppaan, Amazon Web Services-palveluun. Amazon on maailman suurin palveluntarjoaja, mutta valitettavasti ei kotimainen. Tätä ennen Tentacle Networks kuitenkin sai palvelun nostettua pystyyn, Nebulan korjattua liittymät. Painoitettaakoon, että missään vaiheessa ei ollut riskiä tiedon katoamiselle. Varmuuskopiot olivat turvallisesti yrityksemme tiloissa, poissa Nebulan palvelimilta.

Miksi näin pääsi käymään?
Valitsimme palveluntarjoajaksemme yhden Suomen luotetuimmista ja suomen suurimmista. Samaa palveluntarjoajaa käyttää todella suuret instanssit, kuten S-ryhmä, Elisa, Telia ja Autovahinkokeskus. Nuokin tahot käyttävät samoja palvelimia ja samaa palvelinsalia, kuin missä ReFox ja verkkokaupat sijaitsee.

Samalla kun ReFox, verkkokaupat ja sähköpostit oli nurin, myös S-pankki lakkasi toimimasta ja osassa Helsinkiä ei toiminut Telian liittymät. Elisan liittymät ovat pätkineet pitkin päivää. Autovahinkokeskus on ollut ilman palveluitaan koko päivän. Helsingin lauttasaaressa ei ilmeisesti juurikaan tietoa liikkunut. Tilannetta ei valitettavasti pystynyt hallitsemaan millään tavalla meidän päästämme, vaan olimme täysin palveluntarjoajan armoilla.

Nebulalta ei vieläkään ole virallista syytä vialle tullut, joten joudumme jäädä sitä odottamaan.

Mitä tapahtuu seuraavaksi?
Seuraavaksi vaadimme selvityksen palveluntarjoajaltamme. Sen jälkeen tehdään päätös palveluntarjoajan vaihtamisesta. ReFox on kriittinen työkalu ja sille on luvattu 24/7 toimivuus.

Tähän päivään asti ReFoxin saatavuus onkin ollut miltei sataprosenttista luokkaa. Katokset joita on muutaman kappaleen verran esiintynyt, ovat olleet korkeintaan minuutin luokkaa.

Parhaillaan tutkimme ReFoxin hajauttamista useammalle palveluntarjoajalle, tai ainakin useampaan konesaliin. Tällöin yhden konesalin rikkoontuminen ei välttämättä aiheuttaisi
samankaltaista tilannetta kuin nyt. Joka tapauksessa on selvää, että näin ei enää koskaan saa tapahtua.

Minut tavoittaa huomenna puhelimitse kello 07.00 – 09.00 ja taas klo 14.00->. Numeroni on 0500 560 285. Muin aikoina voi tavoitella Markusta tai Billiä. Yhteystiedot: lillhonga.fi

Linkki palveluntarjoajan häiriöilmoitukseen: http://www.nebula.fi/node/1712