Palvelin toimii jälleen normaalisti.
Uusi ajankohta huoltoikkunalle on 21.12.2022 klo 23:00 - 22.12.2022 06:00.
Tilanne on normalisoitumassa ja sähköpostipalvelut jälleen normaalisti käytettävissä. Seuraamme ja päivitämme tilannetta tarpeen vaatiessa.
Verkkoyhteydet ovat jälleen vakaat mutta nopeudessa voi vielä esiintyä paikoittain hitautta. Nopeus palautuu normaaliksi aamupäivän aikana. Jos havaitset ongelmia palvelujen toiminnassa, avaa asiasta tukipyyntö asiakaspalvelu@scenegroup.fi.
Huoltokatko on saatu päätökseen ja palvelin palautettu normaaliin toimintaan.
Palvelimella esiintynyt ongelma on nyt korjattu ja palvelin toimii jälleen normaalisti.
Hibernato on vahvistanut ongelman syyksi rikkoutuneen kaapelin. Palvelinkeskus on ryhtynyt vastaanottamaan liikennettä vaihtoehtoisia reittejä pitkin ja ongelmaa ei enää esiinny.
Lähetämme asiakkaillemme selvityksen toimintahäiriön syistä ja selvityksen toimenpiteistä joihin ryhdymme jatkossa tämän seurauksena. Pahoittelemme syvästi aiheutunutta häiriötä!
Ulvila-palvelimen konfiguraatiot on tarkistettu. Optimoimme vielä MySQL-palvelinta aamupäivän aikana, jolloin voi esiintyä hetkellinen katkos MySQL-palvelimen toiminnassa uusien asetusten aktivoituessa.
Ulvila-palvelin on nyt palautettu toimintaan. Käymme vielä läpi palvelimen konfiguraatiot ja varmistamme tietokantojen ja sivustojen normaalin toiminnan.
Ulvila-palvelimen palautus alkaa olemaan loppusuoralla. Teemme palvelimeen palautuksen valmistuttua tarvittavat tarkistukset ja palautamme sen online-tilaan yön aikana.
Ulvila-palvelimen palautus on yhä käynnissä. Palautuminen on ollut toivottua hitaampaa ja arvioimme sen valmistuvan tämän päivän aikana. Kiireellisissä tilanteissa ota yhteys asiakaspalveluumme 02 3619 0071 niin pyrimme järjestämään siirron toimivalle palvelimelle.
Palautimme Rauma-palvelimen MySQL:n toimintaan jonkin aikaa sitten ja seuraamme sen toimintaa. Ulvila-palvelimen palautus on yhä käynnissä. Arvioimme mahdollisuutta palauttaa osia palvelimesta käyttöön aikaistetusti.
Rauma-palvelin on palautettu toimintaan, mutta MySQL-tietokantapalvelin on Rauma-palvelimella vielä korjauksen alla. Ulvila-palvelin on palautumassa parhaillaan. Lisäksi valtaosa muista palvelimista on nyt palautettu yön kuluessa.
Joudumme valitettavasti vielä tekemään töitä Rauma- ja Ulvila-palvelinten palautuksen kanssa. Tiedotamme lisää mahdollisimman pian. Muita palvelimia palautettu merkittävissä määrin päivän ja illan aikana.
Ulvila palautuu arviolta n. klo 18:00 mennessä. Työskentelemme vielä Rauma-palvelimen palautuksen parissa. Lisäksi muita palvelimia palautuu parhaillaan.
Ulvila palautuu varmuuskopioista. Rauman palautuminen viivästyy hieman.
Pori-palvelin on nyt palautettu toimintaan. Rauma-palvelin palautuu varmuuskopioista arviolta 13:00 mennessä.
Arvioimme Pori-palvelimen palautuvan toimintaan n. klo 11:00 - 12:00 välisenä aikana. Ulvila ja Rauma palautetaan tämän jälkeen.
Yyteri-palvelin on nyt palautettu toimintaan.
Palautukset ovat edistyneet yön aikana. Varmuuskopiopalautuksen onnistuessa normaalisti odotamme Yyterin palaavan online-tilaan n. klo 08 mennessä ja Porin hieman tämän jälkeen. Tarkennamme arviota Porin osalta Yyterin palautuksen valmistuttua. Tämän jälkeen käynnistämme Ulvilan ja Rauman palautukset joissa palautettavan datan kokonaismäärä on pienempi ja joiden odotamme palautuvan nopeammin.
Muutamia palvelimia palautettu viimeisimmän päivityksen jälkeen. Webhotelleista nyt palautumassa on Pori ja Yyteri.
Rikkoutunut levyjärjestelmä on tilassa, jossa voimme palauttaa ainakin osan datasta, mutta palvelimien käynnistäminen rikkoutuneelta levyjärjestelmältä vaikuttaa epätodennäköiseltä. Palvelimet palautetaan ensisijaisesti varmuuskopioista ja palautukset ovat parhaillaan käynnissä. Palautettavaa dataa on paljon, eli palautukset tulevat valitettavasti jatkumaan läpi yön ja tiistaipäivän. Palvelimet palautuvat toimintaan yksitellen. Webhotellipalvelimet pyrimme palauttamaan yön aikana. Jos haluat palauttaa oman pilvipalvelimesi omista varmuuskopioista, pyydä asiakaspalvelustamme uutta palvelinta tätä varten. Pahoittelemme katkoksen pitkittymistä ja tulemme laatimaan kattavan selvityksen tapahtumista myöhemmin tällä viikolla.
Palautumistoimet ovat yhä käynnissä. Ne ovat edenneet hitaammin kuin olisimme toivoneet ja olemme kohdanneet muutaman vastoinkäymisen matkan varrella. Pahoittelemme, että emme ehdi vastaamaan kaikkiin tiedusteluihin henkilökohtaisesti - keskitämme kaikki resurssit palveluiden palauttamiseen.
Osa pilvipalvelimista on palautettu toimintaan yön aikana. Jatkamme palautuksia varmuuskopioista. Webhotelleista ensimmäisenä palautuu Pori-palvelin aamun aikana.
Aloitamme palvelimien palautuksen varmuuskopioista uudelle Storage-järjestelmälle. Jatkamme samalla viallisen Storage-järjestelmän korjaustoimenpiteitä.
Työskentelemme nyt yhdessä ulkopuolisen Storage-järjestelmän erikoisasiantuntijayrityksen kanssa nopeuttaaksemme palveluiden palautumista toimintaan.
Olemme siirtyneet varasuunnitelmaan ja valmistelemme palvelinten siirtoa uudelle levyjärjestelmälle toiminnallisuuden palauttamiseksi. Palvelimia tullaan palauttamaan toimintaan yksitellen kuluvan yön ja sunnuntain aikana. Pahoittelemme pitkittynyttä katkosta!
Mikäli uusia vastoinkäymisiä ei ilmene, arvioimme IO-liikenteen normalisoituvan 21:30 - 22:00 välisenä aikana. Käynnistämme tarvittaessa uudelleen ne pilvipalvelimet joihin ongelma vaikuttaa.
Toimintahäiriö esiintyy yhä ja palautuminen on vielä käynnissä. Pyrimme tarkentamaan arviota korjausajasta mahdollisimman pian.
Ohjelmistopäivitykset toteutettiin yön aikana suunnitelman mukaisesti. Valitettavasti osa päivityksistä aiheutti odotettua suurempaa dataliikennettä ja IO-liikenteen latenssin kasvua joka näkyi ennakoitua suurempana hitautena osalla pilvi- ja webhotellipalvelimista. Kohonneen IO-latenssin seurauksena osa palvelimista käynnistettiin uudelleen. IO-liikenteen latenssi normalisoitui n. 08:30 mennessä. Yksittäisillä palvelimilla on tehty korjaavia toimenpiteitä vielä aamun aikana tarpeen mukaan. Pahoittelemme päivityksen aiheuttamaa häiriötä.
Parhaillaan suoritettavat levyjärjestelmien päivitykset heikentävät vaihtelevasti pilvipalvelinten suorituskykyä. Tilannetta tutkitaan ja palvelut pyritään saamaan takaisin normaaliin toimintaan mahdollisimman pian.
Ongelma verkkoyhteyksien toiminnassa on korjattu ja verkkoyhteydet ovat jälleen toiminnassa. Pahoittelemme aiheutunutta häiriötä!
Huoltotoimenpiteet on saatettu päätökseen.
Ongelma levyjärjestelmässä korjaantui n. klo 16:15 jonka jälkeen palvelimet palautuivat toimintaan. Teemme vielä tarkistuksia ja ongelmatilanteissa pyydämme ottamaan yhteyttä asiakaspalveluumme. Lähetämme vielä erillisen selonteon ja toimintasuunnitelman jatkotoimenpiteistä. Pahoittelemme aiheutunutta häiriötä!
Tämän hetkisen palautumisnopeuden perusteella suorituskyky palautuu normaaliksi 1 - 1,5 tunnin kuluessa, eli 15:00-15:30 välisenä aikana.
Joudumme valitettavasti siirtämään arviotamme korjautumisajasta eteenpäin havaittuamme lisäongelmia Storage-järjestelmällä. Heikentynyt suorituskyky jatkuu toistaiseksi ja pyrimme antamaan tarkemman arvion mahdollisimman pian.
Ongelma verkkoyhteyksissä korjaantui klo 23:40 ja yhteydet toimivat jälleen normaalisti.
Yyteri-palvelin on palautettu varmuuskopioista ja palvelin toimii jälleen normaalisti. Lähetämme vielä erillisen kattavamman tiedotteen tapahtumista kaikille palvelimen käyttäjille. Pahoittelemme pitkittynyttä häiriötilannetta!
Palautus varmuuskopioista valmistuu n. 10 minuutin kuluttua, jolloin käynnistämme palvelimen verifioinnin ja aloitamme valmistelut palvelimen käynnistämiseksi.
Palvelimen tietojen palautus varmuuskopioista on yhä käynnissä. Suuresta tietomäärästä johtuen palautus on kestänyt useamman tunnin. Palautustoimenpiteet kestävät vielä joitakin tunteja ja tiedotamme heti kun ne ovat valmistuneet. Pahoittelemme pitkittynyttä toimintahäiriötä!
Palvelimen tiedostojärjestelmä on vahingoittunut. Jatkamme yrityksiä korjata nykyistä tiedostojärjestelmää. Korjaustöiden ohella olemme jo aloittaneet palvelimen palautuksen iltapäivän varmuuskopiosta joka voidaan ottaa käyttöön jos korjaus ei ole mahdollista.
Häiriö liittyy ongelmaan palvelimen tiedostojärjestelmässä. Korjaustoimenpiteet ovat yhä käynnissä.
Toiminta palautunut normaaliksi. Uudelleenkäynnistämme ne asiakkaiden pilvipalvelimet joiden olemme havainneet jumiutuneen toimintahäiriön vuoksi. Pahoittelemme aiheutunutta häiriötä.
Laajennamme aiemmin tiistaina esiintyneen Storage-järjestelmän suorituskykyongelman vuoksi torstain ja perjantain välisen yön ajastetun huoltoikkunan kattavuutta. Verkkopäivityksien lisäksi huoltoikkunan aikana uudella infrastruktuurilla olevat pilvipalvelimet tulevat käynnistymään uudelleen, kuten myös Ulvila, Pori ja Yyteri - webhotellipalvelimet.