Informationen zu den gestrigen Störfällen

Nach den gestrigen massiven Störfällen sind seit etwa heute Mittag wieder alle Systeme in Betrieb. Der Status des TUNET ist netzwerktechnisch wieder in Ordnung.

Zum jetzigen Zeitpunkt können wir Ihnen Folgendes mitteilen:

  • Gestern in der Früh (4:27 Uhr) ist auf dem redundant ausgelegten Routingsystem unseres Datacenters aus bislang unbekannter Ursache eine Fehlersituation aufgetreten, die beide redundanten Systeme betroffen hat und durch die implementierten Automatismen nicht kompensiert wurde.
  • Um 7:30 Uhr kam es wahrscheinlich als Folgeerscheinung zu einer "Netz-Loop"  im Datacenter (mit mehr als 20 Mio Paketen/sec), wodurch viele unserer Serversysteme stark beeinträchtigt wurden.
  • Etwa gestern Mittag wurde der das Problem verursachende Switch identifiziert und isoliert. 
  • Bis gestern etwa um 16:00 Uhr wurden die durch den Defekt verursachten Folgestörungen im Netzwerk behoben. 
  • Ab 16:00 Uhr gestern konnte mit dem Wiederanlauf der Serversysteme und der Aktivierung der Services begonnen werden. Durch deren starke Beeinträchtigung hat die Wiederaufnahme des Betriebs mancher Systeme etwas länger gedauert.
  • Dadurch, dass auch unsere ZID-Homepage sowie das ZID-Troubleticket-System betroffen waren, konnten wir erst relativ spät mit der Störungskommunikation beginnen.
  • E-Mail (upTUdate) hat gestern ab ca. 22:00 Uhr wieder funktioniert.
  • Seit etwa heute Mittag sind auch TISS, TUWIS und TUownCloud wieder in Betrieb.
  • Da der das Problem auslösende Switch isoliert und abgeschaltet wurde, wird unser Datacenter momentan in einem nichtredundanten Modus betrieben. 

Mit Hilfe unserer Wartungspartner wird eine weitere technisch detailierte Störungsanalyse erfolgen.  Unsere Vermutung ist, dass es sich um einen Hardwarefehler handelt.

Wir entschuldigen uns an dieser Stelle noch einmal für die Unannehmlichkeiten, die Sie gestern - und auch teilweise heute noch - hatten. Vielleicht konnten Sie die Zeit ja für Arbeiten (ohne TUNET) nutzen, die Sie schon lange einmal erledigen wollten!