RFO-3-2-2017
RFO vrijdag 3 februari 2017 (Reason For Outage)
Datum: 6 februari 2017
Om 05:45 AM op 3-2-2017 is er een gedurende de dag een storing geweest op ons netwerk.
De oorzaak hiervan lag hem uiteindelijk in de (replicatie van de) storage. Ons netwerk is op alle fronten redundant uitgevoerd. Redundante Firewalls, Switches (Front- en Back-end, Servers en onze centrale storage units) zijn volledig redundant uitgevoerd. De storage wordt elke nacht gerepliceerd naar een 3e unit storage unit.
Om te kunnen repliceren wordt er een snapshot gemaakt van de storage omgeving en die wordt vervolgens naar de 3e unit gestuurd. Hiervoor is een stukje storage gereserveerd zowel voor de snapshot als voor het repliceren. S’ nachts loopt de replicatie en hierin zat ook uiteindelijk de oorzaak. De gereserveerde ruimte voor de replicatie zat vol en normaal gesproken zou de replicatie stoppen en draait de storage omgeving gewoon door. In dit geval was ook de totale vrije ruimte op de storage onder de 10% (wij houden altijd een minimale ondergrens van 10% vrije ruimte aan) en in de combinatie ging het fout. De gehele storage werd, onderwater, offline gezet.
Vreemd genoeg gaf de storage niet aan dat deze offline was maar online. Dit laatste is ons inziens een bug in de firmware van de storage en die hebben we ook aan onze storage leverancier gemeld. De replicatie en snapshots zijn nu uitgezet en hebben we de gereserveerde ruimte op de storage vrijgegeven.
Wij betreuren de ontstane situatie en downtime die u hierdoor heeft ervaren en hebben ondanks de redundancy in ons netwerk hierin een verbeterpunt waar we op zeer korte termijn naar gaan kijken, hoe we dit willen gaan oplossen c.q. voorkomen voor de toekomst. Dit zullen we intern eerst goed moeten overleggen voordat we daar bepaalde keuzes in gaan maken.
Mocht u verdere vragen hebben over het incident, neemt u dan gerust even contact met ons hierover op.
Met vriendelijke groet,
Effect ICT Solutions B.V.
Henk Nachtegaal
