Info: Overview of the latest outages and solutions

Dear customers and partners,

As you all know, edpnet has gone through a number of serious outages lately. The initial power outage exerted a huge impact on our core infrastructure which caused, unfortunately, much tension to our customers and ourselves. We understand that it is hard to justify the confidence in such circumstances and want to apologize for all inconvenience. Strong measures have already been taken to reduce a risk of further outages and guarantee the stability of our services.

As open communication is very important for us, we would like to provide you with a detailed overview of what exactly happened and what we have done/are going to do to prevent these situations in future and improve our service. Please, find the overview below.

Monday 26/09/2016 4:49: the data center of edpnet Sint-Niklaas lost power, UPS system and power generator failed.

Monday 26/09/2016 10:19: the power was restored, systems were back online. Due to the many issues to get the power online, we provided a backup power feed from our office power feed to the most critical systems

Monday 26/09/2016 11:00: mail load balancers were dead, probably due to intermediate power cuts. These devices were replaced.

Monday 26/09/2016 20:00: the power was lost again in the data center, critical applications such as voice services and main router were still running. The interruption caused an issue on incoming calls.

Monday 26/09/2016 20:15: The root cause of the power issue was found, the UPS itself caused the power cuts. We bypassed the UPS and restored power.

Monday 26/09/2016 21:30: incoming calls were running fine again.

After the power cut, we noticed some strange behavior on our Voice switch 2, several maintenances were performed to have the system stable again, no more issues were noticed after these maintenances.

Sunday 2/10/2016 23:30: a DDoS attack starts which causes connectivity problems.

Monday 3/10/2016 9:30: The DDoS target is found and disabled. Connectivity restored.

Tuesday 4/10/2016 0:00: Planned maintenance to replace the broken UPS, and installing an external bypass system so future UPS maintenance shouldn’t give an interruption.

Wednesday 5/10/2016 7:44: A database issue occurred on Voice switch 2.

Wednesday 5/10/2016 8:06: The database is restored, voice is operational.

Thursday 6/10/2016 1:46: Voice switch 2 crashes, is completely unavailable. Voice switch 1 isn’t taking over causing voice calls not to arrive, and outgoing calls not to be made.

Thursday 6/10/2016 6:43: manually switched all voice traffic towards Voice switch 1, incoming and outgoing calls seem to work fine.

Thursday 6/10/2016 9:00: complaints arrive that no incoming calls are possible again, it seems Voice Switch 1 only receives 50% of the incoming calls

Thursday 6/10/2016 10:57: restored Voice switch 2 on spare hardware, all calls are arriving no more voice issues.

Thursday 6/10/2016 11:30: Proximus and supplier found the issue with the failing redundancy of the voice switches, a new maintenance will be planned soon to make the necessary improvements.

List of improvements to be made:

  1. UPS replacement (done)
  2. External bypass system to avoid outage due to UPS works (done)
  3. Move certain critical services to our data center in Interxion Brussels (ongoing)
  4. Install a permanent B-power feed in our data center in Sint-Niklaas (ongoing)
  5. Adapt voice service for correct redundancy (done)

 

If you have any questions or remarks left, please, do not hesitate to contact us.

Best regards
The edpnet team


Outage: Service degradation / High latency

Dear customers,

We are currently experiencing an outage with internet services, due to paths cut between Brussels and Amsterdam. Traffic is rerouted but customers may notice a service degradation and high latency. The outage is currently under investigation by our NOC team. Further updates will be released as soon as possible.

Please find all details below:

Start: 2016-08-11 11:46 AM
End: n/a
Duration: n/a
Impacted services: all internet services: possible quality degradation, high latency
Affected Areas: all zones

 

We apologize for the inconveniences.

Best regards
The edpnet team

*All times are listed in CET, Central European Time

 

Update 22:45 – Issue solved. Traffic is taking the normal path again.


Outage: all data services (internet, telephony, …)

Dear customers,

We have experienced an outage with DSL services impacted by the maintenance of last night. For most customers, the problem was solved when they restarted their modems. The outage has been fixed by our NOC team.

Please find all details below:

Start: 2016-06-07 2:09 AM*
End: 2016-06-07 9:47 AM*
Duration: 7,5 hours
Impacted services: All data services
Affected Areas: All DSL customers in Belgium

 

We apologize for the inconveniences.

Best regards
The edpnet team

*All times are listed in CET, Central European Time


Maintenance planned on 31/05/2016 – impacted services: all DSL services in Netherlands and possibly in Belgium

Dear customers,

Edpnet has planned a maintenance on its remote servers.

We’ll be keeping the downtime to a minimum, but expect several reconnections during the maintenance.

Please find all details below:

Start: 2016-05-31 03:00 AM*
End: 2016-05-31 06:00 AM*
Duration: 15 minutes
Impacted services: All data services (internet, telephony, …)
Affected Areas: Customers connections in Netherlands will be dropped for 15 minutes. Possible loss of connection for users in Belgium. In case of disconnection, we advise to restart hardware (modem/router).

 

We apologize for the inconveniences.

Best regards
The edpnet team

*All times are listed in CET, Central European Time


Maintenance planned on 16/11 – impacted services: DSL services in Gilly (Charleroi)

Dear Customer,

To ensure that your data solution continues to function flawlessly, Proximus will shortly be carrying out works on its network. This work may have an impact on your data communications.

Please find all details below:

Start: 2015-11-16 00:00 AM*
End: 2015-11-16 06:00 AM*
Duration: 10 minutes
Impacted services: All data services (internet, telephony, …)
Affected Areas: Gilly (Charleroi) : 071

 

We apologize for the inconveniences.

Best regards
The edpnet team

*All times are listed in CET, Central European Time


Outage: VoIP telephony / SIP trunking

Dear customers,

We’ve experienced an outage with VoIP/SIP services due to a fault of one of our telephony switches. For this moment the outage is solved. All services are up and running.

Please find all details below:

Start: 2015-10-25 23:45
End: 2015-10-26 10:30
Duration: 11 hours
Impacted services: VoIP telephony / SIP trunking
Affected Areas: All VoIP/SIP trunking customers in Belgium

 

We apologize for the inconveniences.

Best regards
The edpnet team

*All times are listed in CET, Central European Time


31 October – Outage

Dear customers,

Edpnet just had a big outage on its network. Traffic is coming back up.
It is possible that some destinations will still show issues.

Description: Wrong routes were announced to our gateway causing all traffic to be incorrectly routed.
Start: 2014-10-31 10:55 AM*
End: 2014-10-31 11:20 AM*
Duration: 25 minutes
Impacted services: All edpnet services

We apologize for the inconvenience

The edpnet team

*All times are listed in CET, Central European Time


09 Januari 2014

Vanwege het falen van onze opslagsystemen worden mails momenteel vertraagd verzonden. Er is geen data verloren gegaan en de systemen draaien nog steeds.De vertraging wordt veroorzaakt door het heropbouwen van onze systemen. Het is mogelijk dat u ook tijdelijk een foutmelding krijgt, gelieve het dan enkele minuten later nogmaals te proberen.

Het volledig oplossen van deze storing kan tot enkele dagen in beslag nemen.

Update 9 – 20/01 16:00
Na werken van dit weekend lijkt het erop dat we de oorzaak van de vertraagde mails hebben gevonden. Door het vervangen van een defecte controller op onze hoofd opslagserver is de snelheid van het systeem drastisch verhoogd. Maandagochtend was de eerste stresstest van ons systeem door u (de klanten) aangezien een maandagochtend  één van onze drukste dagen is voor onze mailserver. De responstijden blijven normaal. We blijven alles monitoren.

Update 8 – 18/01 10:29
Gisteravond hebben we nog een probleem gevonden met een opslag systeem, we hebben dit volledig vervangen, en dit toestel is ondertussen data aan het repliceren, dit zou vandaag afgerond moeten zijn. We hebben ook een defecte disk controller dienen te vervangen in een ander opslagsysteem, deze nacht is deze nieuwe controller opnieuw optimaal beginnen werken. Omdat in het weekend en ‘s nachts de load sowieso lager is, zou alles nu optimaal moeten werken. We dienen tot maandag te wachten of het probleem terug zou opduiken. Onze excuses voor de beperkte communicatie gisteren, we waren hard aan het werk, maar hadden geen updates.

Update 7 – 17/01 11:16
De monitoring van de laatste implementatie heeft afgelopen nacht bevestigd dat we nog niet het gewenste resultaat hebben. Daarom wordt nu, om 11u, nog een volgend onderhoud uitgevoerd. Van zodra wij hierover feedback hebben, wordt u op de hoogte gebracht. Intussen is webmail terug beschikbaar. Mocht u nog op de storingen-pagina terecht komen, gelieve dan even uw browser cache te verwijderen.

Update 6 – 16/01 16:40
In overleg met onze hardwareleverancier werd een mogelijke oplossing uitgewerkt.  Deze wordt op dit moment geïmplementeerd.  In de loop van de avond en de nacht wordt verder opgevolgd om te zien of dit de nodige snelheidswinst geeft zodat er geen vertragingen meer optreden.

Update 5 – 16/01 10:59
Intussen heeft ons technisch team contact met de hardware leverancier en zoeken ze samen naar de mogelijke oorzaak van het probleem.   Wij houden u verder op de hoogte van zodra er feedback is.

Update 4 – 15/01 17:02
Ons tech team is nog steeds volop bezig, het is niet een welbepaald duidelijk probleem dat de vertraging in de mails veroorzaakt. Ze zoeken stap voor stap uit door te testen en de resultaten van de ingrepen te controleren. Telkens komen we een stap dichter bij de oplossing. Wij informeren u van zodra we meer nieuws hebben.

We willen nog even bevestigen dat er geen data is of zal verloren gaan.

Update 3 – 15/01 11:22
Het onderhoud van deze nacht heeft de problemen nog niet volledig verholpen, daarom dienen wij nogmaals een onderhoud in te plannen. Deze zal om 12:00 starten en er wordt geschat dat er gedurende een half uur geen mails zullen worden uitgestuurd.

Update 2 – 14/01 14:42
Onze systemen zijn momenteel terug opgebouwd maar er zijn nog blijvende problemen met het vertraagd ontvangen van berichten. Daarom plant ons netwerkteam deze nacht om 1 uur een onderhoud in. Gedurende dit onderhoud is het niet mogelijk om berichten te ontvangen. We verwachten dat alle systemen terug normaal draaien tegen de ochtend.

Update 1 – 13/01 13:22We verwachten dat de vertraging tijdens het ontvangen van berichten zal worden opgelost binnen de 48 uren. De vertraging wordt mede veroorzaakt door een te hoge belasting tijdens de werkuren. Edpnet doet er alles aan om dit proces te versnellen.

Edpnet excuseert zich voor het ongemak.


26 december 2013

Er is een onderhoud gepland om de kwaliteit van ons netwerk te verbeteren. Gedurende het onderhoud zullen alle edpnet diensten tijdelijk onbeschikbaar zijn (DSL, VOIP, hosting, mail,…).Tijdspanne: 02:00 – 04:00
Downtime: ~60 minutes Het is aan te raden om het modem te herstarten bij problemen na de geplande werken.

Edpnet verontschuldigt zich voor dit ongemak.