Auteur Sujet: Incident sur filer4  (Lu 5916 fois)

0 Membres et 1 Invité sur ce sujet

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Incident sur filer4
« le: 02 novembre 2011 à 10:52:49 »
Bonjour,

Nous avons eu un incident sur filer 4 le 01/11 vers 23h puis un second incident sur le même serveur ce matin
02/11 vers 09h30.

Ceci était a priori engendré par un souci de driver de carte raid.

Nous avons changé le kernel et le driver afin de corriger cela.

Nous surveillons activement ce serveur afin d'éviter toute récidive.

Merci de votre compréhension,
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : Incident sur filer4
« Réponse #1 le: 02 novembre 2011 à 11:09:44 »
nous sommes obligés de recouper quelques minutes filer4 pour un check du filesystem.
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne GCGCorp

  • Débutant
  • *
  • Messages: 1
    • Paraboys.com
Re : Incident sur filer4
« Réponse #2 le: 02 novembre 2011 à 12:13:47 »
Bonjour Thibaud,

Est ce que le problème est toujours d'actualité ? Car nous avons des problèmes sur nos sites mais ne savons pas si c'est lié au timer ou s'il faut ouvrir un ticket.

Merci

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : Incident sur filer4
« Réponse #3 le: 02 novembre 2011 à 12:35:52 »
le check du filesystem est en cours.
malheureusement il n'est pas possible de faire autrement...
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne serpico3

  • Débutant
  • *
  • Messages: 65
    • Politique
Re : Incident sur filer4
« Réponse #4 le: 02 novembre 2011 à 12:47:14 »
Bonjour,

A-t-on une idée du temps que va encore prendre l'opération avant retour à la normale ?

Merci.

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : Incident sur filer4
« Réponse #5 le: 02 novembre 2011 à 12:52:24 »
c'est fini
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne freqplus

  • Connaisseur
  • ***
  • Messages: 291
    • Fréquence Plus
Re : Incident sur filer4
« Réponse #6 le: 02 novembre 2011 à 13:09:23 »
Merci Thibaud et bonne journée à toutes et tous

Hors ligne foxyweb

  • Débutant
  • *
  • Messages: 1
    • Renard Graphic
Re : Incident sur filer4
« Réponse #7 le: 02 novembre 2011 à 13:40:59 »
Merci pour votre intervention rapide qui avait bloquer mon accès à mon espace FTP ce matin !

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : Incident sur filer4
« Réponse #8 le: 02 novembre 2011 à 14:44:16 »
Bonjour,

Suite a l'incident d'hier soir (qui était a priori engendré par un bug de kernel/de driver de la carte raid du filer), le système de fichiers devait impérativement être vérifié/réparé pour revenir a un état normal et être stable de nouveau.

Nous avons été contraint de couper les services de filer4 entre 11h20 et 12h40 environ pour lancer le check.

L'opération s'est correctement déroulée et tout est opérationnel depuis.

Il s'agit d'un incident "imprévisible" et que nous avons pris en charge dès son début. Néanmoins le temps de check du système de fichiers n'est malheureusement pas réductible.
Le passage sur nos plateforme de backup auraient engendré plus de problèmes (retour en arrière au niveau version des fichiers, resynchronisation nécessaire par la suite) que de patienter pendant la réparation du filesystem...

Nous vous remercions par avance de votre compréhension,
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : Incident sur filer4
« Réponse #9 le: 09 novembre 2011 à 20:03:50 »
rebelotte, on est dessus
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : Incident sur filer4
« Réponse #10 le: 09 novembre 2011 à 20:19:47 »
Nous avons fixé pour ce soir le problème.

demain matin vers 6h, nous allons intervenir sur filer4 pour :
- changer la carte raid
- changer la connectique vers le backplane

Cela va engendrer une coupure des sites de filer4 demain matin pendant 15 a 20 minutes
environ.

Ceci est nécessaire pour réussir a régler définitivement le problème puisque les interventions
réalisées jusque la n'ont pas solutionné le problème.

Merci de votre compréhension et toutes nos excuses pour la gène occasionnée par ce nouvel
incident imprévisible sur filer4.
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : Incident sur filer4
« Réponse #11 le: 10 novembre 2011 à 05:45:08 »
je vais eteindre filer4
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : Incident sur filer4
« Réponse #12 le: 10 novembre 2011 à 06:43:08 »
c'est revenu.

Pour info, cela a été plus long que prévu car c'est la semaine pas de chance !
j'ai changé la nappe multilane par une nappe neuve dans le doute.... et ... c'est la nouvelle nappe qui ne marchait pas :)
du coup, j'ai d'abord pensé a un problème de nouvelle carte raid, retesté avec l'ancienne pour voir que cela venait de la
nappe et devoir a nouveau remettre la nouvelle carte raid + une autre nappe.

On va voir ce que cela donne avec la nouvelle carte...
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne JPC

  • Débutant
  • *
  • Messages: 15
Re : Incident sur filer4
« Réponse #13 le: 10 novembre 2011 à 14:55:01 »
Bonjour

Re-coupure vers 14h40, comme hier soir.

On s'oriente vers la "quinzaine" de malchance?

Hors ligne Fourche

  • Débutant
  • *
  • Messages: 55
    • Mouzet.com
Re : Incident sur filer4
« Réponse #14 le: 10 novembre 2011 à 17:28:06 »
"Incident en cours. Merci de votre comprehension"

encore pareil du coup ?