Auteur Sujet: incident filer 1-3  (Lu 5124 fois)

0 Membres et 1 Invité sur ce sujet

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
incident filer 1-3
« le: 26 mai 2013 à 11:19:28 »
Bonjour,

Nous avons basculé temporairement sur une version ancienne des données.
Nous laissons le fsck se terminer sur le serveur de prod pour voir comment gérer la suite (passage de nouveau sur le prod ou synchronisation des données vers le serveur de remplacement)

Il s'agissait de la seule solution pour que les sites soient accessibles en attendant la fin du fsck.


Merci de votre patience et de votre comprehension.
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne cheyraud

  • Débutant
  • *
  • Messages: 1
    • Sainte rencontre
Re : incident filer 1-3
« Réponse #1 le: 26 mai 2013 à 13:18:43 »
merci beaucoup.
En fait je modifie rarement notre programme et il manquait juste un fichier que j'ai rajouté sur ce que vous avez remis en ligne.

Une petite question...:
vous avez visiblement une sauvegarde de mon site ..au cas où ce soit moi qui fasse une fausse manip où si on me le pirate
tous les combien de temps faut-il que je regarde mon site pour être sûr que votre sauvegarde est saine?
merci de votre réponse
bien cordialement
Charles-Henri Eyraud

Hors ligne MaxB

  • Débutant
  • *
  • Messages: 10
    • http://a-sur-x.phpnet.org
Re : incident filer 1-3
« Réponse #2 le: 26 mai 2013 à 14:12:34 »
Pour nous, au contraire c'est une catastrophe! Le site est dynamique et il est revenu à une version caduque de plusieurs mois (janvier).
Heureusement la base de données à l'air ok.

Quel est le délai de remise en place des données récentes ?
Faut-il essayer de faire des mise à jour à l'arrache en attendant ?
« Modifié: 26 mai 2013 à 14:25:11 par MaxB »

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : incident filer 1-3
« Réponse #3 le: 26 mai 2013 à 14:16:01 »
UPDATE : Le fsck est toujours en cours.
Il s'agit d'un gros filer qui contient près de 300 millions de fichiers.

2 informations importantes :
1) l'incident a été causé par un souci de batterie (BBU) sur la carte RAID. L'intervention préventive d'hier a
permit de résoudre ce problème a l'avenir. Néanmoins dans le cas de filer1-3, le crash du 25/05 avait du coup
endommagé le filesystem, nécessitant ce fsck.

2) Le backup de ce serveur ne s'est plus fait correctement depuis fin janvier alors même que le script chargé
d'effectuer les backups de chaque compte n'indiquait pas de problème. Le souci a été identifié, il venait d'un
compte client qui bloquait le fonctionnement normal du script. Les modifications sont en cours pour éviter que
cela ne puisse se reproduire. Ceci explique le fait que nous n'ayons pu remettre en ligne qu'une sauvegarde
datant de janvier.

Il faut rappeler que c'est un incident rare (backup n'ayant pas fonctionné correctement, BBU hs et crash
serveur).
Nous faisons le nécessaire pour un retour a la normale le plus rapide possible mais nous n'avons pas délai
très précis sur la fin du fsck.

Merci de votre compréhension.
« Modifié: 26 mai 2013 à 14:34:31 par thibaud »
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : incident filer 1-3
« Réponse #4 le: 26 mai 2013 à 15:17:25 »
UPDATE: le fsck est terminé.
Le file system est monté mais il y a des erreurs encore dedans et nous ne pouvons donc pas repasser la prod dessus sans risque.

Nous faisons une synchronisation des données vers le serveur de backup.
Les données vont donc revenir, compte par compte. Cela va prendre plusieurs heures mais les données seront bien restaurées.
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : incident filer 1-3
« Réponse #5 le: 26 mai 2013 à 18:15:33 »
Presque 700 comptes sont totalement restaurés.
Il en reste environ 900.

Les choses avancent aussi vite que possible.
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne Draganthyr

  • Débutant
  • *
  • Messages: 3
Re : incident filer 1-3
« Réponse #6 le: 26 mai 2013 à 18:29:18 »
ca va sans doute être une question élémentaire, mais...qu'est-ce que "filler 1-3"? je suppose un groupe de serveur non? comment savoir si on est dessus? car un de mes forum (fora?) rencontre en effet des soucis de fichiers (images) qui ont disparu (rien de bien grave) et je suppose que c'est lié, du coup si c'est en cours de traitement chez vous, je suppose qu'il est déconseillé (ou au moins inutile) de tenter de remettre les fichiers de notre coté non?

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : incident filer 1-3
« Réponse #7 le: 26 mai 2013 à 18:32:22 »
730 comptes encore a restaurer.
(A savoir que nous avons fait dans l'ordre du plus petit compte au plus gros compte pour éviter l'impact a un maximum de client).
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne Eric-

  • Connaisseur
  • ***
  • Messages: 268
Re : incident filer 1-3
« Réponse #8 le: 26 mai 2013 à 18:38:31 »
Ah les petits et les gros toujours une discrimination  -_-
Les logs vont être restaurés ?

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : incident filer 1-3
« Réponse #9 le: 26 mai 2013 à 18:57:45 »
(Eric-) votre compte a déja été restauré. Les logs n'arriveront que d'ici demain soir, ce n'est pas la priorité, de même que les backups sql.
« Modifié: 26 mai 2013 à 19:09:35 par thibaud »
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne Eric-

  • Connaisseur
  • ***
  • Messages: 268
Re : incident filer 1-3
« Réponse #10 le: 26 mai 2013 à 19:49:12 »
J'ai vu, merci Thibaud.
Je voulais juste savoir pour les logs, mais bien sur ce n'est vraiment pas une priorité.

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : incident filer 1-3
« Réponse #11 le: 26 mai 2013 à 19:59:09 »
(Eric-)   :) même s'il y a des scripts pour faire le boulot, je gère manuellement les clients urgent !
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET

Hors ligne Sorba

  • Débutant
  • *
  • Messages: 95
    • ForzaBastia
Re : incident filer 1-3
« Réponse #12 le: 26 mai 2013 à 20:12:25 »
Bonsoir,

j'en conclue que je ne fais pas partie des clients urgents ....  :huh:

Une estimation ? It's possible ?


D'avance merci

Hors ligne serpico3

  • Débutant
  • *
  • Messages: 65
    • Politique
Re : incident filer 1-3
« Réponse #13 le: 26 mai 2013 à 20:14:31 »
Peut-on également avoir une idée de la période pendant laquelle les temps de chargement des pages vont ainsi être impacté ?

Hors ligne thibaud

  • VIP
  • *****
  • Messages: 3 909
    • http://www.phpnet.org/
Re : incident filer 1-3
« Réponse #14 le: 26 mai 2013 à 20:22:53 »
(forzabastia) Quand je disais "client important", j'entendais les clients qui se sont manifestés poliment !... c'est en cours pour toi... D'ici quelques minutes je pense que ce sera OK.
Je ne peux pas traiter tous les clients a la main sinon plus aucun intérêt de faire des scripts qui tournent déja a fond les ballons mais je peux me débrouiller pour les urgences....


Les performances sont forcement impactées par ces transferts importants. Cela devrait se terminer dans la nuit je pense.
Thibaud GRANGIER
Division Technique mutualise-dedie
PHPNET