Modifications entre les versions 14 et 15
Version 14 à la date du 2011-07-06 13:40:49
Taille: 2505
Éditeur: MoussaNombre
Commentaire: NFS planté (noyau 32bits)
Version 15 à la date du 2011-07-06 13:51:06
Taille: 2489
Éditeur: MoussaNombre
Commentaire: pas toucher à la partie qui bouge
Texte supprimé. Texte ajouté.
Ligne 5: Ligne 5:
||06/07/2011||Serveur planté (mêmes symptômes qu'avant)||Date/Time: Tue Jul 5 22:46:30 EDT 2011 / ***** Nagios ***** / ** PROBLEM alert 1 - nfs-mtl host is DOWN **||Reboot serveur par DS||Date/Time: Wed Jul 6 07:57:40 EDT 2011 / ***** Nagios ***** / ** RECOVERY alert 2 - nfs-mtl host is UP **||DS||NM : Suite aux mises à jour de noyau la semaine dernière, le serveur au reboot est repassé au noyau 32bits, du coup les bugs sont revenus ==> faudra modifier le menu.lst et rebooter le serveur|| ||06/07/2011||Serveur planté (mêmes symptômes qu'avant)||Date/Time: Tue Jul 5 22:46:30 EDT 2011 / ***** Nagios ***** / ** PROBLEM alert 1 - nfs-mtl host is DOWN **||Reboot serveur par DS||Date/Time: Wed Jul 6 07:57:40 EDT 2011 / ***** Nagios ***** / ** RECOVERY alert 2 - nfs-mtl host is UP **||DS||NM : Suite aux mises à jour de noyau la semaine dernière, le serveur au reboot est repassé au noyau 32bits, du coup les bugs sont revenus ==> modifier le menu.lst : `Default 2`||

Journal des évènements des serveurs bureautique

NFS-AUTHNSS

06/07/2011

Serveur planté (mêmes symptômes qu'avant)

Date/Time: Tue Jul 5 22:46:30 EDT 2011 / ***** Nagios ***** / ** PROBLEM alert 1 - nfs-mtl host is DOWN **

Reboot serveur par DS

Date/Time: Wed Jul 6 07:57:40 EDT 2011 / ***** Nagios ***** / ** RECOVERY alert 2 - nfs-mtl host is UP **

DS

NM : Suite aux mises à jour de noyau la semaine dernière, le serveur au reboot est repassé au noyau 32bits, du coup les bugs sont revenus ==> modifier le menu.lst : Default 2

  • 11 mai 2011
    • Récap des pannes successives
      20 avr : 15h42 ... 1er "nfsd invoked oom-killer" suivi de "Out of memory: kill process 6330 (mysqld) score 38585 or a child"
      03 mai : 15h46 ... idem
      09 mai : ~20   ... haugmentation de la mémoire
      10 mai : 15h15 ... idem
      11 mai : 15h20 ... idem
      11 mai : 17h28 ... installation noyau 64 bits
      11 mai : 17h48-17h55 ... redémarrage du serveur sur le nouveau noyau
    • Les syslogs et les traces sont dans : /root/[PS-AUXW|MEMINFO|SYSLOG]

Date constat

Evenement

date début

Actions

date reprise service

Intervenants

Observations

10/05/2011 15h20

Constat : Internet inaccessible, résolution dns impossible, ... postes gelés ...
- sur la console : message "outof memory, killed mysql (ou autre) qui défile sans cesse

10/05/2011 ???

Reboot serveur

15h30

NM, DS et JC pour investigations

- C'est le second crash identique qui arrive : le premier était le 3 mai vers 15h46, et a conduit à l'augmentation de la RAM hier
- un premier crash avait eu lieu le 20 avril après 16h

09/05/2011

Augmentation de la mémoire : de 3.5GB à 14GB

09/05/2011 19h55

- installation de nouvelles barrettes
- installation du noyau Debian pour les bigmem

09/05/2011 21h15

NM

On a au total 14GB de mémoire ; pour ne pas accepter les 5GB de online spare proposé par le bios, nous avons carrement désactivé la redondance mémoire

19/01/2011

ouverture des sessions d'usagers impossible

19/01/2011 - 7h17

Redemarrage du serveur

19/01/2011 à 9h01

Darko Stanar

le ping fonctionnait; ssh non fonctionel ; impossible d'ouvrir la session local sur la console ; serveur gelé; aucun message dans le log: aucun trace depuis 7h17 jusqu'au redemarrage ; RAID 1 matériel contenant la partition /home resynchronisé après le redemarrage; conclusion:on ne sait pas ce qui s'est passé

ZA/Montréal/Bureautique/JournalDesEvenements (dernière édition le 2012-09-11 14:19:59 par MoussaNombre)