Modifications entre les versions 17 et 18
⇤ ← Version 17 à la date du 2011-08-08 21:41:21 →
Taille: 3777
Éditeur: MoussaNombre
Commentaire:
← Version 18 à la date du 2011-08-09 13:50:08 → ⇥
Taille: 3804
Éditeur: MoussaNombre
Commentaire: Nouvelle macro : minipage, formatage dans un tableau
Texte supprimé. Texte ajouté.
Ligne 5: Ligne 5:
||08/08/2011||Plus aucun service||17h29||Constat : le serveur est simplement arrêté/éteint !!!||17h37||NM||Aug 8 17:25:58 nfs-authnss upsmon[3650]: UPS AUF_MTL1@vz-www.ca.auf on battery <<BR>> Aug 8 17:25:58 nfs-authnss upsmon[3650]: UPS AUF_MTL1@vz-www.ca.auf battery is low <<BR>> Aug 8 17:25:58 nfs-authnss upsmon[3650]: UPS AUF_MTL1@vz-www.ca.auf battery needs to be replaced <<BR>> Aug 8 17:25:58 nfs-authnss upsmon[3650]: FSD set on '''UPS AUF_MTL1@vz-www.ca.auf failed: ERR ACCESS-DENIED <<BR>> Aug 8 17:25:59 nfs-authnss upsmon[3650]: Executing automatic power-fail shutdown''' <<BR>> Aug 8 17:25:59 nfs-authnss upsmon[3650]: Auto logout and shutdown proceeding <<BR>> Aug 8 17:26:04 nfs-authnss shutdown[31502]: shutting down for system halt <<BR>> Aug 8 17:26:05 nfs-authnss init: Switching to runlevel: 0 <<BR>> '''CONCLUSION''' : un gros soucis sur l'onduleur 1|| ||08/08/2011||Plus aucun service||17h29||Constat : le serveur est simplement arrêté/éteint !!!||17h37||NM||<<MiniPage( * extrait de syslog\n * Aug 8 17:25:58 nfs-authnss upsmon[3650]: UPS AUF_MTL1@vz-www.ca.auf on battery\n * Aug 8 17:25:58 nfs-authnss upsmon[3650]: UPS AUF_MTL1@vz-www.ca.auf battery is low\n * Aug 8 17:25:58 nfs-authnss upsmon[3650]: UPS AUF_MTL1@vz-www.ca.auf battery needs to be replaced\n * Aug 8 17:25:58 nfs-authnss upsmon[3650]: FSD set on '''UPS AUF_MTL1@vz-www.ca.auf failed: ERR ACCESS-DENIED\n * Aug 8 17:25:59 nfs-authnss upsmon[3650]: Executing automatic power-fail shutdown'''\n * Aug 8 17:25:59 nfs-authnss upsmon[3650]: Auto logout and shutdown proceeding\n * Aug 8 17:26:04 nfs-authnss shutdown[31502]: shutting down for system halt\n * Aug 8 17:26:05 nfs-authnss init: Switching to runlevel: 0)>><<MiniPage( * '''CONCLUSION''' : un gros soucis sur l'onduleur 1)>>||

Journal des évènements des serveurs bureautique

NFS-AUTHNSS

08/08/2011

Plus aucun service

17h29

Constat : le serveur est simplement arrêté/éteint !!!

17h37

NM

* extrait de syslog

  • Aug 8 17:25:58 nfs-authnss upsmon[3650]: UPS AUF_MTL1@vz-www.ca.auf on battery
  • Aug 8 17:25:58 nfs-authnss upsmon[3650]: UPS AUF_MTL1@vz-www.ca.auf battery is low
  • Aug 8 17:25:58 nfs-authnss upsmon[3650]: UPS AUF_MTL1@vz-www.ca.auf battery needs to be replaced
  • Aug 8 17:25:58 nfs-authnss upsmon[3650]: FSD set on UPS AUF_MTL1@vz-www.ca.auf failed: ERR ACCESS-DENIED
  • Aug 8 17:25:59 nfs-authnss upsmon[3650]: Executing automatic power-fail shutdown
  • Aug 8 17:25:59 nfs-authnss upsmon[3650]: Auto logout and shutdown proceeding
  • Aug 8 17:26:04 nfs-authnss shutdown[31502]: shutting down for system halt
  • Aug 8 17:26:05 nfs-authnss init: Switching to runlevel: 0

* CONCLUSION : un gros soucis sur l'onduleur 1

18/07/2011

Serveur planté, NM et DS en vacances

Date/Time: Mon Jul 18 17:18:00 EDT 2011 / ** PROBLEM alert 1 - nfs-mtl host is DOWN **

Assistance téléphonique de NM suite à l'appel de VB : arrêt du serveur via l'interrupteur et redémarrage

Date/Time: Mon Jul 18 17:28:20 EDT 2011 / ** RECOVERY alert 2 - nfs-mtl host is UP **

VB/NM/CL/DB

Il n'y avait aucun affichage sur la console

06/07/2011

Serveur planté (mêmes symptômes qu'avant)

Date/Time: Tue Jul 5 22:46:30 EDT 2011 / ***** Nagios ***** / ** PROBLEM alert 1 - nfs-mtl host is DOWN **

Reboot serveur par DS

Date/Time: Wed Jul 6 07:57:40 EDT 2011 / ***** Nagios ***** / ** RECOVERY alert 2 - nfs-mtl host is UP **

DS

NM : Suite aux mises à jour de noyau la semaine dernière, le serveur au reboot est repassé au noyau 32bits, du coup les bugs sont revenus ==> modifier le menu.lst : Default 2
  • 11 mai 2011 
    • Récap des pannes successives
20 avr : 15h42 ... 1er "nfsd invoked oom-killer" suivi de "Out of memory: kill process 6330 (mysqld) score 38585 or a child"
03 mai : 15h46 ... idem
09 mai : ~20   ... haugmentation de la mémoire
10 mai : 15h15 ... idem
11 mai : 15h20 ... idem
11 mai : 17h28 ... installation noyau 64 bits
11 mai : 17h48-17h55 ... redémarrage du serveur sur le nouveau noyau

    • Les syslogs et les traces sont dans : /root/[PS-AUXW|MEMINFO|SYSLOG]

Date constat

Evenement

date début

Actions

date reprise service

Intervenants

Observations

10/05/2011 15h20

Constat : Internet inaccessible, résolution dns impossible, ... postes gelés ...
- sur la console : message "outof memory, killed mysql (ou autre) qui défile sans cesse

10/05/2011 ???

Reboot serveur

15h30

NM, DS et JC pour investigations

- C'est le second crash identique qui arrive : le premier était le 3 mai vers 15h46, et a conduit à l'augmentation de la RAM hier
- un premier crash avait eu lieu le 20 avril après 16h

09/05/2011

Augmentation de la mémoire : de 3.5GB à 14GB

09/05/2011 19h55

- installation de nouvelles barrettes
- installation du noyau Debian pour les bigmem

09/05/2011 21h15

NM

On a au total 14GB de mémoire ; pour ne pas accepter les 5GB de online spare proposé par le bios, nous avons carrement désactivé la redondance mémoire

19/01/2011

ouverture des sessions d'usagers impossible

19/01/2011 - 7h17

Redemarrage du serveur

19/01/2011 à 9h01

Darko Stanar

le ping fonctionnait; ssh non fonctionel ; impossible d'ouvrir la session local sur la console ; serveur gelé; aucun message dans le log: aucun trace depuis 7h17 jusqu'au redemarrage ; RAID 1 matériel contenant la partition /home resynchronisé après le redemarrage; conclusion:on ne sait pas ce qui s'est passé

ZA/Montréal/Bureautique/JournalDesEvenements (dernière édition le 2012-09-11 14:19:59 par MoussaNombre)