Mission : 17 au 28 novembre 2015 à Port-au-Prince

Quand

Quoi

Qui

Compte-rendu au jour le jour

Jour 1 : mercredi 18

[Matinée] :
* Réunion avec la Direction :
** peaufiner les derniers détails du planning de la mission
** point sur les ressources techniques du Bureau (notamment la connexion Internet, le projet de déménagement et le personnel informatique)
* Réunion technique avec LBM avant le début des travaux

NM/LBM/Direction

* NB : ce jour est férié en Haïti. Nous avons donc travaillé juste une demie-journée
* La réunion avec la Direction est reportée à jeudi

[Après-midi] NB : Il faudra fermer le CNF à compter de 14h
* modification des postes du CNF (désactivation de NFS, pam-mkhomedir, nettoyage tmp, quota ou partion séparée, etc)
* modification des comptes a-d-u : HOMEDIR=/home/tmp/username
* transfert des disques du serveur auth-nfs sur le serveur new-vz-bc (Attention : rm de udev/70-net) : auth-nfs devient super-bc
* remise en service du serveur auth-nfs (en fait new-vz-bc qui contient les disques du auths-nfs) (service d'authentification pour le CNF et dossiers partagés du personnel)

NM/LBM

* NFS désactivé sur les postes
** on garde le /home/username
** exit 0 dans /etc/default/autofs
** suppression du lien /home
** mkdir /home
** activer pam_mkhomedir (modif dans /etc/pam.d/common_session)
** nettoyage du /home à chaque démarrage des postes (rm -rf /home* dans /etc/rc.local)
* Pas touché aux serveurs; le nouveau serveur acheté à Montréal sera finalisé pour la prod.

Jour 2 : jeudi 19

[Matinée]
* installation des "disk-from-Mtl" dans super-bc
* installation de super-bc (installation dans le rack, connexion réseau, configuration switch vlan)

NM

* Arrivée au bureau : 8h45
* Rien n'a été installé dans le rack vu que les anciens serveurs y sont encore. On fera tout ça le week-end (sortir les anciens et mettre les nouveaux).
* les disques ont été installés dans le serveur. Mais, grosse surprise : encore une carte RAID physique impossible de désactiver ! Finalement, en raid0, ça marche, on arrive à booter sur les disques.
* J'ai passé énormément de temps à vouloir intégrer le super-bc et la vm passerelle dans le réseau actuel avec de "vraies" IP sans cassé la prod actuelle.
* On s'y attendait : il y a un soucis avec les bridges : rien ne sort n'y entre ! ... A REVOIR
* La vm de base pour voip est prête, reste à installer Asterisk 1.8 et migrer la config
* Réunion avec la Direction : point sur la présélections des candidats pour le poste de tech bureautique, procédures de sélection (entretien avec questions générales et techniques, pas de test écrit), présentation des éléments clés (changements à venir) de la mission, point sur les démarches en cours pour l’acquisition de la liaison Internet Digicel et l'augmentation du débit de Natcom

* installation du KVM-IP et du PCU (installation dans le rack et connexion aux serveurs

LBM

Reporté au week-end

[Après-midi]
* configuration du KVM-IP et du PCU

NM

Juste changé l'IP du KVM. Le PCU n'est pas encore installé, sera fait le week-end.

* installation du client owncloud 2.0 sur les postes du personnel (activer le filtre de limitation de téléchargement selon la taille)
* configuration de Déjà-Dup sur les postes du personnel
* désactiver l'accès NFS

LBM

* Config owncloud : OK
* Config DéjàDup : commencée ... À FINALISER

[Fin de journée - 15h] * lancer le transfert des données des partages NFS dans nuage.auf.org

LBM

* Déjà fait par NM depuis Montréal
* Départ du bureau : 15h30 !!! (suite à l'hôtel sur une connexion Internet qui marche tant bien que mal ... quel calvaire !!!)

Jour 3 : vendredi 20

* suite de la configuration des services parefeu, de la gestion des 2 liens Internet et de l'accès au RPV AUF

NM

Plutôt attardé sur la résolution des soucis de bridges. Heureusement la grosse expérience de ProgFou a permis de débloquer la situation rapidement (cf les échanges plus bas)
* (soir à l'hôtel) cette histoire de raid matériel risque de nous causer des soucis : j'ai remarqué que les disques sont vus finalement comme des /dev/mdabc (genre (/dev/md123 pour sda). Je n'ai pas réussi à mettre en place mon raid logiciel sur la 2ème paire de disques ... A REVOIR

* finalisation de la VM pfsense (reconfiguration des interfaces réseaux)

LBM

Fait par NM

* finalisation et mise en service de la Voip

LBM

Début de la conversion du CT asterisk18 en vm voip ... A FINALISER

* configuration des sauvegardes hors site (Duplicity) des serveurs

LBM

Reste le cas des VM (comment faire ???)

Jour 4 - samedi 21

* on récupère (offline) un des disques du RAID de super-bc pour le mettre sur super-bc-secours
* mise en production de la nouvelle infrastructure
* test de la bascule d'un lien Internet à l'autre

NM/LBM

* Finalisation des règles de filtrage
* Malgré mes mises en garde et mon désaccord, des travaux de câblage pour le déménagement de la salle serveurs ont commencé au même moment où je devais mettre en prod la nouvelle infra. Du coup 2 équipes qui se télescopent, des câbles et des goulottes partout, moi qui suis obligé d'intervenir dans ces travaux ... difficile de travailler sereinement et d'avancer comme prévu !
* Tant bien que mal : les anciens serveurs sont démontés et sortis du rack
* je démonte une porte et une partie de son cadre pour faire passer le rack dans son nouveau local
* installation du nouveau serveur, du pcu et du kvm
* j'arrive, en jonglant (le câblage n'est pas fini), à brancher les câbles réseaux au serveur pour les premiers tests en vrais (bonnes IP aux bonnes places) et pour pouvoir travailler de l'hôtel
* longue journée : 8h40 à 18h

Jour 5 - dimanche 22

* La journée commence super bien :
** vu que j'ai changé de chambre la nuit (encore) et que cela n'a pas été consigné, le chauffeur m'attend pendant 30min parceque le consiège n'a fait qu'appeler mon ancienne chambre
** on arrive au bureau et surprise tout est fermé et celui qui a la clé a fait une crevaison
** conclusion : la belle journée commence à 10h !
** Ah ! J'oubliais : coupure d'électricité ~8h15 à 11h46.
* Encore du temps passé sur cette question de RAID matériel, à tenter encore une fois, de le désactiver pour finalement ne pas y arriver. L'idée était d'éviter d'avoir 2 couches de RAID (le matériel et le logiciel fait depuis Montréal). Du coup, on verra donc comment monter des disques en RAID matériel et transférer tout le système.
* Par la suite, on procède aux tests pour vérifier chacun des services et procéder aux ajustements (dhcp, dns, surtout parefeu, cnf, réseau du personnel, etc.)
* Le câblage continue mais ne sera pas finalisé. RDV mardi pour la suite
* Il faut corriger libnss sur tous les postes pour modifier l'IP du serveur mysql. Et comme on a oublié de copier la clé privée du root, LBM passe sur tous les postes et moi je rebranche l'ancien NFS pour récupérer ce qu'il faut.
* La vm voip préparée par LBM n'est pas complète : il manque tous les fichiers de config. Pour aller au plus rapide (il commence à se faire tard et il faut rentrer), je rebranche l'ancien serveur vz-bc et je transfert le ct voip (lenny asterisk 1.4) en vm. J'arrête sur un soucis d'installation de noyau, on verra la suite demain.
* Nous quittons le bureau à 19h16 en laissant la salle serveurs en état de chantier, certains bureau ne sont pas raccordés au réseau, la voip n'est pas fonctionnelle, le portail captif non plus, le switch vlan central est quelque part sur une chaise haute avec des câbles qui pendent partout, etc. etc.

Jour 6 - lundi 23

* gestion des éventuels soucis découlant des changements effectués
* assistance générale :
** impossibilité d'utiliser nos lignes téléphoniques fixes pour appeler l'international
** la connexion des ordinateurs à un réseau wifi empêche de profiter simultanément de la connexion internet et de l'accès aux fichiers (je sais, ça semble bizarre mais Beethoven sait de quoi je parle...)
** Divers

NM/LBM

Journée principalement consacrée aux entretiens de sélection pour le poste de tech bureautique.
* Entre 2 entretiens : je désactive le squid (paquet installé mais non configuré) pour permettre aux abonnés d'avoir Internet
* Je finalise la vm voip (pas de noyau, elle utilisera celle de l'hôte, en attendant de passer en Wheezy)
* Travaux sur ipsecd : marche toujours pas
* Connexion du wifi-auf : on se connecte bien au wifi, mais on n'a pas Internet
* Suite à l'hôtel :
** Pfsense réglé : le gateway spécifié était encore l'ancienne IP du parefeu, de même que le dns.A VALIDER
** on attaque ipsecd ...

Jour 7 - mardi 24

* suite assistance
* finalisation du serveur secours

NM

* Finalement ni le captif, ni ipesecd n'étaient réglé
* Suite et fin des entretiens dans la matinée
* Digicel a commencé a installer le nouveau lien (fibre optique)
* le câbleur arrive finalement à 15h ; il doit aussi installé le nouveau coffret pour les switchs
* Début des travaux avec JC pour résoudre les problèmes bloquants (ipsecd, raid et lenteur de la vm passerelle)
* Les travaux vont se poursuivre (JC chez lui à la maison et moi à l'hôtel) jusqu'à tard (~23h) et seront couronnés de succès : les 3 soucis sont résolus
* ipsecd : il manquait la route vers le 10.0.0.0/8 (il y avait une erreur dans la config /etc/network/interfaces), un eth0.100 trainait encore quelque part
* RAID : les nouveaux disques ont été partitionnés et ajoutés au raid logiciel en aggrandissant les volumes; et la synchro automatique s'est lancée. Reste plus qu'à enlever ces anciens disques plus tard
* lenteur : elle était due au fait que la vm avait été créée sur un serveur AMD et maintenant roule sur du Xéon. Nous avons donc créer une nouvelle vm en utilisant le même disque
* Modification dans la voip : intégrer les config du goip dans le ficher extensions-pstn.local et résoudre le problème des appels internationaux qui ne passent pas A VALIDER

* retrait et mise au rencart des serveurs inutilisés (old vz-bc, backup, boukman)

LBM

Jour 8 - mercredi 25

* mise à jour de la documentation globale (mise à jour du wiki)
* rédaction d'une procédure de bascule en cas de panne du serveur principal

NM

* Le câblage étant terminé (enfin, presque), je fais du ménage dans la salle, brasse les câbles dans la baie. Je perd encore du temps à brancher les câbles du rack serveur car le bon monsieur n'a pas identifié les prises et manifestement ne les a pas correctement serti, mais aussi parce que notre serveur qu'on pensait up, n'avait pas démarré !
* Après le ménage, le serveur a été relancé, mais au fond n'a pas démarré en mentionnant une duplication de volume raid. Voila de quoi gâcher une journée qui s'annoncait parfaite suite aux déblocage effectués la nuit
* Activer, déseactiver le raid matériel, démarrer, redemarrer, booter, rebooter sur clé USB, construire, reconstruire les raid, google, regoogle ...
* Finalement, on commence à préparer le plan B : installer un disques de Montréal sur l'ancien auth-nfs. Mais même là : beaucoup de peine pour démonter le disque, les vis sont foirées !. On réussi à démarrer, mais comme je m'y attendais le probléme n'était plus le raid matériel.
* Il faut juste trouver comment modifier l'info du raid inscrite sur les disques ; mais galère ! et re-galère ... tout l'après-midi
* un sos rapide à JC et hop la solution était là : dpkg-reconfigure mdadm après avoir modifié /etc/mdadm.conf. Le serveur (secours) démarre correctement après ça.
* Je décide de garder le secours en fonction, le temps de refaire les configs sur le nouveau serveur sans activer le hw-raid.

* réunion de synthèse avec la Direction

NM/LBM/Direction

Jour 9 - jeudi 26

Entretiens et tests de recrutement d'un technicien

NM/LBM/JPM

* On commence la matinée par établir une todo-list pour LBM : vérifier les câblages, brancher/corriger ce qu'il faut, installer Trusty sur les postes du CNF
* Je modifie donc le mdadm.conf du second disque et je relance le nouveau serveur. Je partitionne un nouveau disques (aucun hw-raid) et je l'ajoute à mon soft-raid. Après la synchro et la mise à jour de grub, j'essaie de booter sur mon nouveau disque : échec ! il n'est pas vu au boot ! Misère !
* Bon, on va tout reprendre : configurer un hw-raid1, installé Debian et synchroniser données et configs depuis l'autre serveur.
* parallèlement d'autres choses : portail captif, mise à jour des virtualhost apache, assistance, quelques correction dans le parefeu, correction d'un bug dans la voip, ajout des extensions vers les téléphones mobiles ...
* En début d'après-midi, réunion du personnel : présentation des changements opérés lors de nos travaux, présentation de DéjàDup et du client owncloud, annonce de la mise en place des N° raccourcis pour appeler les collègues sur leur mobile via le téléphone fixe en passant par le goip.
* Reparlons raid : je n'ai pas eu plus de succès. Lors de l'install les disques hw-raid ne sont pas détecté par Debian :(, même si on les voit dans le shell avec un fdisk -l. Je télécharge un nouvel iso intégrant les firmeware non-free, mais rien à faire, pas de disques détectés ! suite le lendemain
* LBM commence la config de DéjàDup sur les postes du personnel.
* Je suis invité le soir à dîner avec le Directeur et l'Administrateur (à leur propre frais) ; un point des travaux est fait entre plusieurs bouchées de lambi et de crevettes.

Jour 10 - vendredi 27

* Je re-essais, refais plusieurs trucs sans succès. Après quelques recherches sur Internet, je trouve une doc qui explique comment faire ; malheureusement, je n'ai plus de temps pour tout ça. Je décide de ramener le serveur à Montréal. Surtout que mon cher ami Beethoven n'a plus ou pas confiance en cette machine ; je sens que tout les prétextes seront bons pour tout mettre sur le dos de cette machine en cas de soucis.
* LBM termine la configs de DéjàDup
* Un peu d'assistance aux utilisateurs
* Je demande à LBM de contacter JC pour les configs preseed et de procéder aux tests d'installation de Trusty. Ils travaillenet donc ensemble jusqu'à la fin de la journée. JC finalise les tests après notre départ
* je reçois le candidat retenu pour le poste de tech bureautique : je le met tout de suite dans le bain des travaux en cours, je lui présente l'AUF, l'ARI, la technique au BC, ce que j'attendais de lui, nos moyens de communications, etc.
* je démonte le serveur du rack et le fais emballer
* On finalise le branchement des câbles du serveur et du kvmip (le tech est passé terminer les prises et les identifier.
* je lance le script de routage vers la seconde ligne Internet et branche l'arrivée de la ligne sur le vlan correspondant. Les tests sont concluants. Il ne reste plus qu'à mettre en place le mécanisme de bascule automatique
* On ressort le serveur initialement prévu pour être secours. Je le mets dans le rack. On y met un des disques du raid (retiré du serveur de prod) mais au boot, on tombe sur "grub rescue>", zut, j'ai oublier de refaire le grub après la synchro raid :(. Mais plus le temps de corriger, il se fait tard, nous devons quitter le bureau. J'essais (depuis l'hotel) d'apporter la correction avec le shell grub, mais bien sûr impossible : tous les outils necessaires ne sont pas présents (raid, lvm).

Jour 11 - samedi 28

Retour à Montréal

NM

* Je plis bagages, direction aéroport international Toussaint Louverture pour Montréal via Miami.