Sommaire

  1. Mission : 17 au 28 novembre 2015 à Port-au-Prince
    1. Objectifs principaux
    2. Travaux préliminaires
    3. Planning et compte-rendu
    4. Schémas de l'infrastructure
    5. Besoin en matériel
    6. Annexes
      1. Échanges avec JC sur les soucis de bridges

Mission : 17 au 28 novembre 2015 à Port-au-Prince

Dates

<< <  2015 / 11 >  >>
Lun Mar Mer Jeu Ven Sam Dim
            1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30            

Objectifs principaux

NB :

  1. il faudra prévoir de travailler les samedi et dimanche de la mission afin de procéder à la mise en production de la nouvelle infrastructure (arrêts et redémarrages des serveurs) sans perturber les collègues et les abonnés.

  2. informer les abonnés des changements à venir (ils n'auront plus d'espace de stockage sur les machines) et les mesures d'accompagnement (à préciser et mettre en place)

  3. prévoir la fermeture du CNF le Jour 1 à partir de 14h (une heure plus tôt que d'habitude) : modification à apporter aux postes et au serveur.

Les sauvegardes :

  1. Il n'y aura aucune sauvegarde des postes public (CNF), cf NB 2 ci-dessus

  2. Les postes du personnel seront sauvegardés vers un espace disque sur super-bc via Déjà-Dup (installé par défaut sur nos postes).

    • Ce qui donne, au passage, une grande autonomie au personnel sur leurs données et les besoins restaurations en cas de nécessité.
    • Du coup, on n'a plus besoin du serveur de sauvegarde
    • [Faire une sauvegarde des clés de chiffrement]
  3. La sauvegarde des serveurs se fera vers Montréal (OVH) durant la nuit (aucun impact pour les utilisateurs le jour)

Travaux préliminaires

Planning et compte-rendu

Quand

Quoi

Qui

Compte-rendu au jour le jour

Jour 1 : mercredi 18

[Matinée] :
* Réunion avec la Direction :
** peaufiner les derniers détails du planning de la mission
** point sur les ressources techniques du Bureau (notamment la connexion Internet, le projet de déménagement et le personnel informatique)
* Réunion technique avec LBM avant le début des travaux

NM/LBM/Direction

* NB : ce jour est férié en Haïti. Nous avons donc travaillé juste une demie-journée
* La réunion avec la Direction est reportée à jeudi

[Après-midi] NB : Il faudra fermer le CNF à compter de 14h
* modification des postes du CNF (désactivation de NFS, pam-mkhomedir, nettoyage tmp, quota ou partion séparée, etc)
* modification des comptes a-d-u : HOMEDIR=/home/tmp/username
* transfert des disques du serveur auth-nfs sur le serveur new-vz-bc (Attention : rm de udev/70-net) : auth-nfs devient super-bc
* remise en service du serveur auth-nfs (en fait new-vz-bc qui contient les disques du auths-nfs) (service d'authentification pour le CNF et dossiers partagés du personnel)

NM/LBM

* NFS désactivé sur les postes
** on garde le /home/username
** exit 0 dans /etc/default/autofs
** suppression du lien /home
** mkdir /home
** activer pam_mkhomedir (modif dans /etc/pam.d/common_session)
** nettoyage du /home à chaque démarrage des postes (rm -rf /home* dans /etc/rc.local)
* Pas touché aux serveurs; le nouveau serveur acheté à Montréal sera finalisé pour la prod.

Jour 2 : jeudi 19

[Matinée]
* installation des "disk-from-Mtl" dans super-bc
* installation de super-bc (installation dans le rack, connexion réseau, configuration switch vlan)

NM

* Arrivée au bureau : 8h45
* Rien n'a été installé dans le rack vu que les anciens serveurs y sont encore. On fera tout ça le week-end (sortir les anciens et mettre les nouveaux).
* les disques ont été installés dans le serveur. Mais, grosse surprise : encore une carte RAID physique impossible de désactiver ! Finalement, en raid0, ça marche, on arrive à booter sur les disques.
* J'ai passé énormément de temps à vouloir intégrer le super-bc et la vm passerelle dans le réseau actuel avec de "vraies" IP sans cassé la prod actuelle.
* On s'y attendait : il y a un soucis avec les bridges : rien ne sort n'y entre ! ... A REVOIR
* La vm de base pour voip est prête, reste à installer Asterisk 1.8 et migrer la config
* Réunion avec la Direction : point sur la présélections des candidats pour le poste de tech bureautique, procédures de sélection (entretien avec questions générales et techniques, pas de test écrit), présentation des éléments clés (changements à venir) de la mission, point sur les démarches en cours pour l’acquisition de la liaison Internet Digicel et l'augmentation du débit de Natcom

* installation du KVM-IP et du PCU (installation dans le rack et connexion aux serveurs

LBM

Reporté au week-end

[Après-midi]
* configuration du KVM-IP et du PCU

NM

Juste changé l'IP du KVM. Le PCU n'est pas encore installé, sera fait le week-end.

* installation du client owncloud 2.0 sur les postes du personnel (activer le filtre de limitation de téléchargement selon la taille)
* configuration de Déjà-Dup sur les postes du personnel
* désactiver l'accès NFS

LBM

* Config owncloud : OK
* Config DéjàDup : commencée ... À FINALISER

[Fin de journée - 15h] * lancer le transfert des données des partages NFS dans nuage.auf.org

LBM

* Déjà fait par NM depuis Montréal
* Départ du bureau : 15h30 !!! (suite à l'hôtel sur une connexion Internet qui marche tant bien que mal ... quel calvaire !!!)

Jour 3 : vendredi 20

* suite de la configuration des services parefeu, de la gestion des 2 liens Internet et de l'accès au RPV AUF

NM

Plutôt attardé sur la résolution des soucis de bridges. Heureusement la grosse expérience de ProgFou a permis de débloquer la situation rapidement (cf les échanges plus bas)
* (soir à l'hôtel) cette histoire de raid matériel risque de nous causer des soucis : j'ai remarqué que les disques sont vus finalement comme des /dev/mdabc (genre (/dev/md123 pour sda). Je n'ai pas réussi à mettre en place mon raid logiciel sur la 2ème paire de disques ... A REVOIR

* finalisation de la VM pfsense (reconfiguration des interfaces réseaux)

LBM

Fait par NM

* finalisation et mise en service de la Voip

LBM

Début de la conversion du CT asterisk18 en vm voip ... A FINALISER

* configuration des sauvegardes hors site (Duplicity) des serveurs

LBM

Reste le cas des VM (comment faire ???)

Jour 4 - samedi 21

* on récupère (offline) un des disques du RAID de super-bc pour le mettre sur super-bc-secours
* mise en production de la nouvelle infrastructure
* test de la bascule d'un lien Internet à l'autre

NM/LBM

* Finalisation des règles de filtrage
* Malgré mes mises en garde et mon désaccord, des travaux de câblage pour le déménagement de la salle serveurs ont commencé au même moment où je devais mettre en prod la nouvelle infra. Du coup 2 équipes qui se télescopent, des câbles et des goulottes partout, moi qui suis obligé d'intervenir dans ces travaux ... difficile de travailler sereinement et d'avancer comme prévu !
* Tant bien que mal : les anciens serveurs sont démontés et sortis du rack
* je démonte une porte et une partie de son cadre pour faire passer le rack dans son nouveau local
* installation du nouveau serveur, du pcu et du kvm
* j'arrive, en jonglant (le câblage n'est pas fini), à brancher les câbles réseaux au serveur pour les premiers tests en vrais (bonnes IP aux bonnes places) et pour pouvoir travailler de l'hôtel
* longue journée : 8h40 à 18h

Jour 5 - dimanche 22

* La journée commence super bien :
** vu que j'ai changé de chambre la nuit (encore) et que cela n'a pas été consigné, le chauffeur m'attend pendant 30min parceque le consiège n'a fait qu'appeler mon ancienne chambre
** on arrive au bureau et surprise tout est fermé et celui qui a la clé a fait une crevaison
** conclusion : la belle journée commence à 10h !
** Ah ! J'oubliais : coupure d'électricité ~8h15 à 11h46.
* Encore du temps passé sur cette question de RAID matériel, à tenter encore une fois, de le désactiver pour finalement ne pas y arriver. L'idée était d'éviter d'avoir 2 couches de RAID (le matériel et le logiciel fait depuis Montréal). Du coup, on verra donc comment monter des disques en RAID matériel et transférer tout le système.
* Par la suite, on procède aux tests pour vérifier chacun des services et procéder aux ajustements (dhcp, dns, surtout parefeu, cnf, réseau du personnel, etc.)
* Le câblage continue mais ne sera pas finalisé. RDV mardi pour la suite
* Il faut corriger libnss sur tous les postes pour modifier l'IP du serveur mysql. Et comme on a oublié de copier la clé privée du root, LBM passe sur tous les postes et moi je rebranche l'ancien NFS pour récupérer ce qu'il faut.
* La vm voip préparée par LBM n'est pas complète : il manque tous les fichiers de config. Pour aller au plus rapide (il commence à se faire tard et il faut rentrer), je rebranche l'ancien serveur vz-bc et je transfert le ct voip (lenny asterisk 1.4) en vm. J'arrête sur un soucis d'installation de noyau, on verra la suite demain.
* Nous quittons le bureau à 19h16 en laissant la salle serveurs en état de chantier, certains bureau ne sont pas raccordés au réseau, la voip n'est pas fonctionnelle, le portail captif non plus, le switch vlan central est quelque part sur une chaise haute avec des câbles qui pendent partout, etc. etc.

Jour 6 - lundi 23

* gestion des éventuels soucis découlant des changements effectués
* assistance générale :
** impossibilité d'utiliser nos lignes téléphoniques fixes pour appeler l'international
** la connexion des ordinateurs à un réseau wifi empêche de profiter simultanément de la connexion internet et de l'accès aux fichiers (je sais, ça semble bizarre mais Beethoven sait de quoi je parle...)
** Divers

NM/LBM

Journée principalement consacrée aux entretiens de sélection pour le poste de tech bureautique.
* Entre 2 entretiens : je désactive le squid (paquet installé mais non configuré) pour permettre aux abonnés d'avoir Internet
* Je finalise la vm voip (pas de noyau, elle utilisera celle de l'hôte, en attendant de passer en Wheezy)
* Travaux sur ipsecd : marche toujours pas :(
* Connexion du wifi-auf : on se connecte bien au wifi, mais on n'a pas Internet A REVOIR

Jour 7 - mardi 24

* suite assistance
* finalisation du serveur secours

NM

* retrait et mise au rencart des serveurs inutilisés (old vz-bc, backup, boukman)

LBM

Jour 8 - mercredi 25

* mise à jour de la documentation globale (mise à jour du wiki)
* rédaction d'une procédure de bascule en cas de panne du serveur principal

NM

* réunion de synthèse avec la Direction

NM/LBM/Direction

Jour 9 - jeudi 26

Entretiens et tests de recrutement d'un technicien

NM/LBM/JPM

Jour 10 - vendredi 27

Jour 11 - samedi 28

départ pour Montréal

NM

Réinstallation des postes clients en Trusty

Schémas de l'infrastructure

schémas avant et après

Infra Tech 3.0

Besoin en matériel

Annexes

Échanges avec JC sur les soucis de bridges

(13:01:51) moussa.nombre@auf.org/3277039268144837733412656: je suis embourbé dans cette histoire d'interfaces/ponts
(13:02:39) moussa.nombre@auf.org/3277039268144837733412656: hier nuit, finalement tout était bien, mes interfaces de passerelle fonctionnaient
(13:02:54) moussa.nombre@auf.org/3277039268144837733412656: j'y avait accès depuis le lan
(13:03:24) moussa.nombre@auf.org/3277039268144837733412656: et là ce matin, j'arrive au bureau, il y a eu panne de courant, tout a rebooté, et pouf plus rien ne marche
(13:03:28) moussa.nombre@auf.org/3277039268144837733412656: bizarre
(13:04:42) Progfou : ok
(13:04:46) moussa.nombre@auf.org/3277039268144837733412656: dès que tu as 1 minute ...
(13:04:51) Progfou : donc je dirais : forwarding
(13:05:03) Progfou : filtrages sur les bridges
(13:05:08) Progfou : rp_filter
(13:05:11) Progfou : choses de ce genre

(13:06:29) moussa.nombre@auf.org/3277039268144837733412656: 
root@super-bc:~# cat /etc/sysctl.d/local.conf 
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0
net.ipv6.conf.all.disable_ipv6 = 1
root@super-bc:~#
(13:11:17) Progfou : vérifies que c'est effectivement actif
(13:11:44) Progfou : car j'avais eu des soucis avec le sysctl -p qui n'appliquait pas mes config' dans /etc/sysctl.d/ (qui est pourtant la bonne place)
(13:12:13) Progfou : (vérifier = grep . /proc/sys/net/bridge/bridge-nf-call-*)
(13:12:46) moussa.nombre@auf.org/3277039268144837733412656: ah ha !
(13:12:53) moussa.nombre@auf.org/3277039268144837733412656: 
root@super-bc:~# sysctl -a | grep bridge
net.bridge.bridge-nf-call-arptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-filter-pppoe-tagged = 0
net.bridge.bridge-nf-filter-vlan-tagged = 0
net.bridge.bridge-nf-pass-vlan-input-dev = 0

root@super-bc:~# grep . /proc/sys/net/bridge/bridge-nf-call-*
/proc/sys/net/bridge/bridge-nf-call-arptables:1
/proc/sys/net/bridge/bridge-nf-call-ip6tables:1
/proc/sys/net/bridge/bridge-nf-call-iptables:1

(13:13:19) Progfou : ok
(13:13:53) moussa.nombre@auf.org/3277039268144837733412656: faut les déplacer dans le sysctl.conf alors ?
(
(13:14:37) Progfou : oui, mets les dans le principal en attendant de comprendre pourquoi ça se fait pas en dessous

(13:14:52) Progfou : ou sinon mets des appels sysctl dans ton script firewall
(13:15:09) Progfou : ce sera peut-être plus robuste en cas d'upgrade

(13:15:32) moussa.nombre@auf.org/3277039268144837733412656: aurais-tu un exemple pour moi
(
(13:16:06) Progfou : sysctl -w net.bridge.bridge-nf-call-arptables=1

(13:16:36) Progfou : sysctl -w net/bridge/bridge-nf-call-arptables=1
(13:17:01) Progfou : l'intérêt c'est que tu peux copier-coller depuis un chemin parcouru dans le shell (en retirant juste le préfixe /proc/sys/)

(13:21:30) moussa.nombre@auf.org/3277039268144837733412656: comme d'hab : tu es un génie :)
(13:21:48) moussa.nombre@auf.org/3277039268144837733412656: ça  marche tout de suite :)
(13:21:52) moussa.nombre@auf.org/3277039268144837733412656: ouf ouf ouf