Il s'agit ici de “monter” un cluster, composé de 1 ou plusieurs nano-ordinateurs, avant l'installation de docker (/home/docker).
¶ Nano-Ordinateurs
¶ OS
¶ Les variables d'environnement
- Possibilité de passer les variables dans les docker config file
- Eviter les redondances de variables
- Déploiement possible du même docker-compose (
docker-stack)par docker stack deploy ou par un template d'application de Portainer
Elles sont préfixées par ENV_
Solution retenue :
¶ Déclaration sur l'hôte/etc/environment
- Toutes variables exposés dans le docker-compose sous forme
${ENV_}quelle que soit leur portée (cocooning, cluster, hôte)- A définir également dans le template de portainer pour être initialisées au déploiement.
- Réinitialisées lors d'un reboot
# Globales à cocooning
ENV_SS_DOMAIN=
ENV_ADMIN_LOGIN=
ENV_ADMIN_PASSWORD=
ENV_TZ=
# Globales au cluster
ENV_SYSLOG_IP=
ENV_NFS_IP=
ENV_DDCLIENT_NODE_DEPLOY=
# Spécifiques à l'hôte
ENV_GID=
ENV_UID=
ENV_ZABBIX_AGENT_PORT=¶ Commandes utiles
printenv | grep ENV_
compgen | grep ENV_
export ENV_name=VALUE
unset ENV_name¶ Stocker des variables
sudo nano /etc/environment¶ Exporter les variables stockées
for line in $( cat /etc/environment ) ; do export $line ; done¶ Supprimer des variables avec des jokers du fichier /etc/environment
sudo sed -i '/^ENV_.*/d' /etc/environment¶ Supprimer des variables exportées
for var in $(env | grep -E '^ENV_'); do unset ${var%%=*}; done¶ Déclaration dans la section des variables d'application env_file
- Variables plus ou moins sensibles
- Utilisées dans les environnement de production et de développement (Ex
ddclient_dev.env)- Spécifiques à cocooning
- Spécifique au cluster.
Les variables sont stockées dans des file_name.envsitués :
- sur l'hôte
/.cocooning/data/environment - et dans le container portainer serveur sous forme de volume (bind)
/.cocooning/data/environment.
¶ Structure de l'hôte
¶ Déclaration dans la section environment:
- Variables spécifiques à l'hôte
${ENV_}
¶ Network
¶ Network manager - DHCP
sudo nano /etc/dhcpcd.conf
# IP fixe
interface eth0
static ip_address=192.168.1.101/24
static routers=192.168.1.1
static domain_name_servers=192.168.1.1
# redemarrer le service /
sudo service dhcpcd restart¶ Modifier le hostname
# Changer le hostname (master1, worker1...) /
sudo nano /etc/hostname
# Ajouter un hostname (master1, worker1...) /
sudo nano /etc/hosts
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
`127.0.1.1 worker1`
¶ Network manager - Netplan
¶ Le stockage
¶ Serveur NFS
¶ Coté serveur
- Installer les paquets (si absents)
sudo apt-get install nfs-kernel-server -y
- Créez une table d'export NFS
sudo nano /etc/exports
- Copier/coller/modifer les chemins ci-dessous
/.cocooning/data 192.168.1.100/24(rw,no_root_squash,async,no_subtree_check)
Créer autant de lignes que de répertoires à partager {.is-info}
- Mettre à jour la table nfs
sudo exportfs -ra
- Ouvrez les ports utilisés par NFS.
Pour savoir quels ports NFS utilise, entrez la commande suivante:
sudo rpcinfo -p | grep nfs
- Ouvrez les ports générés par la commande précédente.
sudo ufw allow 2049
- Relancer le service
sudo service nfs-kernel-server reload
¶
¶ Montage de volumes Fstab
¶ Pré-requis
- Formater le disque avec
gpartedet affecter le labeldataà la partition primaire ext4 créée
A simplifier
- Repérer le disque et créer le répertoire .data à la racine
sudo fdisk -l # liste les partitions sudo blkid # liste les UUID et Labels sudo mkdir /media/data # créer le repertoire de montage temporaire sudo mount -t ext4 /dev/sda1 /media/data # Système de fichiers en ext4 sudo mkdir /media/data/.cocooning/data cd /media/data ls -a # pour vérifier la création du répertoire .data sudo umount /dev/sda1 # demonter la partition
{.is-warning}
- Créer le répertoire
/.cocooning/datasur chaque noeud
sudo mkdir /.cocooning
sudo mkdir /.cocooning/data
- monter les volumes
sudo nano /etc/fstab
- Copier/ajouter/modifier
LABEL=data /.cocooning/data ext4 defaults 0 2
- rebbot du système
sudo reboot
¶ Installation de docker-ce
¶ Prérequis
- Le cluster doit être "monté" (/home/materiel)
- Disposer des variables d'environnement sur chaque hote (/home/materiel)
- Supprimer une ancienne version de docker si elle existe
¶ Installation
ATTENTION ne pas installer docker-compose pour le moment. Son installation provoque la réinstallation de docker (version du dépôt de l'OS)
Si echec de l'install, vérifier les dépots /etc/apt/sources.list.d et sources.list
sudo su
cd /home/tchube
curl -fsSL https://get.docker.com -o get-docker.sh
- Installer la dernière version
sudo sh get-docker.sh --channel stable¶ Ordre de déploiement
¶ Network
Utilisation de Vscode possible après installation de ddclient
- portainer
- certbot
- haproxy
zigbee -> mosquitto
- mosquitto
- dmp
- zigbee
Hassio -> database
- mariadb, postgres (pour hassio)
- hassio
Monitoring (sur tchube)
syslog -> telegraf -> influxdb1 -> grafana
L'ordre de création :
- influxdb1 (sur tchube uniquement)
- telegraf (host, syslog)
- syslog
- grafana (sur tchube uniquement)
telegraf - influxdb2 -> grafana
- grafana
- infuxdb2
- telegraf
¶ Désinstallation d'une version existante
- Sur chaque hote du cluster (worker)
docker swarm leave
- Désinstaller les paquets "docker"
Ajuster la ligne de commande ci-dessous en fct des erreurs
sudo apt-get purge docker.io docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
- Supprimer le répertoire /var/lib/docker/ (suppression des images, des conteneurs, des volumes des réseaux).
sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd