[Raspberry Pi 3] Créer un raid logiciel puis faire un nas

En cette période de confinement je m’amuse avec mon Raspberry Pi.
et pourquoi pas faire un NAS pour partager des fichiers avec tous les devices.

Il faut pas grand chose, 2 disques (externe ou interne+boîtier) et un Raspberry

Modèle: Seagate Barracuda
Nombre: 2
Volumétrie: 1GO chacun (utiliser des disques de meme taille)
Type : SATA II
Format: 3,5 pouce (interne)
Baie disques Inateck (FD2005) -> https://www.amazon.fr/Inateck-Station-daccueil-Capacit%C3%A9-Compatible/dp/B06XYJSR8B

J’opte pour du raid 1, plus sécure quand a la perte d’un disque

Pour rappel
Raid 0
Minimum: 2 disques
Avantage: Performance
Inconvénient: La panne d’un des deux disques entraîne la perte de toutes les données de la baie.

Raid 1
Minimum: 2 disques
Avantage: Redondance
Inconvénient: les disques se répliquent, on perd donc la moitié de l’espace disque sur la totalité.

Il existe d’autres raid 5,10,50 … mais restons modeste, on parle de deux disques !

Préparation de l’environnement

• Mise a jour du système

$ sudo apt update && sudo apt upgrade

• Installation de quelques outils

$ sudo apt install vim

• Installation des paquets nécessaires

$ sudo apt install mdadm samba samba-common cifs-utils

/!\ Si l’erreur ci dessous se produit, faire un sudo apt-get update et relancer la l’installation du paquet

E: Impossible de récupérer http://raspbian.raspberrypi.org/raspbian/pool/main/g/gnutls28/libgnutls-dane0_3.6.7-4+deb10u2_armhf.deb  404  Not Found [IP : 93.93.128.193 80]
E: Impossible de récupérer certaines archives, peut-être devrez-vous lancer apt-get update ou essayer avec --fix-missing ?

Ajout des disques

• Raccorder les 2 disques au Raspberry Pi

Avec la commande dmesg on voit que les deux disques sont bien reconnus, sda et sdb

$ dmesg

lsblk permet de lister tous les devices
Nous retrouvons les deux disques durs sda et sdb,
ainsi que la carte sd qui se nomme mmcblk0 et ces 2 partitions mmcblk0p1 (/boot) et mmcblk0p2 (/)

$ lsblk

Création du Raid

• Utilisation du binaire mdadm 

$ sudo mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sda /dev/sdb

mdadm: /dev/sda appears to be part of a raid array:
       level=raid1 devices=2 ctime=Sun Apr  5 13:06:31 2020
mdadm: partition table exists on /dev/sda but will be lost or
       meaningless after creating array
mdadm: Note: this array has metadata at the start and
    may not be suitable as a boot device.  If you plan to
    store '/boot' on this device please ensure that
    your boot-loader understands md/v1.x metadata, or use
    --metadata=0.90
mdadm: /dev/sdb appears to be part of a raid array:
       level=raid1 devices=2 ctime=Sun Apr  5 13:06:31 2020
mdadm: partition table exists on /dev/sdb but will be lost or
       meaningless after creating array

Valider la création du raid

Continue creating array? y

mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.

Dans le détail
/dev/md0 : volume raid
level=1 : type de raid
raid-devices=2 : nombres de périphériques
/dev/sda /dev/sdb : disque 0 et 1

Pour voir l’état de la synchronisation du raid

$ cat /proc/mdstat

Personalities : [raid1]
md0 : active raid1 sdb[1] sda[0]
      976630464 blocks super 1.2 [2/2] [UU]
      [>....................]  resync =  1.5% (14787904/976630464) finish=1148.9min speed=13952K/sec
      bitmap: 8/8 pages [32KB], 65536KB chunk

unused devices:

La synchro prend du temps en fonction de la volumétrie, cela n’empêche pas de formater les disques et de les utiliser.
On peut voir la ligne resync qu’il est a 1.5% avec une estimation de fin a 1148 minutes et une vitesse de 13952K/sec !

Pour une vue plus détaillé sur l’état du raid, on y voit le statut active, resyncing

$ sudo mdadm -D /dev/md0

/dev/md0:
           Version : 1.2
     Creation Time : Sun Apr  5 15:42:10 2020
        Raid Level : raid1
        Array Size : 976630464 (931.39 GiB 1000.07 GB)
     Used Dev Size : 976630464 (931.39 GiB 1000.07 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Sun Apr  5 16:23:30 2020
             State : active, resyncing
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : bitmap

     Resync Status : 3% complete

              Name : srv-test.izero.fr:0  (local to host srv-test.izero.fr)
              UUID : abc21849:066ec396:598fc588:813fc137
            Events : 1598

    Number   Major   Minor   RaidDevice State
       0       8        0        0      active sync   /dev/sda
       1       8       16        1      active sync   /dev/sdb

Création et montage du système de fichiers

• Utilisation du binaire mkfs

Il faut maintenant créer le système de fichiers avec la commande mkfs.
il y a différents types de formats, ext2, ext3, ext4, swap, fat, ReiserFS …
Pour la comparaison voir https://doc.ubuntu-fr.org/systeme_de_fichiers#comparaison_de_systemes_de_fichiers

$ sudo mkfs.ext4 -F /dev/md0

mke2fs 1.44.5 (15-Dec-2018)
Creating filesystem with 244157616 4k blocks and 61046784 inodes
Filesystem UUID: 1a44d986-5997-4216-8821-593a14bca6d0
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Creating journal (262144 blocks): done
Writing superblocks and filesystem accounting information: done

Puis créer le point de montage et monter le

$ sudo mkdir -p /mnt/disk_raid1

$ sudo mount /dev/md0 /mnt/disk_raid1/

Vérifier avec disk free l’apparition du point de montage et sa volumétrie

$ df -h | grep /disk_raid1

/dev/md0           916G     77M  870G   1% /mnt/disk_raid1

Pour finir il faut configurer le fichier mdadm.conf pour qu’il analyse le raid automatiquement au démarrage

$ sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf

ARRAY /dev/md0 metadata=1.2 name=srv-test.izero.fr:0 UUID=abc21849:066ec396:598fc588:813fc137

Pour monter et rendre accessible le raid pendant le processus de démarrage, lancer la commande

$ sudo update-initramfs -u

$ echo '/dev/md0 /mnt/disk_raid1 ext4 defaults,nofail,discard 0 0' | sudo tee -a /etc/fstab

/dev/md0 /mnt/disk_raid1 ext4 defaults,nofail,discard 0 0

Permissions et droits

• Créez un groupe qui aura accès au device disk_raid1, ajouter y les utilisateurs autorisés, affiner les droits

$ sudo addgroup grp_raid1

Ajout du groupe « grp_raid1 » (GID 1002)...
Fait.

$ sudo adduser bef grp_raid1

Ajout de l'utilisateur « bef » au groupe « grp_raid1 »...
Adding user bef to group grp_raid1
Fait.

$ sudo chown root:grp_raid1 /mnt/disk_raid1

$ sudo chmod 775 /mnt/disk_raid1

La création du raid est terminé, il faut attendre la fin de la synchronisation
Si celle ci est coupé, voir en bas de cet article dans resync.

Création du partage Samba

• Configuration de Samba

Il faut d’abord créer le répertoire de partage sur le point de montage, puis affiner et donner les droits du groupe grp_raid1

$ sudo mkdir /mnt/disk_raid1/mon_partage

$ sudo chmod 775 /mnt/disk_raid1/mon_partage

$ sudo chown root:grp_raid1 /mnt/disk_raid1/mon_partage

On vérifie

$ ls -l /mnt/disk_raid1/

total 20
drwx------ 2 root root      16384 avril  5 16:02 lost+found
drwxrwxr-x 2 root grp_raid1  4096 avril  5 22:18 mon_partage

Faire une sauvegarde du fichier original avant toute modif, puis éditer smb.conf et ajouter en fin de ligne la définition de partage suivante

$ sudo cp /etc/samba/smb.conf /etc/samba/smb.conf.save

$ sudo vim /etc/samba/smb.conf

[mon_partage]
   path=/mnt/disk_raid1/mon_partage
   browseable=Yes
   writeable=Yes
   only guest=no
   create mask=0775
   directory mask=0775
   public=no

Recharger Samba

$ sudo systemctl reload smbd.service

Créer le(s) utilisateur(s) a pouvoir accéder au partage Samba et ajouter le(s) dans le groupe grp_raid1

$ sudo useradd compte_windows

$ sudo adduser compte_windows grp_raid1

$ sudo smbpasswd -a compte_windows

New SMB password:
Retype new SMB password:
Added user compte_windows.

Il faut également sété le mot pour le user system bef ( smbpasswd -a) pour qu’il puisse accéder au partage Samba indépendamment du point de montage.

Monter le volume depuis une machine Windows

• Connecter un lecteur réseau

Sur Windows 10 par exemple, clic droit sur poste de travail/connecter un lecteur réseau
Si pas de serveur dns, utiliser l’ip ou renseigner le fichier hosts ..

Il faut un compte valide pour accéder au partage puisque dans smb.conf on a sété no a only guest

Le partage est accessible, la création/l’édition fonctionne dans les 2 sens

UPDATE 06/04/2020: 19h plus tard, le raid est optimal (:-))

$ sudo mdadm -D /dev/md0

/dev/md0:
           Version : 1.2
     Creation Time : Sun Apr  5 15:42:10 2020
        Raid Level : raid1
        Array Size : 976630464 (931.39 GiB 1000.07 GB)
     Used Dev Size : 976630464 (931.39 GiB 1000.07 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Mon Apr  6 23:17:56 2020
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : bitmap

              Name : srv-test.izero.fr:0  (local to host srv-test.izero.fr)
              UUID : abc21849:066ec396:598fc588:813fc137
            Events : 30338

    Number   Major   Minor   RaidDevice State
       0       8       16        0      active sync   /dev/sda
       1       8       32        1      active sync   /dev/sdb

Divers

Pour aller plus loin quelques tips trouvés sur différents sites

$ sudo vim /etc/mdadm/mdadm.conf

MAILADDR monadresse_mail@domaine.tld

$ sudo mdadm --monitor --mail=monadresse_mail@domaine.tld --syslog --delay=300 /dev/md0 --daemonise

$ ps faux | grep mdadm

bef 2985 0.0 0.0 7364 568 pts/0 S+ 20:06 0:00 \_ grep --color=auto mdadm
root 869 0.0 0.1 2612 1820 ? Ss 15:34 0:00 /sbin/mdadm --monitor --scan
root 1529 0.0 0.1 2612 1728 ? Ss 16:38 0:00 mdadm --monitor --mail=mon_mail@domaine.tld --syslog --delay=300 /dev/md0 --daemonise

This is an automatically generated mail message from mdadm
running on srv-test.izero.fr

A Fail event had been detected on md device /dev/md0.

It could be related to component device /dev/sdb.

Faithfully yours, etc.

P.S. The /proc/mdstat file currently contains the following:

Personalities : [raid1]
md0 : active raid1 sdb[1](F) sda[0]
      976630464 blocks super 1.2 [2/1] [U_]
      [=======>.............]  resync = 36.4% (356343616/976630464) finish=763.1min speed=13546K/sec
      bitmap: 6/8 pages [24KB], 65536KB chunk

unused devices:

$ sudo umount /mnt/disk_raid1

$ sudo mdadm --stop /dev/md0

$ sudo mdadm --assemble /dev/md0 /dev/sda /dev/sdb

$ sudo mdadm --assemble --run --force --update=resync /dev/md0 /dev/sda /dev/sdb

$ cat /proc/mdstat

$ sudo mdadm --readwrite /dev/md0

$ cat /proc/mdstat

Personalities : [raid1] 
md0 : active raid1 sda[0] sdb[1]
      976630464 blocks super 1.2 [2/2] [UU]
      [=======>.............]  resync = 38.6% (377923584/976630464) finish=711.7min speed=14018K/sec
      bitmap: 6/8 pages [24KB], 65536KB chunk

unused devices:

$ sudo mount -a

Source

https://wiki.debian-fr.xyz/Raid_logiciel_(mdadm)

https://www.digitalocean.com/community/tutorials/how-to-create-raid-arrays-with-mdadm-on-ubuntu-16-04

https://debian-facile.org/doc:install:supprimer-un-raid-logiciel

https://framacloud.org/fr/echange-de-graines/debloquer-un-raid-coince-en-resyncpending.html