Outils pour utilisateurs

Outils du site


informatique:borg

Borg

Initialiser un repo de backup

Local

# borg init -e keyfile /mnt/data/backups/raspberrypi
Enter new passphrase: 
Enter same passphrase again: 
Do you want your passphrase to be displayed for verification? [yN]: y
Your passphrase (between double-quotes): "maSuperLongueEtCompliquéePassphrase"
Make sure the passphrase displayed above is exactly what you wanted.
 
By default repositories initialized with this version will produce security
errors if written to with an older version (up to and including Borg 1.0.8).
 
If you want to use these older versions, you can disable the check by runnning:
borg upgrade --disable-tam '/mnt/data/backups/raspberrypi'
 
See https://borgbackup.readthedocs.io/en/stable/changes.html#pre-1-0-9-manifest-spoofing-vulnerability for details about the security implications.
# ls -al /mnt/data/backups/raspberrypi/
total 68
drwxr-xr-x 3 root root  4096 jun 29 15:45 .
drwxr-xr-x 3 root root  4096 jun 29 15:43 ..
-rw------- 1 root root   164 jun 29 15:44 config
drwx------ 3 root root  4096 jun 29 15:45 data
-rw------- 1 root root    31 jun 29 15:45 hints.0
-rw------- 1 root root 41258 jun 29 15:45 index.0
-rw------- 1 root root    26 jun 29 15:44 README

Distant

Je veux sauvegarder un serveur A sur un serveur B. La première chose à faire est de créer une clé SSH sur le serveur A et les accès qui vont bien sur le serveur B.

Sur le serveur B, qui va accueillir le backup, je prépare le dossier :

$ sudo mkdir /mnt/data/backups/serveurA
$ sudo chown -R serveurA:serveurA /mnt/data/backups/serveurA

Sur le serveur A, qui envoie son backup sur B, j'initialise le repository :

root@debian:/home/simon# borg init --encryption=repokey-blake2 serveurA@serveurB:/mnt/data/backups/serveurA
Enter new passphrase: 
Enter same passphrase again: 
Do you want your passphrase to be displayed for verification? [yN]: y
Your passphrase (between double-quotes): "MaGrossePassPhraseQueJeDonneraiPas"
(...)

On peut vérifier sur le serveurB :

$ ls -al /mnt/data/backups/serveurA/
total 68
drwxr-xr-x 3 serveurA serveurA  4096 jui 29 14:25 .
drwxr-xr-x 4 root    root       4096 jui 29 14:21 ..
-rw------- 1 serveurA serveurA   919 jui 29 14:25 config
drwx------ 3 serveurA serveurA  4096 jui 29 14:25 data
-rw------- 1 serveurA serveurA    31 jui 29 14:25 hints.0
-rw------- 1 serveurA serveurA 41258 jui 29 14:25 index.0
-rw------- 1 serveurA serveurA    26 jui 29 14:21 README

Pour ce serveur, j'ai configuré la suite avec Borgmatic.

Faire un premier backup

# borg create -v -s -p -C lzma,6 --exclude-from=/mnt/data/backups/raspberrypi-exclude /mnt/data/backups/raspberrypi::{hostname}-{now:%Y%m%d-%H%M%S} /
Enter passphrase for key /root/.config/borg/keys/mnt_data_backups_raspberrypi: 
2.53 GB O 1.41 GB C 1.37 GB D 64649 N var/lib/docker/overlay2/dd058fc33661deeca3f305d03...itemap-1.2.0/spec/fixtures/_posts/2016-04-02-错误.ht------------------------------------------------------------------------------                                                                
Archive name: raspberrypi-20190629-155955
Archive fingerprint: 7526334a84d9a8db637909dac461073e10a8f9fa4300f6b205459c1ee802ceee
Time (start): Sat, 2019-06-29 16:00:24
Time (end):   Sat, 2019-06-29 19:25:53
Duration: 3 hours 25 minutes 28.50 seconds
Number of files: 102169
------------------------------------------------------------------------------
                       Original size      Compressed size    Deduplicated size
This archive:                3.00 GB              1.55 GB              1.50 GB
All archives:                3.00 GB              1.55 GB              1.50 GB
 
                       Unique chunks         Total chunks
Chunk index:                   85977               100707
------------------------------------------------------------------------------

Le fichier raspberrypi-exclude contient les répertoire que je ne veux pas sauvegarder :

# cat /mnt/data/backups/raspberrypi-exclude
/mnt
/dev
/media
/proc
/run
/sys
/tmp
~/.cache/
/var/cache/

Un “borg list” nous montre bien ce premier backup :

# borg list /mnt/data/backups/raspberrypi/
Enter passphrase for key /root/.config/borg/keys/mnt_data_backups_raspberrypi: 
raspberrypi-20190629-155955          Sat, 2019-06-29 16:00:24

Alias et second backup :

# cat ~/.bash_aliases 
alias backup='borg create -v -s -p -C lzma,6 --exclude-from=/mnt/data/backups/raspberrypi-exclude /mnt/data/backups/raspberrypi::{hostname}-{now:%Y%m%d-%H%M%S} /'
 
# backup 
Enter passphrase for key /root/.config/borg/keys/mnt_data_backups_raspberrypi: 
------------------------------------------------------------------------------
Archive name: raspberrypi-20190630-100756
Archive fingerprint: 8f2aae9f8f3db9e086c746f686ddc999c8996e470cd066524509b6eb47253e7a
Time (start): Sun, 2019-06-30 10:08:10
Time (end):   Sun, 2019-06-30 10:11:54
Duration: 3 minutes 44.00 seconds
Number of files: 100691
------------------------------------------------------------------------------
                       Original size      Compressed size    Deduplicated size
This archive:                2.21 GB            806.89 MB              2.19 MB
All archives:                5.21 GB              2.36 GB              1.51 GB
 
                       Unique chunks         Total chunks
Chunk index:                   86057               199693
------------------------------------------------------------------------------

3 min 44 !

# borg list /mnt/data/backups/raspberrypi
Enter passphrase for key /root/.config/borg/keys/mnt_data_backups_raspberrypi: 
raspberrypi-20190629-155955          Sat, 2019-06-29 16:00:24
raspberrypi-20190630-100756          Sun, 2019-06-30 10:08:10

Info

# borg info /mnt/data/backups/raspberrypi::raspberrypi-20190630-100756
Enter passphrase for key /root/.config/borg/keys/mnt_data_backups_raspberrypi: 
Name: raspberrypi-20190630-100756
Fingerprint: 8f2aae9f8f3db9e086c746f686ddc999c8996e470cd066524509b6eb47253e7a
Hostname: raspberrypi
Username: root
Time (start): Sun, 2019-06-30 10:08:10
Time (end):   Sun, 2019-06-30 10:11:54
Command line: /usr/bin/borg create -v -s -p -C lzma,6 --exclude-from=/mnt/data/backups/raspberrypi-exclude /mnt/data/backups/raspberrypi::{hostname}-{now:%Y%m%d-%H%M%S} /
Number of files: 100691
 
                       Original size      Compressed size    Deduplicated size
This archive:                2.21 GB            806.89 MB              2.19 MB
All archives:                5.21 GB              2.36 GB              1.51 GB
 
                       Unique chunks         Total chunks
Chunk index:                   86057               199693

List et mount

On a déjà vu la commande bord list qui permet de voir les différentes sauvegardes effectuées. On peut aussi l'utiliser pour afficher tous les fichiers sauvegardés. (Attention, ça va afficher des centaines/milliers de lignes… C'est intéressant seulement pour vérifier qu'un fichier particulier est bien sauvegardé, j'imagine.)

# borg list /mnt/data/backups/raspberrypi::raspberrypi-20190630-100756

Monter une sauvegarde avec mount

On crée un dossier pour le point de montage et on monte notre sauvegarde dedans :

# mkdir /mnt/borg
 
# borg mount /mnt/data/backups/raspberrypi /mnt/borg/
Enter passphrase for key /root/.config/borg/keys/mnt_data_backups_raspberrypi:
 
# ls -al /mnt/borg/
total 4
drwxr-xr-x 1 root root    0 jun 30 11:01 .
drwxr-xr-x 4 root root 4096 jun 30 11:01 ..
drwxr-xr-x 1 root root    0 jun 30 11:01 raspberrypi-20190629-155955
drwxr-xr-x 1 root root    0 jun 30 11:01 raspberrypi-20190630-100756

On peut aller fouille une archive avec cette méthode :

# ls -al /mnt/borg/raspberrypi-20190630-100756/
total 10150
drwxr-xr-x 1 root root        0 jun 30 11:01 .
drwxr-xr-x 1 root root        0 jun 30 11:01 .
drwxr-xr-x 1 root root        0 jun 30 11:01 ..
drwxr-xr-x 1 root root        0 mai 17 12:16 bin
drwxr-xr-x 1 root root        0 jan  1  1970 boot
-rw------- 1 root root 10391552 aoû 28  2016 core
-rw-r--r-- 1 root root     2030 aoû 27  2016 equipment.dat
drwxr-xr-x 1 root root        0 jun 29 15:09 etc
drwxr-xr-x 1 root root        0 sep  3  2018 home
drwxr-xr-x 1 root root        0 jun 29 15:09 lib
drwx------ 1 root root        0 mai 27  2016 lost+found
drwxr-xr-x 1 root root        0 nov 20  2018 opt
drwx------ 1 root root        0 jun 30 10:07 root
drwxr-xr-x 1 root root        0 jun 29 15:09 sbin
drwxr-xr-x 1 root root        0 mai 27  2016 srv
drwxr-xr-x 1 root root        0 mai 27  2016 usr
drwxr-xr-x 1 root root        0 aoû 31  2018 var

Restaurer avec extract

Quelques exemples sur garamotte.net :

$ # Restaurer une sauvegarde complète
$ borg extract <RepoPath>::<SaveName>
$ # Restaurer une partie de la sauvegarde
$ borg extract <RepoPath>::<SaveName> <Filename> <Path>/<Directory>

Automatiser

Je me suis inspiré des petits scripts trouvés sur hetzner.com pour automatiser le backup (et le prune derrière!).

$ sudo cat /usr/local/bin/backup.sh 
#!/usr/bin/env bash
 
## Set environment variables
 
export BORG_PASSPHRASE="monSuperGrosPassword"
 
## Set some variables
 
LOG="/var/log/borg/backup.log"
 
## Output to a logfile
 
exec > >(tee -i ${LOG})
exec 2>&1
 
echo "###### Backup started: $(date) ######"
 
borg create -v -s -p -C lzma,6 --exclude-from=/mnt/data/backups/raspberrypi-exclude \
	/mnt/data/backups/raspberrypi::{hostname}-{now:%Y%m%d-%H%M%S} /
 
echo "###### Backup ended: $(date) ######"

On le rend exécutable :

$ sudo cat /usr/local/bin/backup.sh 

Et on le rajoute dans le crontab :

$ sudo crontab -e
30 3 * * * /usr/local/bin/backup.sh > /dev/null 2>&1

On fait la même chose pour le prune:

$ sudo cat /usr/local/bin/backup-prune.sh 
#!/usr/bin/env bash
 
## Set environment variables
 
export BORG_PASSPHRASE="monSuperGrosPassword"
 
## Set some variables
 
LOG="/var/log/borg/backup.log"
 
## Output to a logfile
 
exec > >(tee -i ${LOG})
exec 2>&1
 
echo "###### Prune backups started: $(date) ######"
 
borg prune --keep-daily 14 --keep-monthly 6 /mnt/data/backups/raspberrypi/
 
echo "###### Prune backups ended: $(date) ######"
$ sudo chmod +x /usr/local/bin/backup-prune.sh
$ sudo crontab -e
30 4 * * * /usr/local/bin/backup-prune.sh > /dev/null 2>&1

Borgmatic

Borgmatic permet de gérer par un fichier de configuration la rétention, les dossiers à sauvegarder et ce genre de chose plutôt que par des scripts bash.

Problèmes rencontrés

Il n'y avait plus de nouveaux backups depuis un moment… Quand j'essayais de lancer Borgmatic depuis le serveur, j'avais cette erreur :

Failed to create/acquire the lock /mnt/data/backups/kimsufi/lock (timeout).

Sur le serveur qui reçoit les backups, il y avait bien un lock.

# cat /mnt/data/backups/kimsufi/lock.roster 
{"shared": [["raspberrypi@202481591655122", 21727, 0]]}

J'avais laissé un borg mount et je l'avais oublié ! C'est lui qui bloquait le backup.

# ps -auxf | grep borg
root     21727  0.0  7.7  97248 73136 ?        Sl   fév15   1:19 /usr/bin/python3 /usr/bin/borg mount /mnt/data/backups/kimsufi/ /mnt/borg/
 
# borg umount /mnt/borg/

J'ai ensuite pu relancer le backup depuis le serveur.

Sources

informatique/borg.txt · Dernière modification : 2020/08/09 13:03 de 127.0.0.1