La page de man de gpg.

$ gpg --list-keys
(...)
pub   rsa4096 2015-01-14 [SC]
      AB525CF18585EED13460FBA15919A184D100D521
uid          [  ultime ] Simon Lefort (Clé de Simon Lefort) <mon@mail.be>
sub   rsa4096 2015-01-14 [E]
(...)
 
$ gpg --output mon-mail-be_pub.gpg --armor --export AB525CF18585EED13460FBA15919A184D100D521
 
$ gpg --output mon-mail-be_sec.gpg --armor --export-secret-key AB525CF18585EED13460FBA15919A184D100D521

On copie les fichiers sur l'autre ordinateur (avec scp, rsync ou tout ce qu'on veut…).

$ gpg --import mon-mail-be_pub.gpg
 
$ gpg --allow-secret-key-import --import mon-mail-be_sec.gpg
 
$ gpg --list-keys
(...)
pub   rsa4096 2015-01-14 [SC]
      AB525CF18585EED13460FBA15919A184D100D521
uid          [ inconnue] Simon Lefort (Clé de Simon Lefort) <mon@mail.be>
sub   rsa4096 2015-01-14 [E]
(...)

• Une très bonne introduction (rappel?) à GPG (linuxembedded.fr)
• how to import/export gpg key pair - Comment exporter son couple de clé privée/publique et les réimporter ailleurs. (Marche aussi pour sauvegarder ses clés!)