Import contacts via SFTP (version bash)

[alanzirek]

Cette PR ajoute une commande Django permettant de récupérer des fichiers chiffrés (fichier de contacts et une clé symétrique) sur un serveur SFTP puis d'importer les contacts en base.
La récupération des fichiers chiffrés et leurs déchiffrements se fait via un script bash (équivalent de la PR #765).

Ce qui a été fait :

Ajout sshpass

Ajout du buildpack apt-buildpack pour pouvoir ajouter la dépendance sshpass (requise pour l’exécution du script bash).
Document Scalingo : https://doc.scalingo.com/platform/deployment/buildpacks/apt
ATFU, CleverCloud permet l'authentification par clés SSH auprès du SFTP. À voir si l'on remplace la connexion au serveur SFTP via clés SSH à la place du username/mdp.

Clé publique et privée

En local, génération de la clé publique et privée, encodage en base64 de la clé privée et stockage dans la variable d'environnement SFTP_PRIVATE_KEY.
Documentation Scalingo : https://doc.scalingo.com/platform/app/secret-file-in-app#access-secret-file-from-the-application

Fichier known_hosts

En local, génération et encodage du fichier known_hosts avec les commandes suivantes :

• ssh-keyscan URL_SERVER > public_keys pour récupérer les clés publiques du serveur SFTP,
• ssh-keygen -l -f public_keys pour calculer les empreintes et vérifier avec celles publiées par clevercloud (https://www.clever-cloud.com/developers/doc/addons/fs-bucket/#from-your-favorite-sftp-client),
• base64 -w 0 public_keys pour encoder en base64,
• stockage dans la variable d'environnement SFTP_CLEVERCLOUD_KNOWN_HOSTS.

Script bash

Le script consiste à :

• se connecter sur le serveur SFTP pour récupérer en local les fichiers (données et clé symétrique) les plus récents,
• déchiffrer la clé symétrique avec la clé privée,
• déchiffrer le fichier de données (fichier agricoll.csv) avec la clé symétrique déchiffrée.

Commande Django

La commande Django consiste à :

• vérifier la présence des différentes variables d'environnements nécessaire à l’exécution du script bash,
• lancer l’exécution du script bash,
• lancer la commande d'import des contacts (cf. fichier agricoll.csv généré via script bash).

Test

Un test a été ajouté pour tester le bon déroulement de toutes la procédure :

• génération des clés privée et publique,
• encodage en base64 et stockage de la clé privée dans la variable d'environnement SFTP_PRIVATE_KEY,
• génération de deux fichiers de données,
• génération de deux clés symétriques,
• chiffrement des clés symétriques (avec la clé publique),
• chiffrement des fichiers de données (avec clés symétriques),
• upload des fichiers de données et clés symétriques sur le serveur SFTP (pour pouvoir tester la récupération des derniers fichiers uploadés),
• récupération des derniers fichiers chiffrés uploadés,
• déchiffrement des fichiers,
• import des contacts.

Pour le test, la dépendance testcontainer[sftp] a été ajoutée pour lancer un serveur SFTP (container docker) pour être iso prod. Fonctionne sur la CI sans ajout particulier.

Reste à faire

La configuration du cron et l'ajout d'un monitoring (healthchecks, sentry ou autre...) seront fais dans une autre PR.

[Anto59290]

Je pense qu'on aurait a gagner a utiliser les "bash best practices" (plus de variables, peut être utiliser des choses comme nounset, pipefail, etc.)

Personnellement je n'aurais pas écrit de test sur la partie bash vue la compléxité que cela ajoute de monter le FTP, les dépendances en plus, mais je n'y vois pas plus d'inconvénients maintenant que le code est la.

[Anto59290]

On aurrait peut être pu se passer de cela en faisant dans le cron bin/fetch_contacts_agricoll_and_key.sh && python manage.py import_contacts agricoll.csv
Si on veut garder le check des vars d'env il est possible de le faire en haut du bash, je pense que ça serait intéressant de supprimer cette commande "glue" et que chaque méthode porte ses réponsabilités (le .sh --> Je télécharge et déchiffre le CSV, la commande python --> J'ingère le CSV)