Backup sur serveur SFTP

snoopyfb · Novembre 30, 2022, 1:57

Bonjour

Ce plugin est très intéressant et je l’utilisais en mode FTP (en interne). Cela fonctionne correctement dans ce mode, avec des risque de sécurité lié au mode FTP (pour une utilisation en externe)

Voulant passer en mode SFTP, la copie du Backup de jeedom ne fonctionne pas.
J’ai lu plusieurs messages sur le sujet , notamment en 2021 qui demande une installation de rclone 1.55.1 (au lieu de la version 1.41)

Y a t’il une possibilité de continuer à utiliser ce plugin cloudsyncpro pour le mode SFTP ?

Configuration :
Box ATLAS
Jeedom 4.3.11

Merci

rennais35000 · Novembre 30, 2022, 2:17

Bonjour,
Moi je l’utilise en local et avec des jeedoms distantes en sftp sans rien avoir installé de spécial.
Juste le plugin et je l’ai fais sur plusieurs Jeedoms (installations) différentes
Au moins tu sais que ça marche et pas qu’une seule fois.
Cordialement
Jeedoms
4.1.28
4.1.20
4.0.62

thanaus · Novembre 30, 2022, 3:53

Je te propose d’installer la version beta (la plus à jour au niveau fonctionnalités) et tu ne devrais avoir aucun soucis.
Si problème, n’hésites pas à m’indiquer les logs en mode DEBUG de la commande.

chris_77 · Novembre 30, 2022, 4:31

yop yop,

comme l’indique @thanaus suite à la réinstallation de mon jeedom, il a fallut que je passe en bêta le plugin afin que le sftp fonctionne (alors qu’avec l’ancien j’étais en stable…)

allez savoir Charles !!!

snoopyfb · Novembre 30, 2022, 4:44

Je suis bien en version beta

Je viens de relancer le backup qui est avec présence erreur

LOG DEBUG sur équipement (15745) de sauvegarde :

2022/11/30 17:35:55 ERROR : backup-Box_Collegien-4.3.11-2022-11-29-23h48.tar.gz: Failed to copy: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:35:55 ERROR : backup-Box_Collegien-4.3.11-2022-11-30-10h39.tar.gz: Failed to copy: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:35:55 ERROR : backup-Box_Collegien-4.3.11-2022-11-30-02h46.tar.gz: Failed to copy: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:35:55 ERROR : Attempt 1/3 failed with 3 errors and: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:35:57 ERROR : backup-Box_Collegien-4.3.11-2022-11-30-10h39.tar.gz: Failed to copy: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:35:57 ERROR : backup-Box_Collegien-4.3.11-2022-11-30-02h46.tar.gz: Failed to copy: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:35:59 ERROR : backup-Box_Collegien-4.3.11-2022-11-29-23h48.tar.gz: Failed to copy: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:35:59 ERROR : Attempt 2/3 failed with 3 errors and: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:36:00 ERROR : backup-Box_Collegien-4.3.11-2022-11-30-02h46.tar.gz: Failed to copy: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:36:01 ERROR : backup-Box_Collegien-4.3.11-2022-11-30-10h39.tar.gz: Failed to copy: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:36:01 ERROR : backup-Box_Collegien-4.3.11-2022-11-29-23h48.tar.gz: Failed to copy: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:36:01 ERROR : Attempt 3/3 failed with 3 errors and: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)
2022/11/30 17:36:01 INFO  :
Transferred:   	   19.840 MiB / 19.840 MiB, 100%, 2.834 MiB/s, ETA 0s
Errors:                 3 (retrying may help)
Elapsed time:         8.4s
2022/11/30 17:36:01 Failed to copy with 3 errors: last error was: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED)

Log DEBUG sur plugin (j’ai mis la valeeur XXXXX sur user_login’)


[2022-11-30 17:35:52][DEBUG] : execute:: options:array (   'user_login' => 'XXXXX',   'user_id' => '1', )
[2022-11-30 17:35:52][DEBUG] : execute:: this:cloudsyncproCmd::__set_state(array(    'id' => '15745',    'logicalId' => NULL,    'generic_type' => NULL,    'eqType' => 'cloudsyncpro',    'name' => 'Bakup',    'order' => '0',    'type' => 'action',    'subType' => 'other',    'eqLogic_id' => '874',    'isHistorized' => '0',    'unite' => '',    'configuration' =>    array (     'command' => 'copy',     'source' => '/var/www/html/backup',     'destination' => '/boxmultipacktest01',     'include' => '*.gz',     'exclude' => '',     'minage' => '',     'maxage' => '',   ),    'template' => '{"dashboard":"core::default","mobile":"core::default"}',    'display' => '{"showStatsOnmobile":0,"showStatsOndashboard":0}',    'value' => NULL,    'isVisible' => '1',    'alert' => '[]',    '_collectDate' => '',    '_valueDate' => '',    '_eqLogic' =>    cloudsyncpro::__set_state(array(      'id' => '874',      'name' => 'Sauvegarde Auto SFTP',      'logicalId' => '',      'generic_type' => NULL,      'object_id' => '10',      'eqType_name' => 'cloudsyncpro',      'isVisible' => '0',      'isEnable' => '1',      'configuration' => '{"createtime":"2022-11-23 23:17:38","comment":"","type":"sftp","param1":"gateways.storage.gra.cloud.ovh.net","param2":"22","param3":"sa","param4":"0182733779340402.user-SkkUmc3pWjEF.3De8gdhB3kNGYTeDZTGXc5C5VVuxUmDf","updatetime":"2022-11-27 01:21:42"}',      'timeout' => NULL,      'category' => '{"heating":"0","security":"0","energy":"0","light":"0","opening":"0","automatism":"0","multimedia":"0","default":"0"}',      'display' => '{"backGraph::info":0}',      'order' => '9999',      'comment' => NULL,      'tags' => NULL,      '_debug' => false,      '_object' =>      jeeObject::__set_state(array(        'id' => '10',        'name' => 'Equipements',        'father_id' => '2',        'isVisible' => '1',        'position' => '45',        'configuration' => '{"parentNumber":1,"tagColor":"#000000","tagTextColor":"#FFFFFF","mobile::summaryTextColor":"","icon":"<i class=\"far fa-lemon\"><\/i>","hideOnDashboard":"0","hideOnOverview":"0","useCustomColor":"0","useBackground":"0","summary::global::security":"0","summary::global::motion":"0","summary::global::door":"0","summary::global::windows":"0","summary::global::shutter":"0","summary::global::light":"0","summary::global::outlet":"0","summary::global::temperature":"0","summary::global::humidity":"0","summary::global::luminosity":"0","summary::global::power":"0","summary::hide::desktop::security":"0","summary::hide::desktop::motion":"0","summary::hide::desktop::door":"0","summary::hide::desktop::windows":"0","summary::hide::desktop::shutter":"0","summary::hide::desktop::light":"0","summary::hide::desktop::outlet":"0","summary::hide::desktop::temperature":"0","summary::hide::desktop::humidity":"0","summary::hide::desktop::luminosity":"0","summary::hide::desktop::power":"0","summary::hide::mobile::security":"0","summary::hide::mobile::motion":"0","summary::hide::mobile::door":"0","summary::hide::mobile::windows":"0","summary::hide::mobile::shutter":"0","summary::hide::mobile::light":"0","summary::hide::mobile::outlet":"0","summary::hide::mobile::temperature":"0","summary::hide::mobile::humidity":"0","summary::hide::mobile::luminosity":"0","summary::hide::mobile::power":"0","summary":{"security":[],"defcom":[],"feu":[],"motion":[],"door":[],"windows":[],"shutter":[],"light":[],"outlet":[],"temperature":[],"humidity":[],"luminosity":[],"power":[],"occupation":[],"airneuf":[],"ventilateur":[],"ouvrantvni":[],"freecooling":[],"nightcooling":[],"adiabatique":[],"freeheating":[],"chauffage":[],"pluie":[],"manuel":[]},"synthToAction":"synthToDashboard","synthToPlan":"2","info::type":"room","info::orientation":"0","info::space":"","summary::global::defcom":"0","summary::global::feu":"0","summary::global::occupation":"0","summary::global::airneuf":"0","summary::global::ventilateur":"0","summary::global::ouvrantvni":"0","summary::global::freecooling":"0","summary::global::nightcooling":"0","summary::global::adiabatique":"0","summary::global::freeheating":"0","summary::global::chauffage":"0","summary::global::pluie":"0","summary::global::manuel":"0","summary::hide::desktop::defcom":"0","summary::hide::desktop::feu":"0","summary::hide::desktop::occupation":"0","summary::hide::desktop::airneuf":"0","summary::hide::desktop::ventilateur":"0","summary::hide::desktop::ouvrantvni":"0","summary::hide::desktop::freecooling":"0","summary::hide::desktop::nightcooling":"0","summary::hide::desktop::adiabatique":"0","summary::hide::desktop::freeheating":"0","summary::hide::desktop::chauffage":"0","summary::hide::desktop::pluie":"0","summary::hide::desktop::manuel":"0","summary::hide::mobile::defcom":"0","summary::hide::mobile::feu":"0","summary::hide::mobile::occupation":"0","summary::hide::mobile::airneuf":"0","summary::hide::mobile::ventilateur":"0","summary::hide::mobile::ouvrantvni":"0","summary::hide::mobile::freecooling":"0","summary::hide::mobile::nightcooling":"0","summary::hide::mobile::adiabatique":"0","summary::hide::mobile::freeheating":"0","summary::hide::mobile::chauffage":"0","summary::hide::mobile::pluie":"0","summary::hide::mobile::manuel":"0"}',        'display' => '{"icon":"<i class=\"icon techno-desktop2\"><\/i>","tagColor":"#696969","tagTextColor":"#ebebeb"}',        'image' => '{"type":"png","sha512":"b3120eec98f867d8edb75c01f508932376ba47de176a3f695734fa3d9d30700c08d5f47df6294098c47acc43b6dbb9fe188595323a83263b4986b93ddda55c5b","data":""}',        '_child' =>        array (       ),        '_changed' => false,        '_summaryChanged' => false,     )),      '_needRefreshWidget' => false,      '_timeoutUpdated' => false,      '_batteryUpdated' => false,      '_changed' => false,   )),    '_needRefreshWidget' => NULL,    '_needRefreshAlert' => NULL,    '_changed' => false, ))
[2022-11-30 17:35:52][DEBUG] : execute:: this:array (   'command' => 'copy',   'source' => '/var/www/html/backup',   'destination' => '/boxmultipacktest01',   'include' => '*.gz',   'exclude' => '',   'minage' => '',   'maxage' => '', )
[2022-11-30 17:35:52][ALERT] : Starting task (Sauvegarde Auto SFTP/Bakup #15745)
[2022-11-30 17:35:52][DEBUG] : execute:: pid:'4176' rclone:'/var/www/html/plugins/cloudsyncpro/3rparty/rclone-v1.57.0-linux-arm64/rclone -v --log-file /var/www/html/core/class/../../log/cloudsyncpro.#15745 --config /var/www/html/plugins/cloudsyncpro/data/rclone.conf --filter \'+ *.gz\' --filter \'- *\' copy \'/var/www/html/backup\' 874:\'/boxmultipacktest01\''
[2022-11-30 17:36:07][DEBUG] : execute:: value:'2022/11/30 17:36:01 Failed to copy with 3 errors: last error was: Update ReadFrom failed: sftp: "Operation unsupported" (SSH_FX_OP_UNSUPPORTED) '
[2022-11-30 17:36:07][DEBUG] : execute:: value:'Elapsed time:         8.4s '
[2022-11-30 17:36:07][DEBUG] : execute:: value:'Errors:                 3 (retrying may help) '
[2022-11-30 17:36:07][DEBUG] : execute:: value:'Transferred:   	   19.840 MiB / 19.840 MiB, 100%, 2.834 MiB/s, ETA 0s '
[2022-11-30 17:36:07][DEBUG] : execute:: statistics:array (   'Errors' => '3 (retrying may help)',   'Checks' => NULL,   'Transferred' => '19.840 MiB / 19.840 MiB, 100%, 2.834 MiB/s, ETA 0s',   'Elapsed time' => '8.4s', )
[2022-11-30 17:36:07][ERROR] : Erreur exécution de la commande [Equipements][Sauvegarde Auto SFTP][Bakup] : Task finished on Error (Sauvegarde Auto SFTP/Bakup #15745)



Merci de votre aide

thanaus · Novembre 30, 2022, 5:00

Peux tu m’en dire plus sur ton stockage SFTP ?
C’est un serveur interne à ton infrastructure ou un stockage sur le cloud ?

snoopyfb · Novembre 30, 2022, 5:15

Ce n’est pas un serveur interne
C’est un stockage Cloud

thanaus · Novembre 30, 2022, 5:16

Stockage SFTP chez AWS par hasard ?

snoopyfb · Novembre 30, 2022, 5:17

Non c’est un stockage externe chez OVH

thanaus · Novembre 30, 2022, 5:27

As-tu bien relancé les dépendances après avoir installé la version beta ?
Il y avait un bug dans le framework rclone qui a été corrigé en version 1.51. La version beta installe la version 1.57…

Possible d’avoir accès à ton installation Jeedom ?
Si ok, merci de m’envoyer en MP

snoopyfb · Novembre 30, 2022, 5:46

Oui les dépendances ont bien été relancés
J’ai bien la version rclone en 1.57

C’est fait pour l’accès en MP

thanaus · Novembre 30, 2022, 8:48

Au vu des logs et de quelques tests manuels (hors Jeedom), le serveur SFTP chez OVH ne permet pas d’indiquer la date de dernière modification (mtime) du fichier.

Il y a une option pour ne pas gérer cette date ce qui permettra de ne plus avoir le message d’erreur.

Par contre et comme indiqué dans la documentation, tous les fichiers en local sera automatiquement recopiés sur le serveur car il n’y aura pas de comparaison possible entre la source et la destination.

Pour en être sur à 100%, j’ai fait un test avec FileZilla et je reproduis l’erreur :

|Command:|chmtime 1668944912 python-3.10.8-amd64.exe|
|Error:|set attrs for /thomasma/python-3.10.8-amd64.exe: received operation unsupported with description 'Operation unsupported'|

Je suis très surpris de la part d’OVH à ce sujet… Peut-être ouvrir un ticket chez eux si tu as un accès au support ?

snoopyfb · Novembre 30, 2022, 8:50

Merci pour ce retour

Je vais faire une demande à OVH

thanaus · Novembre 30, 2022, 8:55

Je pense que cela va être quelque peu compliqué

Preserve Timestamp : TimeStamp corresponds to the date of modification of the file, we disable it because on PCA we replace this data by the date of upload of the file.

snoopyfb · Novembre 30, 2022, 8:56

Dans ce cas comment implémenter cette option pour ne pas gérer cette date ?

Ou mettre cette option ( set_modtime = false)?

thanaus · Novembre 30, 2022, 8:58

Comme indiqué dans la documentation, il faut ajouter l’option suivante dans le fichier rclone.conf :

set_modtime = false

snoopyfb · Novembre 30, 2022, 9:05

J’ai rajouté cette ligne dans le fichier rclone.conf et j’ai toujours l’erreur