Je viens de voir que ma table teleinfo save est plus vieille… j’attends ton retour !
C’est quoi l’import que tu as fait? . Je penses que c’est cela qui à vidé tes données. Le fichier txt, il faut l’ouvrir sur un éditeur genre notepad++ et fait un copier coller vers Adminer pour exécuter cette grande requête qui insère des données. Si tu as fait un import du fichier txt avec Adminer, je penses que cela à vider ta table.
Sinon effectivement avec un backup tu pourras restaurer ta table
Effectivement, j’ai fait un import du TXT puis voyant aucun changement, j’ai ouvert et fais un copier coller.
Le problème c’est que le volume de texte à traiter m’a fait planté adminer/navigateur lors du traitement (d’expérience je m’en doutais donc j’ai préféré au début envoyé le TXT).
Du coup, je ne sais pas trop comment procéder ?
J’ai une VM doublée de Jeedom que je peux restaurer à hier matin par exemple avant cette manipulation.
- Je passe par le plugin de cette VM double pour télécharger l’historique ?
- Ou je connecte ma VM Jeedom de production au backup ?
- Ou je fais tout à la main par adminer ?
Moi je ferais mon backup en passant par le plugin de ma VM double.
Ensuite dans mon fichier généré, je supprime la partie qui vide la table.
Puis je réimporte du plugin sur ma machine de prod. Comme cela tu ne perdras pas tes données du jour.
Fait une sauvegarde avant de ta prod au cas où.
Sinon pour les fichiers txt, le copier coller doit marcher. Je l’avais testé avant de te renvoyer les fichiers. Sinon tu découpes ton fichier en récupérant la ère ligne.
Je ne suis pas sûr de comprendre.
Je prends mon backup à jour sur mon second jeedom.
Je génère où, quoi ? Par le plugin, par adminer ?
-
Tu récupères ton backup de ton second Jeedom (via le plugin) (bouton télécharger)
-
Ensuite tu décompresses ton fichiers (si tu as choisi le format compressé)
-
Tu ouvres le fichiers.sql avec un éditeur et tu supprimes la partie sélectionnée
-
Tu recompresses au format gzip (si tu as choisi le format compressé)
Pour les étapes 2, 3 et 4, si tu ne sais pas faire, envoies moi le fichier et je ferais la manip. -
Tu fais envoyer ta sauvegarde ainsi maj vers ton jeedom de prod (bouton envoyer)
-
Puis bouton restaurer.
Tu auras alors les données de ta sauvegarde + les données des jours suivants qui n’auront pas été effacées. -
Ensuite tu peux recommencer les manips de correction sans faire d’import
J’ai bien fait ce que tu m’as dit y compris le nettoyage du fichier SQL comme suit, sa compression.
J’ai chargé le backup, restaurer (d’ailleurs le bouton continue à tourner même quand le log indique que c’est OK/fini).
****************Import de l\historique *********************
Restauration de l'historique save_2020-05-29_14_40_43.sql.gz
gunzip < /var/www/html/plugins/conso/core/class/../../ressources/backup/save_2020-05-29_14_40_43.sql.gz | mysql -hlocalhost -ujeedom -pxxxxxxxxxxxxxxxxx jeedom
Restauration en cours ......
Restauration Terminée
[END CONSO_HISTORIQUE SUCCESS]
J’ai beau tenté une synchro, les données restent vides dans les graphes passées une semaine…
Je te donne mon fichier :
save_2020-05-29_14_40_43.txt (402,4 Ko)
A renommer en save_2020-05-29_14_40_43.sql.gz
ce qui est assez logique car le fichier démarre uniquement en date du 20/05… en data. Je vais voir et creuser de mon côté sur le second jeedom
Hurmf, il y a un truc bizarre sur cette VM de backup.
j’ai beau restauré ma sauvegarde en date d’il y 4 jours, 3 jours, 2 jours, 1 semaine, 2 semaines ; les données manquent. Rien avant 1semaine globalement.
Comme si le fait qu’à partir du moment où le plugin a été corrompu qu’importe sa restauration, il reste corrompu.
J’ai vérifié que ce soit par l’interface dashboard ou en exportant une sauvegarde les fichiers présents dans le SQL ne sont que de quelques jours avant et pas mes 3 dernières années.
Exemple : je restaure un backup de 23. Bien avant notre discussion donc, il y a 6 jours.
Mes modifs et erreurs datent du dimanche soit le 24.
le dashboard donne :
et on voit la date du 29 malgré la restauration ! Fort…
Je vais restaurer une image snapshot de ma VM de production.
Bon, je ne comprends pas.
J’ai carrément restaurer ma VM complète en date de samedi dernier et là encore les données ne remontent pas plus loin qu’une semaine avant.
Rien avant le 23.
Je vais voir en restaurer un backup du 22 ou 23 à tout hasard.
Mais là je vais forcément perdre des données…
Bon apparemment le souci était entre le 22 et le 23.
Le fait de restaurer en date du 22 me permet de voir que j’ai plus de données dans le dashboard.
Sauf que quand je le laisse, j’ai la roue qui tourne sans s’arrêter et je ne peux rien faire 
Mais déjà je vois des données sur les 4 dernières semaines et 12 derniers mois…
A mon avis, garde ça et avec les autres sauvegardes, on va bien arriver à restaurer les données >= au 22.
Il faudrait regarder dans conso_teleinfo ou tu en es au niveau heure pour le 22.
Si tu veux comme c’est long et compliqué à expliquer, Tu peux peut-être me donner accès à ton Jeedom
pour que je regarde déjà dans quel état c’est. Et j’essaierai de te faire tes restaurations avec adminer. Et on peut en même temps échanger par téléphone si j’ai des questions. Pour essayer de régler le problème rapidement.
Avant toute chose, il faudra refaire un backup avant au cas où.
A toi de voir.
Je t’ai envoyé un MP ce matin, on en reparle 
Bon, voilà ce que j’ai fait :
- récupération par adminer sur la VM backup de la table teleinfo et teleinfo_save, 150 Mo quand même.
- ensuite backup côté production
- ensuite j’ai ouvert mes 2 sql pour identifier les dates de début et de fin et j’ai nettoyé la table sur les données qui se sont ajoutées toutes seules hier et ce matin le temps de récupérer ces backups.
- un delete coté db sur la production du 29/11/2018 au 22/05/2020 (j’aurai pu affiner mais vu que j’avais le backup…)
delete from conso_teleinfo where ((rec_date between '2018-11-29' and '2020-05-21') or (rec_date = '2020-05-22' and rec_time <= '06:15:22'))
et un import après avoir vérifié l’INSERT dans le fichier SQL par sécurité.
J’ai été voir le dashboard mais il est toujours faux, donc je présume qu’il me faut aussi modifier la table teleinfo_save aussi…
Sauf que les données remontent à 2017 et elles s’arrêtent à 2018.
Du coup, je ne comprends pas trop car là je pense que mon insert a du marcher non ?
Ensuite côté db par exemple pour electricité, j’ai bien fait une synchro au cas où tu poses la question. Les graphes démarrent le 25. Sauf que j’ai bien des données en 24 :
Jusqu’à 23h53.
MAIS si je regarde le 23 ou le 22…
EDIT : Et j’ai compris ! Mon erreur était de travailler sur un fichier non zippé. Le serveur ne récupérait pas le fichier complet. Je viens de faire un tar.gz et je l’ai poussé (de 1 Go passé à 80 Mo), pareil, la page d’adminer charge le fichier à 100% et reste à moitié blanche.
Du coup, j’ai voulu passer par le plugin tant qu’à faire !
Hop, tout content :
****************Import de l\historique *********************
Restauration de l'historique conso_teleinfo.sql.gz
gunzip < /var/www/html/plugins/conso/core/class/../../ressources/backup/conso_teleinfo.sql.gz | mysql -hlocalhost -ujeedom --pcXXXX jeedom
Restauration en cours ......
Restauration Terminée
[END CONSO_HISTORIQUE SUCCESS]
Je vais réinjecter tes fichiers du coup !
Par contre, j’ai bien un souci, je n’ai aucune donnée dans la table pv 1545 avant le 22, je ne comprends pas pourquoi ! Pourtant je te les ai bien données je les ai depuis le début de l’installation
Bon alors après avoir restauré mon teleinfo, j’ai donc fait le nettoyage pour l’ECS sur cette période et réinjecter ton fichier corrigé puis synchro.
J’ai toujours un souci malgré tes données corrigées en puissance voir graphique du 1/5 au 31/5.
le problème semble être entre le 18 et le 24. pourtant la puissance instantanée semble bonne.
Mais comme l’historique sur les informations d’ECS ne dure pas plus de 7j pour jour/veille, je n’arrive pas à savoir qui est en cause.
Je viens de vérifier sur mon jeedom de backup, mais je n’ai aucune donnée de PV avant le 29/4 ! Je ne pige pas.
J’ai restauré un backup encore plus vieux du 19 pour voir si je n’aurai pas fait une bêtise, mais je n’en ai pas souvenir. Pareil ! Pas de données avant le 28/04 21h … je ne comprends pas. J’ai restauré mon plus vieux backup du 3/5 et j’avais déjà plus de données du PV. Je ne comprends pas du tout … bizarre !
J’ai gardé cette version et j’ai corrigé le PV.
Pour le PV, j’ai une idée. J’ai un autre équipement qui est la vraie conso remontée par l’API et le fournisseur, plus précise que le compteur pulse. Je me demande si je ne pourrais pas copier l’équipement. Il s’agit de l’équipement 1547. Tu penses possible ?
Je n’ai jamais réussi à traiter ces données par suivi conso car c’est un remplissage que je vais chaque jour d’un coup. A investiguer ensuite.
Par contre, j’aimerai que tu m’expliques comment je ne peux pas avoir de données en table consoteleinfo alors que mes stats me remontent bien des informations sur les 2 derniers mois (mars/avril).
On dirait que j’ai paumé les données de puissance/énergie mais pas les données calculées par le plugin mais dans ce cas pourquoi le dashboard reste vide sur PV ???
Ces stats sont des maxbetween sur mois, semaine, jour.
Pourtant c’est vide :
Je ne comprends pas !
Est ce tu réinjectes conso_teleinfo_save dans conso_teleinfo ou dans conso_teleinfo_save?
Sinon si tu n’a plus rien il faudra travailler sur conso_jour qui lui contient tout l’historique pour les graphiques
Non j’ai réinjecté teleinfo dans teleinfo ; pas save.
J’ai remarqué que save était sur des dates bien plus vieilles (certainement la fonction historisation) : 2017/2018. Donc je n’y ai pas touché.
Ok donc du coup il faut travailler sur conso_jour qui lui doit contenir tes données depuis le début.
Les graphiques s’appuient sur elle sauf pour le graphiques des puissances qui d’appuie sur conso_teleinfo.
Quand tu fais une synchro conso_jour est mis à jour à partir de conso_teleinfo.
Moi par exemple j’ai recupéré les historiques de mon EcoDevices que j’ai réinjecté dans conso_jour pour avoir mes infos sur plusieurs année.
Je viens de t’envoyer un MP.