Perte de données sur synchroniser tout

Bonjour @superbricolo,

j’ai changé, début 2022, ma source d’informations me permettant d’obtenir les index HP et HC au profit du Zlinky. je m’étais aperçu que les index n’étaient plus du tout les mêmes qu’avant ce changement mais je n’avais pas pris le temps de chercher. voila quelques jours j’ai regardé de plus près et le Zlinky me fournit des kwh alors que le plugin attend du wh. j’ai multiplié par 1000 dans mon équipement suivi conso et tout rentre dans l’ordre de ce côté là.
hier j’ai voulu faire de la correction de valeur via le plugin sur la période avril-décembre 2022. Juste avant cela j’ai appliqué la dernière mise à jour du plugin datant du 25/01, auparavant j’étais à jour sur le plugin.
une fois les corrections faites mes graphes n’étant pas à jour j’ai utilisé le bouton « tout synchroniser » du plugin, et là après quelques minutes j’ai un message furtif qui est apparu en bas à droite indiquant « gateway timeout 404 » ou quelques chose comme ça.
Admettons mais après ça ma table « conso_teleinfo » était vide, seules les nouvelles valeurs reçues sont présentes.

J’ai restauré ma sauvegarde jeedom et j’ai refais la manipulation sans mettre à jour le plugin, même résultat.
Nouvelle tentative sans même corriger les valeurs pour un même résultat.

Première question, est ce que j’utilise à bon escient le bouton « tout synchroniser » ?
Ensuite si oui, une piste sur ce qui arrive et comment le solutionner ?
j’ai fait un tour dans les logs du plugin je n’ai rien vu de particulier :confused:

autre point en faisant le tour des logs, depuis au moins l’avant dernière mise à jour du plugin (celle avant le 25/01) dans le log cron_execution j’ai ces lignes récurrentes :

0967|PHP Notice:  Undefined index: hchp2 in /var/www/html/plugins/conso/core/class/conso.class.php on line 408
0968|PHP Notice:  Undefined index: hchc2 in /var/www/html/plugins/conso/core/class/conso.class.php on line 409
0969|PHP Notice:  Undefined index: hchp3 in /var/www/html/plugins/conso/core/class/conso.class.php on line 410
0970|PHP Notice:  Undefined index: hchc3 in /var/www/html/plugins/conso/core/class/conso.class.php on line 411

elles apparaissent par lot de 3 puisque j’ai 3 équipements dans suivi conso. Ces équipements ne possèdent pas de commandes « hchc ou hchp 2 et 3 »

merci par avance pour tes conseils sur le premier problème, le second rien de bien important sans doute un loupé quelque part :wink:

1 « J'aime »
  • Tout d’abord, tu utilises le bouton « Synchroniser » à bon escient, si tu effectues les correction dans conso_teleinfo.

  • Ensuite Je t’invites à effectuer les dernières maj de toutes façon.

  • Pour les erreurs dans le log, il faut simplement resauvegarder tous tes équipements SuiviConso

  • J’ai retester chez moi le « tout synchroniser », cela ne pose pas de problèmes

Alors, je peux te propose que tu m’ouvres un accès pour voir si je trouve quelque chose

Les mises à jour sont faites régulièrement en effet :wink:
On peut faire une session teamviewer il faut simplement que nous nous synchronisions pour un créneau horaire qui convienne à tous les 2

J’aime autant un accès directe Jeedom. Cela me permet de regarder à l’heure que je peux, souvent très tard le soir.
Après si tu préfères un TeanViewer, alors on peut effectivement se caler. Mais je ne suis dispo que le soir assez tard 21h30 au mieux

Bonjour,

désolé je n’ai pas donné suite rapidement à la demande.
j’ai voulu corriger toutes mes données avant de te donner les accès. j’ai fais la correction globale ce vendredi et je n’ai rien touché d’autre.
A ma grande surprise les données sur le graphe annuel sont correctes depuis hier, mis à part le mois d’aout. Bon je ne comprends pas trop pourquoi le graphe pour 2022 est à nouveau ok, peut être un calcul sur un cron journalier. Quoiqu’il en soit tout est correct sauf le mois d’aout. et là je ne trouve pas l’erreur. voici le graphe :

j’ai parcouru jour à jour le mois d’aout tout semble cohérent, simplement pour le 25/08 je n’ai pas le même nombre d’enregistrement sans doute du à une coupure électrique ou un plantage jeedom ^^
Chaque jour j’ai environ 1300 enregistrements et pour le 25 j’en ai 950. et l’on voit bien un long laps de temps sans données :

est ce que ça peut être la raison du mauvais calcul du mois d’aout ? comment puis je le vérifier ou que puis je vérifier d’autre ?

Il n’y a pas évolution de l’index sur ta période de coupure, donc ce n’est pas ça l’anomalie

Tu peux exécuter la requête suivante et me donner le résultat:

select * from conso_jour where rec_date like '2022-08%' and id_eq = 90

Il faut commencer par regarder dans la table jour pour repérer sur quels jours sont les anomalies, et dans un second temps rechercher dans conso_teleinfo sur le jour concerné

voila le résultat en adaptant id_eq à 236 qui est mon équipement.
si je comprends le résultat l’erreur serait sur le 03/08

Oui, c’est bien cela. Maintenant, il faut trouver dans conso_teleinfo où se situe le changement important d’index pour pouvoir corriger. Et ensuite il faudra faire un « tout synchroniser »

Alors j’ai pu identifier et corriger les erreurs d’index dans la table conso_teleinfo. Du côté du bouton « Synchroniser tout » j’ai eu le même soucis que celui d’origine de ce post. j’ai restauré mon jeedom et laissé en l’état. Ce matin tout est correctement synchronisé et sans perte d’information.
Visiblement mon problème se situe sur l’action sur le bouton « Synchroniser tout ».
A ce stade tout est rentré dans l’ordre mais reste une anomalie inexpliquée sur ce bouton.
je ne connais pas trop les différences mais j’imagine que les mêmes fonctions sont appelées.
de mon côté les différences que je perçois : le user qui déclenche l’action (moi vs jeedom), quand je clique sur le bouton je suis toujours en connexion externe même depuis mon LAN.

j’ai résolu mon problème de données mais si tu as besoin de diagnostiquer on pourra toujours tenter de trouver un créneau commun pour une prise en main distante

Le bouton « synchroniser tout » reprend sur chaque jour les données de conso_teleinfo (le min et le max par journée) pour mettre à jour conso_jour.
Cette procédure est également appliquée toutes les 3h en automatique pour la journée en cours et vers minuit.
Donc, je ne met pas en doute le bon fonctionnement de la fonction. Je pense plutot à un soucis au niveau de ta base de donnée ou au données.
As tu beaucoup d’enregistrement dans ta table conso_teleinfo?

oui il y a 5615225 enregistrements.
par contre je ne comprends pas pourquoi ça planterait sur action manuelle et pas sur un cron

La différence que sur le cron, il ne fait que la journée en cours, ce qui correspond au bouton « synchro jour »

Tu as combien d 'équipement dans SuiviConso?

ok je ne comprends pas pourquoi le problème du mois d’aout disparait seul alors.
j’ai 3 équipements, 1 parent et ses 2 enfants

Chez moi en moyenne, j’ai 560 enregistrements par jour et par équipement. Donc pour toi qui a 3 équipements, cela fait 5615225 / 3 /560 = 3342 jours soit un peu plus de 9 ans.

Alors oui, cela fait un historique tout de même important. Je pense que tu pourrais archiver un peu. Moi par exemple je ne garde que 4 mois. j’utilise l’archivage automatique qui te génère un zip des données de conso_teleinfo qui peut si besoin être recharger dans la base de données.
En plus cela n’impacte en rien l’historique visible sur tout le dashboard hormis celui du graphe " consommation du jour" puisque conso_teleinfo contient les données détaillées du jour


je regarderai tout ceci de prêt mais non pas 9 ans ^^ les premières données sont de 2019.
je vais faire déjà du ménage suite à la multiplication par 1000 des index de 2022 suite à l’erreur lors du passage à Zlinky. en effet grand nombre d’insertion sont identiques. Sur aout 2022 je tourne à 1300 enregistrements par jour.
je regarderai sur janvier 2023 et sur une période avant le Zlinky. J’ai peut être aussi quelque chose à voir pour insérer moins de données. ensuite effectivement je verrai pour de l’archivage.
merci en tout cas pour tes différents conseils

Pas de soucis. Et fais moi signe si tu as encore besoin.
Et si tu n’as que le mois d’août qui disparait, alors je pense vraiment qu’il y a quelque chose dans les données qui pose problème.
En tout cas de toute façon, si tu n’as plus d’info dans conso_teleinfo pour une période donnée, alors quand tu synchronises cela n’impacte plus conso_jour. Elle reste tel quelle.

perso j’ai eu exactement le même cas de figure hier.
Le bouton « synchroniser tout » m’a supprimé tout ce que j’avais dans conso_teleinfo.

Finalement, j’ai trouvé le problème. Le correctif passera cette nuit.

ah cool ^^ je n’étais pas totalement fou alors :stuck_out_tongue: je ferai le test pour te faire un retour du coup

1 « J'aime »