Données fausses, comment les supprimer facilement (ou lisser)

[mercijeedom]

Bonjour à tous,

Mon problème et je ne suis pas le seul apparemment est que j’ai des données fausses (certaines à cause de moi) comme vous pouvez le voir ci-dessous :

J’ai vu qu’il y avait plusieurs façons de corriger ces mauvaises valeurs mais dans mon cas aucune ne fonctionne et pire que ça, en voulant corriger j’ai supprimé certaines journées et je n’arrive pas à les recréer alors que dans les graphs du mois ou de l’année ont voit bien ces pics.

1ere question : est-ce que quelqu’un pourrait m’expliquer comment réagir qd des valeurs sont fausses ?
2nd question : est-ce que la personne en charge du plugin pourrait-elle empêcher des valeurs incohérentes et/ou avec le bouton « identifier erreurs » pouvoir les corriger facilement ?

Bon courage à tous

PS : Jeedom malgré quelques petits embêtements restent un très bons produits

[superbricolo]

Pour corriger, il faut faire en sorte dans conso_teleinfo d’avoir pour 1 journée une ligne avec l’index mini et une autre avec l’index maxi correspondant à la conso du jour. Ce seront ces valeurs qui seront reportées dans conso_jour en faisant un tout synchroniser s’il s’agit d’une journée précédente, ou un synchroniser aujourd’hui s’il s’agit des données du jour.
La 2ème solution consiste à supprimer toutes les données du jour dans conso_teleinfo et de corriger les valeurs (index et conso) dans conso_jour. Etant donné qu’il n’y aura plus de données dans conso_teleinfo, la synchro n’agira plus sur conso_jour.

Sinon je n’ai jamais utilisé le bouton « identifier erreurs ». Et je n’ai jamais regardé ce qu’il faisait.

Si tu ne t’en sors pas, tu m’ouvres un accès et je te ferais la correction

[mercijeedom]

merci superbricolo pour tes conseils, j’ai fait un insert comme tu peux le voir ci-dessous mais dès que je fais « synchroniser tout » je perd ce que je viens d’ajouter, sais-tu pourquoi ?

[superbricolo]

Parce que le plugin dégage les données ayant des index trop petit (de mémoire inférieure à 5). Je te conseille d’essayer avec les valeurs 11 et 12 plutôt que 1 et 2

[mercijeedom]

qu’est ce que je ferais sans toi merci beaucoup, en effet ça marche mieux avec ces valeurs.

juste pour info, tu es développeur pro ? dans quels langages ? je te demande ça car je suis dans l’informatique depuis longtemps mais plutôt stockage et depuis peu métrologie (splunk, nifi, kafka) mais le développement m’a toujours intéressé, j’ai bien envie de me reconvertir et si tu as des conseils je suis preneur.

Encore merci à toi pour ton aide

[bornich]

si ca peut aider, grace a @superbricolo, je me suis mis au point la technique suivante lorsque j’ai un soucis de mesures afin de ne pas fausser les données a long terme.

le lendemain de l’erreur, je vais dans la base teleinfo,
je regarde la premiere valeur de la journee, je cherche le point de bascule : je peux en déduire la conso de la première partie de la journée
au point de bascule, je regarde le point de départ puis la derniere valeur de la journée : j’en déduis la conso de la seconde partie de la journée
j’additionne ces 2 valeurs
je modifie la premiere valeur de la journée par 6
je modifie la dernière valeur de la journée par 6+la conso de la journee (somme des 2 trouvées ci dessus)
puis je supprime toutes les autres valeurs de la journée
retour dans le plugin, synchroniser tout et le tour est joué et le résultat exact

[superbricolo]

Je suis effectivement développeur pro, mais je ne fais rien d’extraordinaire. Je travaille dans l’agro-alimentaire (secteur de la viande): Développement principalement sur Progress avec base de données Oracle et Progress. Je développe aussi bien des outils de gestion que des postes de production avec pilotage de matériels de pesage, étiquetage, scanner …

[mercijeedom]

Merci @superbricolo pour ton retour, je pense commencer par du python déjà car j’en ai besoin dans mon boulot et merci @bornich pour ta technique, elle me parait bonne, par contre mon problème actuel était que je n’ai pas réagi tout de suite ou mal réagi, du coup j’avais des valeurs incohérentes sur plusieurs mois depuis 2019 même.

[mercijeedom]

Sans vouloir abuser, j’ai des valeurs que je n’arrive pas à corriger :

J’ai fait ça :

DELETE
FROM [conso_teleinfo](http://192.168.1.26/adminer/adminer.php?username=jeedom&db=jeedom&table=conso_teleinfo)
WHERE id_equipement = 51 AND rec_date BETWEEN ‹ 2020-09-01 › AND ‹ 2020-09-30 ›
;
INSERT INTO [conso_teleinfo](http://192.168.1.26/adminer/adminer.php?username=jeedom&db=jeedom&table=conso_teleinfo) (timestamp,rec_date,rec_time,hchp,hchc,ptec,inst1,imax1,pmax,papp,id_equipement,temp)
VALUES
(‹ 1598918401 ›,‹ 2020-09-01 ›,‹ 00:00:01 ›,‹ 11 ›,‹ 11 ›,‹ HT ›,‹ 0 ›,‹ 0 ›,‹ 0 ›,‹ 11 ›,‹ 51 ›,‹ 0 ›),
(‹ 1598918402 ›,‹ 2020-09-01 ›,‹ 00:00:02 ›,‹ 10000 ›,‹ 4000 ›,‹ HT ›,‹ 0 ›,‹ 0 ›,‹ 0 ›,‹ 450 ›,‹ 51 ›,‹ 0 ›),
(‹ 1601424001 ›,‹ 2020-09-30 ›,‹ 00:00:01 ›,‹ 11 ›,‹ 11 ›,‹ HT ›,‹ 0 ›,‹ 0 ›,‹ 0 ›,‹ 11 ›,‹ 51 ›,‹ 0 ›),
(‹ 1601424002 ›,‹ 2020-09-30 ›,‹ 00:00:02 ›,‹ 10000 ›,‹ 4000 ›,‹ HT ›,‹ 0 ›,‹ 0 ›,‹ 0 ›,‹ 450 ›,‹ 51 ›,‹ 0 ›)
;
SELECT *
FROM [conso_teleinfo](http://192.168.1.26/adminer/adminer.php?username=jeedom&db=jeedom&table=conso_teleinfo)
WHERE id_equipement = 51 AND rec_date BETWEEN ‹ 2020-09-01 › AND ‹ 2020-09-30 ›
LIMIT 50
;

[bornich]

j’utilise Adminer car je ne connais pas le langage SQL (aucun autre non plus d’ailleurs) mais un truc me choque tout de même, c’est le LIMIT 50
dans Admin, je commence toujours par mettre ca a 2000 pour « y voir clair » … pertinent, non pertinent comme remarque ?

[mercijeedom]

Salut @bornich, déjà merci d’essayer de m’aider et pour info j’utilise également Adminer mais j’ai la chance de connaître un peu le SQL et honnêtement avec internet on trouve tout ce qu’il faut même si on ne connaît pas ce langage.

Le « LIMIT 50 » ne pose pas de problème car je commence par un DELETE de toutes les lignes puis j’INSERT 4 lignes, donc le SELECT avec LIMIT 50 est large vu que je n’ai plus que 4 lignes.

Merci qd même et n’hésites pas si tu as d’autres remarques, j’ai forcément fait une erreur quelquepart

[superbricolo]

Pour PTEC la valeur doit être HP ou HC mais pas HT.
Après j’aurais corrigé que la journée en anomalie et donc pas supprimé le mois entier.

Pour effectuer des corrections @benj29 nous à fait un beau tuto:

Suivi conso problème de comptage

Merci déjà pour la première réponse. J’ai de quoi faire. Je te confirme dès que ok. Pour la seconde ma question est sur un objet suivi conso (ex eau général, électricité, pompe piscine) on a des données que l’on peut historiser : conso jour, veille, semaine, mois etc. Si problème d’index, elles sont fausses. Comment les recalculer ? Ou comment adresser la db pour avoir les mêmes données ? Vous devez bien avoir les formules de calcul qui permettent de les sortir