Plugin-teleo (pour compteur Veolia)

Aegis · Janvier 7, 2021, 6:30

Ok la dernière valeur (celle du 4) est apparue dans le fichier à la date du 6 au minimum je suppose (ils ne sont pas super réactif ces compteurs connectés chez Veolia Eau )

naboleo · Janvier 7, 2021, 6:34

J’ai droit à un joker sur le sujet ?? Parce que pour intervenir c’est dans le même esprit

Aegis · Janvier 7, 2021, 6:39

Bon je vais modifier ce WE mon algo qui gère la date de la donnée remontée

naboleo · Janvier 7, 2021, 6:41

Merci
PS: Dans le doute, on est bien d’accord que la rapidité d’intervention, c’est Véolia, hein ?

Aegis · Janvier 7, 2021, 6:47

oui ne t’inquiète pas

secourt · Janvier 8, 2021, 10:52

Bonjour,
Petit retour, tout fonctionne bien.
Petite question, est il possible d’afficher la date de la dernière mesure car avec Véolia j’ai un décalage et je récupères les infos 48h après environs donc pour voir si la remontée s’est bien faite ou pas.
Merci d’avance.

Aegis · Janvier 8, 2021, 4:40

Hello, merci pour ton retour.

J’image que tu est chez Veolia Eau et pas à Veolia IDF.

Actuellement le plugin suppose que la donnée à traiter est celle de J-1 (c’est toujours le cas avec Veolia IDF). Normalement, si tu passes la souris sur la valeur, la date de collecte de la données est celles de J-1 23:55:00

Si aucune donnée n’a été importé pour J-1, il y a un message d’erreur dans le log.

Je vais tenter de faire une évolution pour votre cas, pour traiter les données plus vieilles que J-1

secourt · Janvier 8, 2021, 6:41

Oui veolia eau

Aegis · Janvier 8, 2021, 8:36

Pour ceux qui sont chez Veolia Eau, quel est le retard maximum que vous avez vu par rapport à la dernière mesure : plus de 48h, plus d’une semaine ?

naboleo · Janvier 9, 2021, 2:08

Hello,

on dirait :
J-48h date du relevé
J-24h date de mise à jour de la conso

ET de temps en temps, il y a pas de relevé => cumul à une date ultérieure / report de la valeur -1


[2021-01-08 20:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : absence de données pour la commande Index
[2021-01-08 20:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-08 20:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-08 20:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : absence de données pour la commande Conso Jour
[2021-01-08 20:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-08 20:31:29][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-08 20:31:29][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-08 20:31:29][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-08 20:31:32][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Dernière date de collecte de l'index = 2021-01-06 23:55:00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau]--------------------------
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Commande = index Valeur du relevé 271402 à la date du 2021-01-07 23:55:00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Enregistrement mesure :  Cmd = 17964 Date = 2021-01-07 23:55:00 => Mesure = 271402
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau]--------------------------
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Commande = consod Récupération valeur index entre le 2021-01-06 23:55:00 et le 2021-01-07 23:55:00 Min = 271278.00 et Max = 271402.00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Enregistrement mesure :  Cmd = 17968 Date = 2021-01-07 23:55:00 => Mesure = 124
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau]--------------------------
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Commande = consoh Récupération valeur index entre le 2021-01-03 23:55:00 et le 2021-01-07 23:55:00 Min = 271278.00 et Max = 271402.00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Suppression historique entre le 2021-01-04 23:55:00 et le 2021-01-07 23:55:00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Enregistrement mesure :  Cmd = 17967 Date = 2021-01-07 23:55:00 => Mesure = 124
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau]--------------------------
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Commande = consom Récupération valeur index entre le 2020-12-31 23:55:00 et le 2021-01-07 23:55:00 Min = 271278.00 et Max = 271402.00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Suppression historique entre le 2021-01-01 23:55:00 et le 2021-01-07 23:55:00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Enregistrement mesure :  Cmd = 17966 Date = 2021-01-07 23:55:00 => Mesure = 124
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau]--------------------------
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Commande = consoa Récupération valeur index entre le 2020-12-31 23:55:00 et le 2021-01-07 23:55:00 Min = 271278.00 et Max = 271402.00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Suppression historique entre le 2021-01-01 23:55:00 et le 2021-01-07 23:55:00
[2021-01-08 20:31:32][DEBUG] : [Au sous-sol][Eau] Enregistrement mesure :  Cmd = 17965 Date = 2021-01-07 23:55:00 => Mesure = 124
[2021-01-08 21:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : données déjà présentes pour la commande Index
[2021-01-08 21:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : données déjà présentes pour la commande Conso Annuelle
[2021-01-08 21:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : données déjà présentes pour la commande Conso Hebdo
[2021-01-08 21:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : données déjà présentes pour la commande Conso Jour
[2021-01-08 21:31:06][DEBUG] : [Au sous-sol][Eau] le 07/01/2021 : données déjà présentes pour la commande Conso Mensuelle
[2021-01-08 21:31:06][INFO] : [Au sous-sol][Eau] le 07/01/2021 : toutes les données sont à jour - désactivation de la vérification automatique pour aujourd'hui
[2021-01-09 04:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 04:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 04:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 04:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 04:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 04:31:55][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 04:31:55][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 04:31:55][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 04:31:57][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 04:31:57][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 04:31:57][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 04:31:57][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 04:31:57][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 05:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 05:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 05:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 05:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 05:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 05:31:32][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 05:31:32][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 05:31:32][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 05:31:33][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 05:31:33][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 05:31:33][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 05:31:33][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 05:31:33][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 06:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 06:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 06:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 06:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 06:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 06:31:28][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 06:31:28][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 06:31:28][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 06:31:30][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 06:31:30][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 06:31:30][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 06:31:30][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 06:31:30][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 07:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 07:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 07:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 07:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 07:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 07:31:17][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 07:31:17][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 07:31:17][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 07:31:18][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 07:31:18][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 07:31:18][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 07:31:18][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 07:31:18][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 08:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 08:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 08:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 08:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 08:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 08:31:33][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 08:31:33][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 08:31:33][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 08:31:35][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 08:31:35][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 08:31:35][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 08:31:35][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 08:31:35][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 09:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 09:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 09:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 09:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 09:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 09:31:20][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 09:31:20][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 09:31:20][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 09:31:21][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 09:31:21][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 09:31:21][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 09:31:21][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 09:31:21][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 10:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 10:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 10:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 10:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 10:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 10:31:45][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 10:31:45][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 10:31:45][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 10:31:47][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 10:31:47][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 10:31:47][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 10:31:47][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 10:31:47][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 11:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 11:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 11:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 11:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 11:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 11:31:51][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 11:31:51][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 11:31:51][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 11:31:53][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 11:31:53][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 11:31:53][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 11:31:53][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 11:31:53][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 12:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 12:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 12:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 12:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 12:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 12:31:17][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 12:31:17][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 12:31:17][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 12:31:19][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 12:31:19][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 12:31:19][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 12:31:19][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 12:31:19][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 13:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 13:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 13:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 13:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 13:31:05][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 13:31:24][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 13:31:24][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 13:31:24][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 13:31:26][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 13:31:26][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 13:31:26][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 13:31:26][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 13:31:26][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00
[2021-01-09 14:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Index
[2021-01-09 14:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Annuelle
[2021-01-09 14:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Hebdo
[2021-01-09 14:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Jour
[2021-01-09 14:31:06][DEBUG] : [Au sous-sol][Eau] le 08/01/2021 : absence de données pour la commande Conso Mensuelle
[2021-01-09 14:31:53][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-09 14:31:53][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-09 14:31:53][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.com password /tmp/teleo/
[2021-01-09 14:31:55][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-09 14:31:55][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-09 14:31:55][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-07;271402;124;M
[2021-01-09 14:31:55][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-07 23:55:00
[2021-01-09 14:31:55][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-07 23:55:00

Comparaison des infos issues du script (G) et du plugin (D)

fguyader · Janvier 12, 2021, 6:21

Bonjour,
Tout d’abord merci à Aegis et à l’ensemble des contributeurs de nous permettre de ne plus etre orphelins de nos données de conso d’eau.

Contexte: Buster 64 bits sur VM, Veolia IDF, connexion au site Veolia et telechargement manuel du CSV ok.

Résumé installation :

Mozilla Firefox 78.6.1esr
geckodriver :
x86_64 geckodriver 0.26.0 (e9783a644016 2019-10-10 13:38 +0000)
Packages:
firefox-esr install
iceweasel install
python3-pip install
python3-requests install
python3-urllib3 install
xvfb install
Python 3.7.3
Python modules:
lxml 4.6.2
PyVirtualDisplay 1.3.2
requests 2.21.0
selenium 3.141.0
urllib3 1.24.1
xlrd 2.0.1

Dans les logs Jeedom, j’ai:
[2021-01-12 17:34:14][INFO] : [Energies][Compteur Veolia] Récupération des données - 1ère étape
[2021-01-12 17:34:14][INFO] : [Energies][Compteur Veolia] 1ère étape d’authentification Veolia
[2021-01-12 17:34:14][DEBUG] : [Energies][Compteur Veolia] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh IDF adresse_mail mdp /tmp/teleo
[2021-01-12 17:35:22][WARNING] :
[2021-01-12 17:35:22][WARNING] : [Energies][Compteur Veolia] Erreur de récupération des données - Abandon

En exécutant manuellement le script get_veolia_data.sh, j’obtiens:
sudo ./get_veolia_data.sh IDF adresse_mail mdp /tmp/teleo
2021-01-12 18:09:29,731 :: INFO :: Initialisation browser
2021-01-12 18:09:31,499 :: INFO :: Page de login
2021-01-12 18:09:41,511 :: INFO :: Page de consommation
2021-01-12 18:10:02,557 :: ERROR :: La page met trop de temps Ã s’afficher
2021-01-12 18:10:02,912 :: INFO :: Fermeture display. Exit code 0
2021-01-12 18:10:03,037 :: INFO :: Initialisation browser
2021-01-12 18:10:04,734 :: INFO :: Page de login
2021-01-12 18:10:14,935 :: INFO :: Page de consommation
2021-01-12 18:10:36,228 :: ERROR :: La page met trop de temps Ã s’afficher
2021-01-12 18:10:36,591 :: INFO :: Fermeture display. Exit code 0

=> Suite à l’accès à la page de conso, il tombe en timeout. Avez vous une idée de la raison de ce timeout?

Merci d’avance

Aegis · Janvier 12, 2021, 6:29

Hello, parfois il arrive que la page mette trop de temps à s’afficher (le timeout est de 20s), le plugin essaie deux fois d’affilée par heure entre 4h et 22h.

Laisse le script s’exécuter à nouveau pour voir si c’est mieux. Après on avisera d’autres options

Pour info quelles sont les caractéristiques de ta VM ?

fguyader · Janvier 12, 2021, 8:27

Le socle est un NUC Intel, sur lequel j’ai un vSphere Vmware qui tourne. J’ai monté ensuite une VM Debian dessus. Ca me permet de remonter une config aisément, entre les sauvegardes Jeedom et les sauvegardes de VM qui sont poussées tous les jours sur mon NAS, et de me monter potentiellement des VM de Pre-Prod lorsque je veux faire des tests.

Le plugin tourne depuis le 4 janvier et mon erreur est systématique: je n’ai jamais réussi à avoir un seul index. Je pensais à un problème d’accès au compte Veolia, mais manuellement j’y accède bien et je peux bien récupérer les CSV. Donc je sèche pour le moment.

Aegis · Janvier 12, 2021, 9:11

Ok on va essayer d’augmenter le timeout pour voir : édite le fichier get_veolia_idf_consommation.py dans le répertoire resources et à la ligne 131 remplace le 20 par 60 dans la fonction WebDriverWait pour le timeout de la page de consommation

Tu as une connexion internet rapide ? Personnellement le plugin tourne depuis 1 mois et demi et je n’ai jamais eu échec parfois ça fonctionne au second essai. Mon temps d’exécution est entre 42 et 92 secondes sur un RPI4 4Go

fguyader · Janvier 13, 2021, 8:28

Ok, merci. Je teste ce soir.
Je suis en FO
Mon Jeedom est dans un sous-LAN dédié à la domotique. Je vais m’y connecter avec mon PC, l’histoire de vérifier que depuis ce réseau je peux bien aussi télécharger en manuel le CSV. Afin de vérifier qu’il n’y a pas un filtrage quelconque de port ou d’IP…
Je teste ce soir, et te fais un retour.

fguyader · Janvier 13, 2021, 3:19

Je viens de tester (c’est bien la prise de main à distance): meme symptome avec 60 sec au lieu de 20:
2021-01-13 15:35:36,803 :: INFO :: Initialisation browser
2021-01-13 15:35:38,363 :: INFO :: Page de login
2021-01-13 15:35:48,599 :: INFO :: Page de consommation
2021-01-13 15:36:49,169 :: ERROR :: La page met trop de temps Ã s’afficher

Du coup, je ne penche plus pour un probleme de timeout, mais plutot de filtrage de port, indépendant du plugin. Je vais regarder si la page de conso exige un port différent. Si c’est le cas, et comme je limite au maximum les ports ouverts sur mon réseau domotique, ca pourrait venir de là.
Je reviens vers toi pour t’indiquer la suite.

fguyader · Janvier 13, 2021, 6:36

Je me suis connecté manuellement au site Veolia pour telecharger les CSV, depuis mon sous-réseau domotique avec un PC: ca fonctionne. Donc pas de filtrage ou de blocage firewall. Du coup, je sèche.
Je vais peut-être détailler le script au moment de l’accès à la page de conso, pour tenter de faire du pas à pas et comprendre la source du probleme.

Aegis · Janvier 13, 2021, 7:12

Oui bizarre. En fait c’est peut être le login qui ne se passe pas bien mais ce serait étrange, tu peux essayer d’augmenter les sleep .

On peut voir aussi du côté de la version du geckodriver. Dans le script commente la ligne de suppression du geckodriver.log et regarde s’il y a des erreurs à l’exécution.

fguyader · Janvier 14, 2021, 11:15

Tout d’abord, merci pour tout cet échange et l’aide que tu apportes.

J’ai investigué du coté des log geckodriver. Ca ne me semble pas venir de ce coté car il semble bien se lancer et s’arreter:

jeedom@Domo:/tmp/teleo$ cat geckodriver.log
1610622044495 mozrunner::runner INFO Running command: « /usr/bin/firefox » « -marionette » « -headless » « –no-sandbox » « -headless » « -foreground » « -no-remote » « -profile » « /tmp/rust_mozprofilePefDU0 »
*** You are running in headless mode.
1610622046075 Marionette INFO Listening on port 45325
1610622046106 Marionette WARN TLS certificate errors will be ignored for this session
1610622117421 Marionette INFO Stopped listening on port 45325
1610622117942 mozrunner::runner INFO Running command: « /usr/bin/firefox » « -marionette » « -headless » « –no-sandbox » « -headless » « -foreground » « -no-remote » « -profile » « /tmp/rust_mozprofilePcZHOu »
*** You are running in headless mode.
1610622119537 Marionette INFO Listening on port 33331
1610622119546 Marionette WARN TLS certificate errors will be ignored for this session
1610622191412 Marionette INFO Stopped listening on port 33331

Je vais regarder en amont, coté authentification, et si je ne vois rien je procéderai à une désinstall/réinstall du plugin.

Flobul · Janvier 17, 2021, 7:32

Bonjour.

Je suis sur la dernière beta.
J’ai fait les mises à jours à chaque fois qu’elles étaient disponibles.
Il y a un soucis sur les calculs des conso.
Les résultats de la commande index semblent bons.

Je te mets les graphiques qui montrent bien le problème.
En bleu, c’est la variation de la commande Index qui devrait coller à la consommation du jour normalement.
2 jours ne collent pas. (confirmé sur le site Veolia également)
Le 15 : 173 L en réel, 946 L sur la commande Conso Jour.

log plugin teleo.txt (100,7 Ko)