Plugin-teleo (pour compteur Veolia)

A mon avis c’est la RAM qui limite, le script Python s’est arrêté à l’initialisation sur browser avant même d’accéder à la page de login :frowning:

Je me connecte à l’autre. J’ai 6gb de ram. Par contre je viens de voir que je n’ai que 2 relevés sur le site espacés de 6 mois car je viens juste de migrer chez veolia

Mince… Quelle est la config pour que tout fonctionne ?
RPI4 mais combien de Ram ?

Le mien à 4Go et pas de pb

Je suis chez Veolia IDF donc difficile de vous dire, par contre une fois la mise à jour du plugin faite, relancer l’installation des dépendances svp car il y a une erreur dans votre installation sur une dépendance utilisée pour le site « autre »

Bon, je vais regarder s’il y a des promos ou autres…
En tout cas, merci pour le dev et pour l’aide.

1 « J'aime »

Bonjour,

Le plugin fonctionne-t-il avec les abonnés du SEDIF ?

https://espace-client.vedif.eau.veolia.fr

Oui à la base il est fait pour ça :grinning:

1 « J'aime »

Bonjour @Aegis,

J’ai installé le plugin sur un Pi4 4g de RAM avec l’image 64bits fournis par le site Jeedom et je veux remonter ma conso depuis Véolia idf (vedif) :grin:.

Le plugin ne remonte pas d’info… :unamused:

J’ai effectué un chmod 777 sur le dossier /tmp/teleo afin d’obtenir les logs veolia.log

Voici le log Teleo_update :

********************************************************
Installation des dépendances
********************************************************
********************************************************
Update package lists from repositories
********************************************************
Hit:1 http://archive.raspberrypi.org/debian buster InRelease
Hit:2 https://deb.nodesource.com/node_12.x buster InRelease
Hit:3 http://deb.debian.org/debian buster InRelease
Hit:4 http://deb.debian.org/debian-security buster/updates InRelease
Get:5 http://deb.debian.org/debian buster-updates InRelease [51.9 kB]
Fetched 51.9 kB in 3s (14.9 kB/s)
Reading package lists...
********************************************************
Install Firefox
********************************************************
Reading package lists...
Building dependency tree...
Reading state information...
firefox-esr is already the newest version (78.6.0esr-1~deb10u1).
0 upgraded, 0 newly installed, 0 to remove and 10 not upgraded.
********************************************************
Install iceweasel and xvfb
********************************************************
Reading package lists...
Building dependency tree...
Reading state information...
iceweasel is already the newest version (78.6.0esr-1~deb10u1).
xvfb is already the newest version (2:1.20.4-1+rpt2+deb10u2).
0 upgraded, 0 newly installed, 0 to remove and 10 not upgraded.
********************************************************
Install geckodriver driver
********************************************************
Machine Hardware name:aarch64
--2021-01-06 09:27:00--  https://github.com/mozilla/geckodriver/releases/download/v0.26.0/geckodriver-v0.26.0-linux64.tar.gz
Resolving github.com (github.com)... 140.82.121.3
Connecting to github.com (github.com)|140.82.121.3|:443... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://github-production-release-asset-2e65be.s3.amazonaws.com/25354393/5c569480-ed2d-11e9-9cc4-fc5d37f5f932?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20210106%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20210106T082629Z&X-Amz-Expires=300&X-Amz-Signature=4323ad40ac57fac002ec4636813382b87ad0423a1e499a1834a0a87e200dd4ce&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=25354393&response-content-disposition=attachment%3B%20filename%3Dgeckodriver-v0.26.0-linux64.tar.gz&response-content-type=application%2Foctet-stream [following]
--2021-01-06 09:27:00--  https://github-production-release-asset-2e65be.s3.amazonaws.com/25354393/5c569480-ed2d-11e9-9cc4-fc5d37f5f932?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20210106%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20210106T082629Z&X-Amz-Expires=300&X-Amz-Signature=4323ad40ac57fac002ec4636813382b87ad0423a1e499a1834a0a87e200dd4ce&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=25354393&response-content-disposition=attachment%3B%20filename%3Dgeckodriver-v0.26.0-linux64.tar.gz&response-content-type=application%2Foctet-stream
Resolving github-production-release-asset-2e65be.s3.amazonaws.com (github-production-release-asset-2e65be.s3.amazonaws.com)... 52.217.45.132
Connecting to github-production-release-asset-2e65be.s3.amazonaws.com (github-production-release-asset-2e65be.s3.amazonaws.com)|52.217.45.132|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 2390549 (2.3M) [application/octet-stream]
Saving to: 'geckodriver-v0.26.0-linux64.tar.gz'
0K .......... .......... .......... .......... ..........  2%  310K 7s
50K .......... .......... .......... .......... ..........  4%  619K 5s
100K .......... .......... .......... .......... ..........  6%  626K 5s
150K .......... .......... .......... .......... ..........  8% 22.0M 3s
200K .......... .......... .......... .......... .......... 10% 22.8M 3s
250K .......... .......... .......... .......... .......... 12% 18.8M 2s
300K .......... .......... .......... .......... .......... 14%  670K 2s
350K .......... .......... .......... .......... .......... 17% 22.4M 2s
400K .......... .......... .......... .......... .......... 19% 23.0M 2s
450K .......... .......... .......... .......... .......... 21% 25.2M 2s
500K .......... .......... .......... .......... .......... 23% 23.9M 1s
550K .......... .......... .......... .......... .......... 25% 23.7M 1s
600K .......... .......... .......... .......... .......... 27%  722K 1s
650K .......... .......... .......... .......... .......... 29% 22.9M 1s
700K .......... .......... .......... .......... .......... 32% 23.1M 1s
750K .......... .......... .......... .......... .......... 34% 22.4M 1s
800K .......... .......... .......... .......... .......... 36% 22.6M 1s
850K .......... .......... .......... .......... .......... 38% 29.6M 1s
900K .......... .......... .......... .......... .......... 40% 26.4M 1s
950K .......... .......... .......... .......... .......... 42% 24.1M 1s
1000K .......... .......... .......... .......... .......... 44% 24.3M 1s
1050K .......... .......... .......... .......... .......... 47% 24.1M 1s
1100K .......... .......... .......... .......... .......... 49% 24.4M 1s
1150K .......... .......... .......... .......... .......... 51% 24.2M 0s
1200K .......... .......... .......... .......... .......... 53% 24.5M 0s
1250K .......... .......... .......... .......... .......... 55%  894K 0s
1300K .......... .......... .......... .......... .......... 57% 22.4M 0s
1350K .......... .......... .......... .......... .......... 59% 22.2M 0s
1400K .......... .......... .......... .......... .......... 62% 23.0M 0s
1450K .......... .......... .......... .......... .......... 64% 23.2M 0s
1500K .......... .......... .......... .......... .......... 66% 22.2M 0s
1550K .......... .......... .......... .......... .......... 68% 22.8M 0s
1600K .......... .......... .......... .......... .......... 70% 23.4M 0s
1650K .......... .......... .......... .......... .......... 72% 22.8M 0s
1700K .......... .......... .......... .......... .......... 74% 30.2M 0s
1750K .......... .......... .......... .......... .......... 77% 26.4M 0s
1800K .......... .......... .......... .......... .......... 79% 24.1M 0s
1850K .......... .......... .......... .......... .......... 81% 24.4M 0s
1900K .......... .......... .......... .......... .......... 83% 24.1M 0s
1950K .......... .......... .......... .......... .......... 85% 24.4M 0s
2000K .......... .......... .......... .......... .......... 87% 24.3M 0s
2050K .......... .......... .......... .......... .......... 89% 24.3M 0s
2100K .......... .......... .......... .......... .......... 92% 24.0M 0s
2150K .......... .......... .......... .......... .......... 94% 25.8M 0s
2200K .......... .......... .......... .......... .......... 96% 24.4M 0s
2250K .......... .......... .......... .......... .......... 98% 24.7M 0s
2300K .......... .......... .......... ....                 100% 28.6M=0.6s
2021-01-06 09:27:01 (3.77 MB/s) - 'geckodriver-v0.26.0-linux64.tar.gz' saved [2390549/2390549]
geckodriver driver successfully installed
********************************************************
Install Python3 and dependencies
********************************************************
Reading package lists...
Building dependency tree...
Reading state information...
python3 is already the newest version (3.7.3-1).
python3-pip is already the newest version (18.1-5+rpt1).
0 upgraded, 0 newly installed, 0 to remove and 10 not upgraded.
********************************************************
Python3 'requests' module
********************************************************
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: requests in /usr/lib/python3/dist-packages (2.21.0)
********************************************************
Python3 'lxml' module
********************************************************
Reading package lists...
E: You must put some 'source' URIs in your sources.list
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: lxml in /usr/local/lib/python3.7/dist-packages (4.6.2)
********************************************************
Python3 'xlrd' module
********************************************************
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: xlrd in /usr/local/lib/python3.7/dist-packages (2.0.1)
********************************************************
Python3 'selenium' module
********************************************************
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: selenium in /usr/local/lib/python3.7/dist-packages (3.141.0)
Requirement already satisfied: urllib3 in /usr/lib/python3/dist-packages (from selenium) (1.24.1)
********************************************************
Python3 'pyvirtualdisplay' module
********************************************************
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: pyvirtualdisplay in /usr/local/lib/python3.7/dist-packages (1.3.2)
Requirement already satisfied: EasyProcess in /usr/local/lib/python3.7/dist-packages (from pyvirtualdisplay) (0.3)
********************************************************
Python3 'urllib3' module
********************************************************
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: urllib3 in /usr/lib/python3/dist-packages (1.24.1)
********************************************************
Installation terminée
********************************************************
Résumé installation :
1. Mozilla Firefox 78.6.0esr
2. geckodriver driver:
geckodriver driver v0.26.0 for aarch64
3. Packages:
firefox-esr					install
iceweasel					install
python3-pip					install
python3-requests				install
python3-urllib3					install
xvfb						install
4. Python 3.7.3
5. Python modules:
lxml                4.6.2
PyVirtualDisplay    1.3.2
requests            2.21.0
selenium            3.141.0
urllib3             1.24.1
xlrd                2.0.1

Le log Teleo :


[2021-01-06 09:28:52][DEBUG] : [Maison ][Eau Maison] le 05/01/2021 : données déjà présentes pour la commande Conso Annuelle mais Force Refresh activé
[2021-01-06 09:28:52][DEBUG] : [Maison ][Eau Maison] le 05/01/2021 : données déjà présentes pour la commande Conso Hebdo mais Force Refresh activé
[2021-01-06 09:28:52][DEBUG] : [Maison ][Eau Maison] le 05/01/2021 : données déjà présentes pour la commande Conso Jour mais Force Refresh activé
[2021-01-06 09:28:52][DEBUG] : [Maison ][Eau Maison] le 05/01/2021 : données déjà présentes pour la commande Conso Mensuelle mais Force Refresh activé
[2021-01-06 09:28:52][DEBUG] : [Maison ][Eau Maison] le 05/01/2021 : données déjà présentes pour la commande Index mais Force Refresh activé
[2021-01-06 09:29:06][INFO] : [Maison ][Eau Maison] Récupération des données  - 1ère étape
[2021-01-06 09:29:06][INFO] : [Maison ][Eau Maison] 1ère étape d'authentification Veolia
[2021-01-06 09:29:06][DEBUG] : [Maison ][Eau Maison] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh IDF **************@gmail.com ********* /tmp/teleo
[2021-01-06 09:29:08][WARNING] : [Maison ][Eau Maison] Erreur de lancement du script : [ 0  ] (/tmp/teleo/veolia.log) - Abandon
[2021-01-06 09:29:08][WARNING] : [Maison ][Eau Maison] Erreur de récupération des données - Abandon

Le log veolia.log :

2021-01-06 09:22:59,376 :: INFO :: Initialisation browser
2021-01-06 09:22:59,391 :: ERROR :: [Errno 8] Exec format error: '/usr/local/bin/geckodriver'
2021-01-06 09:22:59,392 :: INFO :: Fermeture display. Exit code 0
2021-01-06 09:23:00,050 :: INFO :: Initialisation browser
2021-01-06 09:23:00,065 :: ERROR :: [Errno 8] Exec format error: '/usr/local/bin/geckodriver'
2021-01-06 09:23:00,066 :: INFO :: Fermeture display. Exit code 0
2021-01-06 09:29:07,530 :: INFO :: Initialisation browser
2021-01-06 09:29:07,545 :: ERROR :: [Errno 8] Exec format error: '/usr/local/bin/geckodriver'
2021-01-06 09:29:07,546 :: INFO :: Fermeture display. Exit code 0
2021-01-06 09:29:08,109 :: INFO :: Initialisation browser
2021-01-06 09:29:08,126 :: ERROR :: [Errno 8] Exec format error: '/usr/local/bin/geckodriver'
2021-01-06 09:29:08,127 :: INFO :: Fermeture display. Exit code 0

En espérant que cela puisse aider. :thinking:

Hello, apparemment ce n’est pas la bonne version du driver geckodriver

Peux-tu exécuter les commandes suivantes en ssh :

	sudo wget https://eu.mirror.archlinuxarm.org/aarch64/community/geckodriver-0.26.0-1-aarch64.pkg.tar.xz
	sudo tar xJf geckodriver-0.26.0-1-aarch64.pkg.tar.xz usr/bin/geckodriver
	sudo mv usr/bin/geckodriver /usr/local/bin
	sudo chmod +x /usr/local/bin/geckodriver
	sudo rm geckodriver-0.26.0-1-aarch64.pkg.tar.xz

et retester la récupération des données

Hello,

J’ai appliqué les lignes en SSH est relancé plusieurs fois la récupération de donnée.

2021-01-06 14:09:06,028 :: INFO :: Initialisation browser
2021-01-06 14:10:06,172 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 14:10:06,174 :: INFO :: Fermeture display. Exit code 0
2021-01-06 14:10:06,760 :: INFO :: Initialisation browser
2021-01-06 14:11:06,992 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 14:11:06,995 :: INFO :: Fermeture display. Exit code 0
2021-01-06 14:12:35,317 :: INFO :: Initialisation browser
2021-01-06 14:13:35,583 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 14:13:35,586 :: INFO :: Fermeture display. Exit code 0
2021-01-06 14:13:36,171 :: INFO :: Initialisation browser
2021-01-06 14:14:36,316 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 14:14:36,318 :: INFO :: Fermeture display. Exit code 0

Puis j’ai relancé les dépendances et la récupération de donnée :

2021-01-06 14:16:42,388 :: INFO :: Initialisation browser
2021-01-06 14:16:42,403 :: ERROR :: [Errno 8] Exec format error: '/usr/local/bin/geckodriver'
2021-01-06 14:16:42,404 :: INFO :: Fermeture display. Exit code 0
2021-01-06 14:16:42,965 :: INFO :: Initialisation browser
2021-01-06 14:16:42,980 :: ERROR :: [Errno 8] Exec format error: '/usr/local/bin/geckodriver'
2021-01-06 14:16:42,981 :: INFO :: Fermeture display. Exit code 0

J’ai de nouveau appliqué les lignes de commandes et la récupération de donnée

2021-01-06 14:21:07,396 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 14:21:07,399 :: INFO :: Fermeture display. Exit code 0
2021-01-06 14:21:07,973 :: INFO :: Initialisation browser
2021-01-06 14:22:08,175 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 14:22:08,178 :: INFO :: Fermeture display. Exit code 0
2021-01-06 14:31:25,937 :: INFO :: Initialisation browser
2021-01-06 14:32:26,180 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 14:32:26,183 :: INFO :: Fermeture display. Exit code 0
2021-01-06 14:32:26,794 :: INFO :: Initialisation browser
2021-01-06 14:33:27,012 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 14:33:27,015 :: INFO :: Fermeture display. Exit code 0

J’ai également vérifier mon accès au site → OK et mes yeux non pas constaté de lenteur particulière :face_with_monocle:

Il faut que je me fasse une clé avec la version 64 bits pour voir s’il y a un pb avec le driver geckodriver, mais ce ne sera pas avant ce WE (pour le moment, chez moi, je fais tourner le script sur une buster 32 bits).

Le browser ne semble pas s’initialiser…

Edit : bon j’ai vite fait une clé avec buster 64bits (pas celle de jeedom) et je n’ai pas de souci avec le driver, je récupère bien les données.

A tout hazard, pouvez-vous exécuter la commande suivante :

pgrep -f "firefox-esr -marionette -headless -profile"

Sinon j’ai validé la modification des dépendances car le précédent script ne fonctionnait pas pour les archi aarch64 et j’ai aussi mis à jour le driver des versions armv7l, donc une fois récupérer la mise à jour vous pourrez relancer l’installation des dépendances pour ceux qui avaient déjà installé le plugin.

Hello,

J’ai appliqué la commande, update le plugin et relancé les dépendances.

Pas de changement… :thinking:

2021-01-06 19:33:15,092 :: INFO :: Initialisation browser
2021-01-06 19:33:49,823 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 19:33:49,828 :: INFO :: Fermeture display. Exit code 0
2021-01-06 19:33:50,488 :: INFO :: Initialisation browser
2021-01-06 19:34:50,644 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 19:34:50,649 :: INFO :: Fermeture display. Exit code 0
2021-01-06 19:39:12,752 :: INFO :: Initialisation browser
2021-01-06 19:40:12,933 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 19:40:12,939 :: INFO :: Fermeture display. Exit code 0
2021-01-06 19:40:13,541 :: INFO :: Initialisation browser
2021-01-06 19:41:13,688 :: ERROR :: La page met trop de temps à s'afficher
2021-01-06 19:41:13,693 :: INFO :: Fermeture display. Exit code 0

geckodriver.log

*** You are running in headless mode.

Que donne la commande pgrep ?

Hello,
Je ne sais pas où je peux avoir un retour de la cmd pgrep.
Quand je l’applique en SSH, j’ai un retour à la ligne mais pas de retour d’etat ou d’actions particulières.

$ pgrep --version
pgrep from procps-ng 3.3.15

Ok le fait qu’il n’y ait pas retour indique qu’il n’y a pas de processus firefox bloqué en mémoire. Pour le moment je n’ai pas d’idée. Il faut que je fasse le test avec l’image de Jeedom.

Teste aussi cette commande :

pgrep -f "/usr/local/bin/geckodriver" -c

Peux être un dernier test en rebootant le PI

Hello,

Je rebondis car chez moi ça évolue…

[2021-01-07 18:55:01][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-07 18:55:01][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-07 18:55:03][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-07 18:55:03][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-04 23:55:00

L’index dispo date du 04/01… Donc il évolue bien mais :

  • n’est pas journalier
  • systématiquement en retard (> J-1)

Hello.

Petit retour, tout roule chez moi (idf) :
Journalier :

1 « J'aime »

Tu peux mettre le log en débug ces prochains jours que je vois ce qui est récupéré

1 « J'aime »

Voilà l’actuel déjà

[2021-01-07 19:17:27][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-07 19:17:27][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-07 19:17:27][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh Other mail@mail.fr Password /tmp/teleo/
[2021-01-07 19:17:31][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-07 19:17:31][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-07 19:17:31][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-04;270998;16;M
[2021-01-07 19:17:31][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-04 23:55:00
[2021-01-07 19:17:31][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-04 23:55:00
[2021-01-07 19:17:49][DEBUG] : [Au sous-sol][Eau] le 06/01/2021 : données déjà présentes pour la commande Index mais Force Refresh activé
[2021-01-07 19:17:49][DEBUG] : [Au sous-sol][Eau] le 06/01/2021 : données déjà présentes pour la commande Conso Annuelle mais Force Refresh activé
[2021-01-07 19:17:49][DEBUG] : [Au sous-sol][Eau] le 06/01/2021 : données déjà présentes pour la commande Conso Hebdo mais Force Refresh activé
[2021-01-07 19:17:49][DEBUG] : [Au sous-sol][Eau] le 06/01/2021 : données déjà présentes pour la commande Conso Jour mais Force Refresh activé
[2021-01-07 19:17:49][DEBUG] : [Au sous-sol][Eau] le 06/01/2021 : données déjà présentes pour la commande Conso Mensuelle mais Force Refresh activé
[2021-01-07 19:18:06][INFO] : [Au sous-sol][Eau] Récupération des données  - 1ère étape
[2021-01-07 19:18:06][INFO] : [Au sous-sol][Eau] 1ère étape d'authentification Veolia
[2021-01-07 19:18:06][DEBUG] : [Au sous-sol][Eau] Commande : /var/www/html/plugins/teleo/resources/get_veolia_data.sh mail@mail.fr Password /tmp/teleo/
[2021-01-07 19:18:08][INFO] : [Au sous-sol][Eau] Récupération des données  - 2ème étape
[2021-01-07 19:18:08][DEBUG] : [Au sous-sol][Eau] Commande : tail -1 /tmp/teleo//historique_jours_litres.csv
[2021-01-07 19:18:08][DEBUG] : [Au sous-sol][Eau] Data : 2021-01-04;270998;16;M
[2021-01-07 19:18:08][DEBUG] : [Au sous-sol][Eau] Vérification date dernière mesure : 2021-01-04 23:55:00
[2021-01-07 19:18:08][WARNING] : [Au sous-sol][Eau] Récupération des données  le relevé n'est pas encore disponible, la derniere valeur est en date du 2021-01-04 23:55:00