Consommation RAM en constante augmentation

Sattaz · Mars 17, 2022, 1:45

Oui pour l’instant car comme je l’ai dit, j’ai redémarré Jeedom hier soir et la RAM est revenu à 78% puis doucement diminue de plus en plus à chaque instant.
Je refais le même test dans 2 jours et on verra si c’est toujours SQL qui augmente sa consommation.

Sébastien

ngrataloup · Mars 17, 2022, 1:45

as-tu aussi regardé coté charge CPU ?

Sattaz · Mars 17, 2022, 1:49

Oui ça m’a l’air ok:

J’ai effectivement des pics CPU, je penses que ça arrive quand des scenarios ‹ lourds › font des calculs de statistiques mais ça me semble ok à ce niveau.
La charge CPU pourrait expliquer une augmentation de RAM ??? (le je ne comprends pas …)

Sébastien

ngrataloup · Mars 17, 2022, 1:52

Non, mais des ralentissements, oui !

Colle nous ta page santé STP

Sattaz · Mars 17, 2022, 2:04

ngrataloup · Mars 17, 2022, 2:28

Je pense qu’il faut que tu suives le post dejà indiqué plus haut : Fuite mémoire sur béta

Tu peux déjà arrêter le plugin jmqtt et voir si ton pb est sur celui là.

Norbert

Sattaz · Mars 17, 2022, 2:47

Avant que je fasse ça, j’ai observé une augmentation de la RAM (suite à la recommendation de @Mips ) sur le process mysql à 3:30 exactement !

 SIZE   PID USER     COMMAND
1983092 1860 mysql   /usr/sbin/mysqld
204008 3147 www-data /usr/bin/python3 /var/www/html/plugins/zigbee/resources/zigbeed/zigbeed.py --device /dev/ttyS2 --loglevel error --socketport 8089 --callback http://127.0.0.1:80/plugins/zigbee/core/php/jeeZigbee.php --apikey KLlbJb3WLHyixODbSauxvNNZnURk0Tut --cycle 0.3 --pid /tmp/jeedom/zigbee/deamon_1.pid --data_folder /var/www/html/plugins/zigbee/data/1 --device_folder /var/www/html/plugins/zigbee/data/device --controller ezsp --sub_controller elelabs --channel 15 --folder_OTA /var/www/html/plugins/zigbee/data/ota
145596 3042 www-data /usr/bin/python /var/www/html/plugins/openzwave/core/class/../../resources/openzwaved/openzwaved.py --device /dev/ttyACM0 --loglevel error --port 8083 --config_folder /var/www/html/plugins/openzwave/core/class/../../resources/openzwaved/config --data_folder /var/www/html/plugins/openzwave/core/class/../../data --callback http://127.0.0.1:80/plugins/openzwave/core/php/jeeZwave.php --apikey CV4XZwZnLK3y2ERO7CV4PwlY3lvJPmq5 --suppressRefresh 0 --cycle 0.3 --pid /tmp/jeedom/openzwave/deamon.pid
142240 2562 www-data php /var/www/html/plugins/jMQTT/resources/jmqttd/jmqttd.php --plugin jMQTT --socketport 1026 --pid /tmp/jeedom/jMQTT/jmqttd.php.pid
138848 2537 www-data /usr/bin/python3 /var/www/html/plugins/googlecast/resources/googlecast.py --loglevel none --socketport 55012 --sockethost 127.0.0.1 --callback http://127.0.0.1:80/plugins/googlecast/core/php/googlecast.api.php --apikey 8TlriwaFFGZWOj9rnx691NC7ZHA9KrsD --ttsweb https://spangenberger.eu.jeedom.link --ttslang fr-FR --ttsengine gtts --ttsspeed 1.2 --ttscache 1 --ttsgapikey AIzaSyD41z2aCepfjsehRow1_khVqv_nOqHcAE0 --gcttsvoice fr-FR-Wavenet-C --ttsdefaultrestoretime 1300 --ttsdefaultsilenceduration 300 --daemonname local --cyclefactor 1 --defaultstatus

Aussi d’après vos suggestions, je m’interresse alors aux CRONs :
→ rien entre les minutes, ni 5 minutes, ni 10 minutes, ni 15 minutes … la RAM reste au même niveau d’utilisation.
→ ça ne peut donc venir que de quelque chose qui utilise le CRON30, vrai?

Et JMQTT utilise CRON (1 minute) et HEALTH (c’est quoi la fréquence?) donc surement pas ce plugin.

Je vais me pencher la dessus et désactiver les plugins et scénarios utilisant CRON30.

Est-ce la bonne approche?

Je reviens dans 15 minutes (30 minutes après le dernier test montrant l’augementation de la RAM) pour confimer cette hypotèse.

Merci!

Sébastien

ngrataloup · Mars 17, 2022, 2:54

J’arrêterai JMQTT et je regarderai ce qu’il se passe

Sattaz · Mars 17, 2022, 3:04

OK …
Mon hypotèse semble fausse, pas d’augmentation significative à 4:00

 SIZE   PID USER     COMMAND
1983584 1860 mysql   /usr/sbin/mysqld
204008 3147 www-data /usr/bin/python3 /var/www/html/plugins/zigbee/resources/zigbeed/zigbeed.py --device /dev/ttyS2 --loglevel error --socketport 8089 --callback http://127.0.0.1:80/plugins/zigbee/core/php/jeeZigbee.php --apikey KLlbJb3WLHyixODbSauxvNNZnURk0Tut --cycle 0.3 --pid /tmp/jeedom/zigbee/deamon_1.pid --data_folder /var/www/html/plugins/zigbee/data/1 --device_folder /var/www/html/plugins/zigbee/data/device --controller ezsp --sub_controller elelabs --channel 15 --folder_OTA /var/www/html/plugins/zigbee/data/ota
149408 2562 www-data php /var/www/html/plugins/jMQTT/resources/jmqttd/jmqttd.php --plugin jMQTT --socketport 1026 --pid /tmp/jeedom/jMQTT/jmqttd.php.pid
145596 3042 www-data /usr/bin/python /var/www/html/plugins/openzwave/core/class/../../resources/openzwaved/openzwaved.py --device /dev/ttyACM0 --loglevel error --port 8083 --config_folder /var/www/html/plugins/openzwave/core/class/../../resources/openzwaved/config --data_folder /var/www/html/plugins/openzwave/core/class/../../data --callback http://127.0.0.1:80/plugins/openzwave/core/php/jeeZwave.php --apikey CV4XZwZnLK3y2ERO7CV4PwlY3lvJPmq5 --suppressRefresh 0 --cycle 0.3 --pid /tmp/jeedom/openzwave/deamon.pid
143032 2537 www-data /usr/bin/python3 /var/www/html/plugins/googlecast/resources/googlecast.py --loglevel none --socketport 55012 --sockethost 127.0.0.1 --callback http://127.0.0.1:80/plugins/googlecast/core/php/googlecast.api.php --apikey 8TlriwaFFGZWOj9rnx691NC7ZHA9KrsD --ttsweb https://spangenberger.eu.jeedom.link --ttslang fr-FR --ttsengine gtts --ttsspeed 1.2 --ttscache 1 --ttsgapikey AIzaSyD41z2aCepfjsehRow1_khVqv_nOqHcAE0 --gcttsvoice fr-FR-Wavenet-C --ttsdefaultrestoretime 1300 --ttsdefaultsilenceduration 300 --daemonname local --cyclefactor 1 --defaultstatus  
87560  2955 www-data /usr/bin/python3 /var/www/html/plugins/xiaomihome/resources/xiaomihomed/xiaomihomed.py --loglevel error --socketport 55019 --callback http://127.0.0.1:80/plugins/xiaomihome/core/php/jeeXiaomiHome.php --apikey mrgINSpN8ldnDiBKqfSqIgNOkc4nSkJt --cycle 0.05 --pid /tmp/jeedom/xiaomihome/deamon.pid
70380  2458 www-data nodejs /var/www/html/plugins/espeasy/resources/espeasy.js 192.168.1.15 http://127.0.0.1:80/plugins/espeasy/core/api/jeeEspeasy.php?apikey=jEVsX1A6Y4JwJR1gPBUhDI67IL38GQQ2 400
56444  2560 www-data python3 /var/www/html/plugins/jMQTT/resources/jmqttd/jmqttd.py --plugin jMQTT --loglevel error --socketport 1025 --apikey MtF8N3954VNLOD6ScHTLvx1h6UXcmthb --pid /tmp/jeedom/jMQTT/jmqttd.py.pid
55384  2865 www-data /usr/bin/python /var/www/html/plugins/teleinfo/ressources/teleinfo.py --type conso --port /dev/ttyUSB0 --vitesse 1200 --apikey QE4dvL8M8eUAYeLf3EdDxb2vDAgT2Qan --mode historique --socketport 55062 --cycle 0.3 --callback http://127.0.0.1:80/plugins/teleinfo/core/php/jeeTeleinfo.php --loglevel debug --cyclesommeil 0.5
52744  1557 root     /usr/sbin/NetworkManager --no-daemon
46584  1750 root     /usr/bin/python3 /usr/bin/fail2ban-server -xf start
44596  2395 root     /usr/bin/python3 /var/www/html/plugins/broadlink/resources/broadlinkd/broadlinkd.py --loglevel error --socketport 55013 --sockethost 127.0.0.1 --callback http://127.0.0.1:80/plugins/broadlink/core/php/jeeBroadlink.php --apikey hLdy4Bpnvpy9799UMyZ4bpDiedivKSIs --cycle 0.3 --pid /tmp/jeedom/broadlink/deamon.pid
25840  1861 root     /usr/lib/policykit-1/polkitd --no-debug
25044  1576 root     /usr/sbin/rngd -r /dev/urandom
23708  2843 www-data php /var/www/html/core/class/../php/jeeCron.php cron_id=226295
19804   682 root     /lib/systemd/systemd-journald

ça m’embête d’arrêter JMQTT car je l’utilise pour communiquer des informations entre 2 Jeedom.
MAIS : il est vrai que j’observe ce problème depuis l’installation de JMQTT sur ce Jeedom … par contre je n’ai pas ce problème sur mon second Jeedom! Pourquoi ?

Sébastien

Sattaz · Mars 17, 2022, 5:57

Je pense que tu as raison @ngrataloup , depuis que j’ai arrete JMQTT la RAM se stabilise…
Pas de recuperation mais ca ne descend plus depuis plus d’une heure.

Hum …

Sebastien

Fabrice · Mars 17, 2022, 7:58

Bonsoir.

Je suis fortement étonné de voir autant de données, 2 fois 5 Go, en upload et download comptabilisées en seulement 18h de uptime.
Sauf si vous avez une explication sur ce point.

En 33 jours j’ai 4 Go et 3 Go.

Jeandhom · Mars 17, 2022, 8:42

Fabrice · Mars 17, 2022, 8:43

Oups, je suis petit joueur alors !
Je trouve cela énorme.

Sattaz · Mars 17, 2022, 9:54

Eh bien non ce n’est pas JMQTT … apres 4h en ayant JMQTT desactive la RAM a encore augmente.

 SIZE   PID USER     COMMAND
2183556 1860 mysql   /usr/sbin/mysqld
258116 3147 www-data /usr/bin/python3 /var/www/html/plugins/zigbee/resources/zigbeed/zigbeed.py --device /dev/ttyS2 --loglevel error --socketport 8089 --callback http://127.0.0.1:80/plugins/zigbee/core/php/jeeZigbee.php --apikey KLlbJb3WLHyixODbSauxvNNZnURk0Tut --cycle 0.3 --pid /tmp/jeedom/zigbee/deamon_1.pid --data_folder /var/www/html/plugins/zigbee/data/1 --device_folder /var/www/html/plugins/zigbee/data/device --controller ezsp --sub_controller elelabs --channel 15 --folder_OTA /var/www/html/plugins/zigbee/data/ota
145596 3042 www-data /usr/bin/python /var/www/html/plugins/openzwave/core/class/../../resources/openzwaved/openzwaved.py --device /dev/ttyACM0 --loglevel error --port 8083 --config_folder /var/www/html/plugins/openzwave/core/class/../../resources/openzwaved/config --data_folder /var/www/html/plugins/openzwave/core/class/../../data --callback http://127.0.0.1:80/plugins/openzwave/core/php/jeeZwave.php --apikey CV4XZwZnLK3y2ERO7CV4PwlY3lvJPmq5 --suppressRefresh 0 --cycle 0.3 --pid /tmp/jeedom/openzwave/deamon.pid
145152 2537 www-data /usr/bin/python3 /var/www/html/plugins/googlecast/resources/googlecast.py --loglevel none --socketport 55012 --sockethost 127.0.0.1 --callback http://127.0.0.1:80/plugins/googlecast/core/php/googlecast.api.php --apikey 8TlriwaFFGZWOj9rnx691NC7ZHA9KrsD --ttsweb https://spangenberger.eu.jeedom.link --ttslang fr-FR --ttsengine gtts --ttsspeed 1.2 --ttscache 1 --ttsgapikey AIzaSyD41z2aCepfjsehRow1_khVqv_nOqHcAE0 --gcttsvoice fr-FR-Wavenet-C --ttsdefaultrestoretime 1300 --ttsdefaultsilenceduration 300 --daemonname local --cyclefactor 1 --defaultstatus  
87560  2955 www-data /usr/bin/python3 /var/www/html/plugins/xiaomihome/resources/xiaomihomed/xiaomihomed.py --loglevel error --socketport 55019 --callback http://127.0.0.1:80/plugins/xiaomihome/core/php/jeeXiaomiHome.php --apikey mrgINSpN8ldnDiBKqfSqIgNOkc4nSkJt --cycle 0.05 --pid /tmp/jeedom/xiaomihome/deamon.pid
71148  2458 www-data nodejs /var/www/html/plugins/espeasy/resources/espeasy.js 192.168.1.15 http://127.0.0.1:80/plugins/espeasy/core/api/jeeEspeasy.php?apikey=jEVsX1A6Y4JwJR1gPBUhDI67IL38GQQ2 400
56484 15119 www-data python3 /var/www/html/plugins/jMQTT/resources/jmqttd/jmqttd.py --plugin jMQTT --loglevel error --socketport 1025 --apikey MtF8N3954VNLOD6ScHTLvx1h6UXcmthb --pid /tmp/jeedom/jMQTT/jmqttd.py.pid
55384  2865 www-data /usr/bin/python /var/www/html/plugins/teleinfo/ressources/teleinfo.py --type conso --port /dev/ttyUSB0 --vitesse 1200 --apikey QE4dvL8M8eUAYeLf3EdDxb2vDAgT2Qan --mode historique --socketport 55062 --cycle 0.3 --callback http://127.0.0.1:80/plugins/teleinfo/core/php/jeeTeleinfo.php --loglevel debug --cyclesommeil 0.5
52776  1557 root     /usr/sbin/NetworkManager --no-daemon

Pfff je sais plus quoi faire …

Bison · Mars 17, 2022, 10:11

J’envoie une idée histoire de faire quelque chose.

C’est peut être lié à une table bancale qui devrait être réparée et qui ferait monter la RAM le temps de la réparation (duplication en tmp).

Tu pourrais tenter de faire des check table nom_de_la_table;
Et voir si elles sont bien OK

Mips · Mars 17, 2022, 10:36

je vais encore répéter ce qui a déjà été dit dans ce fil et sur de nombreux autres posts: que la ram augmente est normal et n’est pas un problème en soit, tant qu’il y a de la ram libre le système va la consommée au lieu de libérer celles qui est déjà prise donc il faut arrêter de se braquer la dessus.

j’entends que votre problème est une « instabilité » de la machine à un certain moment mais jusqu’ici on n’a pas beaucoup d’éléments.
Même si c’est le manque de ram qui provoque cela à un moment, ce n’est pas dit que ce que vous voyez maintenant est le problème.

JeedAlf · Mars 18, 2022, 8:12

Bonjour,

Je m’incruste dans cette discussion car je rencontre un problème similaire (plateforme RPI3B+ 1 Mo).
Mon point de départ est effectivement une instabilité détectée par le plugin MQTT (pas le jMQTT) qui fait des alertes de perte de connexion (alors qu’il est en local).
A ce moment là je constate que la mémoire est à 7%. Je redémarre Jeedom, et tout revient à la normale.

J’ai le sentiment (mais c’est très suggestif) que ce pb c’est aggravé depuis les dernières mises à jour. Je m’explique: il n’y a pas si longtemps, j’étais encore en V3, et toutes les 2 semaines, je faisais un redémarrage de la box, pour ce même type de pb de perte de mémoire (mais à l’époque l’impact était sur l’exécution des scénarios la plupart du temps). Depuis que j’étais passé en V4, je n’avais plus ces problèmes, je n’avais plus besoin de redémarrer la box (je surveillais régulièrement la mémoire, vu que j’avais pris cette habitude…). Et là je dirais depuis 3 semaines, je rencontre de nouveau ces symptômes.
Ensuite ça peut aussi être du au fait que sur un système « frais » ça marche mieux et que là maintenant que ça fait plusieurs mois que j’ai fait migration V3=>V4 puis migration Debian9=>10 mon système n’est plus si « frais ».

olive · Mars 19, 2022, 3:24

bonjour @Sattaz

En attendant la résolution du problème
la solution est de mettre en place un scenario qui régulièrement relance le demon.
je le fait toutes les 2 heures de mon coté.

	// id du plugin
	$_plugin_Id = 'jMQTT';

	// charger le plugin 
	$_plugin = plugin::byId($_plugin_Id);
	if (is_object($_plugin)) {
	    	// start deamon ...
		$scenario->setLog('démarrage du plugin ------->>> ' . $_plugin_Id);    
    		$_plugin->deamon_start(true);    
		
    }

Je t’invite a signaler le problème ici
si c’est bien cela
afin que nos amis dev en soient informés.

Sattaz · Mars 19, 2022, 4:18

Salut a tous,

Je prends toute info et j’essaie…
Je pense que la solution de @olive fonctionne !!!

Depuis la mise en place du scenario qui redemarre JMQTT, voici ma courbe de RAM :

Si cela reste jusque demain alors c’est bon!
Je signalerai l’experience/probleme depuis ton lien.

Merci,

Sebastien

Bad · Mars 19, 2022, 11:13

Hello,

Pas besoin de te signaler, on t’as vu
Par contre c’est étrange que même avec jmqtt désactivé tu constates quand même une augmentation de l’utilisation de la RAM.

Si ça résoud temporairement ton problème, ce serait bien d’augmenter l’amplitude des redémarrages jmqtt, par ex de toute les 2h à toutes les 8h ou tous les jours.

Tiens nous au courant,
A+,
Bad