Plugin Proxmox (suggestion)

fwehrle · Octobre 28, 2019, 6:37

Euh… non. Je ne me souviens pas d’avoir installé qqch sur les vm. Ça apporte quoi?

benj29 · Octobre 28, 2019, 6:42

Apparemment l’agent garantie le non freeze sur le backup à la volée. Voir lien plus haut.

benj29 · Octobre 28, 2019, 5:50

Petite suggestion, il serait judicieux de traduire l’état de la VM sous forme de binaire, plus pratique pour avoir l’état dans un interrupteur sans passer par un scénario. Je pilote quelques VM (notamment supervision et autre) par Domowidget et l’état est intéressant.

J’ai fait un scénario sur le state bêtement (mais bon avec 10 VM… ça pique !)

Pour l’agent, je vais creuser et le mettre en place. Je ne me vois pas m’en passer.
A voir si @Mips peut mettre en place un effacement en rotation pour les backups, ce serait top !

D’ailleurs, petite question pour les habituels Proxmoxeurs, vous tournez sur l’ancien Proxmox 5 ou le 6. Vous avez migré ou réinstallé from scratch ?

Mips · Octobre 28, 2019, 7:06

Hello,

Désolé un peu beaucoup occupé ces derniers jours, je n’ai suivi que de loin.

Pour répondre un peu en vrac: moi je fais des backups en mode « snapshots » (directement sauvé sur le nas), je ne sais plus disais que ce n’était pas la même chose qu’un snapshot, si qlqun à une explication ca m’intéresse, j’avoue je n’ai pas encore bien creusé la question

Pour mes backups (journalier), la rotation est assurée par proxmox (je ne me rappelle plus par coeur ou cela se configure).
Je n’ai pas l’agent installé, sur aucune de mes machines (j’avais lu que ca réduisait le risque de corruption des backups)
Moi je tourne sur proxmox 6 (mais je n’ai proxmox que depuis quelques mois donc c’était facile )

Oui j’ajouterai la possibilité de faire des backups via le plugin, et oui je regarderai comment présenter la liste des backups existants et je peux y inclure des options de rotations; je vais analyser tout ça et je vous tiens au courant.

Je peux regarder pour l’état mais je pense qu’il y a plus que « running » et « stopped » du coup un binaire c’est compliqué

benj29 · Novembre 7, 2019, 5:52

Hello,

Quelques news, bien que préparant la migration en V6.

Je confirme que l’agent est à installer. Il permet une bonne gestion par proxmox lors du backup à la volée pour avoir l’état de la VM.
J’ai eu la surprise d’avoir une VM tanckée, j’ai apprécié que proxmox m’en informe et de ne pas le découvrir.

Autre truc pratique, on a l’IP remonté…

A installer sous Windows, sous Linux ; rien à dire. Sauf le fait de devoir télécharger un ISO de 350 Mo pour 3 pauvres drivers sous Windows…

Du coup, je confirme après recherche sur le net, suspend est bien recommandé. J’ai posé la question sur le forum proxmox.

snapshot : cela fait un snapshot live de votre VM (ram + disk) et il est capable de la relancer dans le même état
suspend : cela met la VM en veille, copie tous les fichiers et la sort de veille (indispo de la VM quelques secondes ou minutes).
stop : cela arrête complètement la VM, copie tous les fichiers et la redémarre (indispo de la VM > min).

Suivant la méthode de compression notamment ou la taille de la VM.

Dans mon cas, suspend est parfait notamment pour les VM critiques (Jeedom, Motion etc).

Il est régulièrement remonté des problèmes avec le mode snapshot et un serveur SQL qui ne voulait plus repartir (une jolie corruption de table), j’ai arrêté d’utiliser ce type de backup (quelques recherches sur le web vous aideront).

Bref, pour moi, ça fait le boulot.

Deux regrets :

le fait de ne pas pouvoir piloter jeedom sur les scénarios de monitoring qui se mettent en alerte lorsque proxmox décide de faire des snapshots en backup sur mon NAS - une idée pour le plugin ? De remonter cette info pour l’API ?
de ne pas pouvoir nettoyer les X derniers backups stockés sur le répertoire de backup (mais ça c’est plutôt proxmox qui devrait le faire).

Ne pas avoir de différentiel. Il existe un patch mais il plante totalement l’interface web sur la dernière release V5.4.

Dorsad · Novembre 8, 2019, 7:44

Salut,

Je viens d’acheter le plugin, super boulot @Mips. Cependant, j’ai quelques améliorations à te soumettre pour faire évoluer le plugin.

Serait-il possible :

d’ajouter la mémoire utilisée (noeud + VM) uniquement en octet ou mio à la rigueur car par exemple suivant les VM l’unité change et ce n’est pas pratique pour les calculs
d’ajouter la mémoire totale allouée à la VM en octet également
d’ajouter la mémoire total du noeud en octet
d’avoir la charge cpu 1,5,15 (noeud + VM)
d’indiquer si des mises à jour sont en attente sur un noeud
de remonter les adresses IP des VM si elles sont disponibles
d’indiquer si l’agent qemu est installé
d’ajouter la capacité utilisée pour chaque stockage en octet
d’ajouter la capacité totale pour chaque stockage en octet
d’harmoniser le nom des commandes par exemple : cpu est en minuscule alors que les autres commandes commence par une majuscule, tu as uptime également en minuscule

Il y a, également, quelques petites fautes dans la doc (rapide survol, il y en a surement d’autres) :

Je recommande de crééer => Je recommande de créer
Nous avons crééer => Nous avons créé
des droits d’administrations complêt => des droits d’administrations complets
6) Les commandes disponnibles => 6) Les commandes disponibles
Ces équipement disposent de plusieurs => Ces équipements disposent de plusieurs
Compress backup => Compression du backup

Merci,

Mips · Novembre 9, 2019, 8:11

Bonjour,

Concernant toutes les demandes (parce que c’est chaque fois la même) d’avoir la capacité en octet.
C’est en fait lié à un point plus général assez compliqué dans jeedom: la gestion des unités; cela serait pratique d’avoir une commande et de pouvoir automatiquement « convertir » d’une unité à l’autre.
Mais tout remonter dans l’unité de base (octet ou seconde) en fait quelque chose d’inutilisable sur un dashboard.
- Pour l’uptime, je n’avais pas beaucoup de choix et j’ai fait 2 commandes: en seconde et un display jou/heure/min/seconde
- Pour les capacités, je remonte dans l’unité la plus relevante (et l’unité est configurée sur la commande)
  Pour que je comprenne, quels « calculs » fais-tu? et est-ce entre VMs?
  Parce que remonter qu’en octet, c’est non et dédoubler toutes les commandes ça fait beaucoup surtout si l’intérêt n’est pas clair.
Pour la charge moyenne, ça devrait être possible pour le noeud, les VMs je ne suis pas sur, je note ce point pour une prochaine version
Concernant les mises à jours, c’était déjà dans ma liste mais de nouveau je dois vérifier si cela existe.
Adresses IP, c’est lié à l’agent et je suis occupé la dessus.
harmoniser les noms… c’est fait mais tu vas devoir changer toi-même sur ton install.
les fautes dans la doc sont déjà corrigées mais je n’ai pas poussé une nouvelle version pour cela

Dorsad · Novembre 9, 2019, 10:19

Merci pour ta réponse.

Pour la mémoire, c’est pour un pourcentage d’occupation et agir en conséquence.

J’utilise plusieurs logiciels qui peuvent avoir des soucis de fuites mémoires. Ça me permet dans un premier temps de déclencher des alertes puis dans un second temps de redémarrer le soft ou la VM.

C’est également pour la notion de seuil, par exemple aujourd’hui pour des VM qui utilise le même seuil d’alerte 80% d’occupation mémoire, je dois définir pour chaque VM ou nœud ce 80% en dur car les unités de mémoire sont différentes (certaines sont en GiB, d’autres en MiB). Ce pourcentage permettrait de simplifier énormément cette notion de seuil.

Pour la partie stockage, c’est le même soucis et un pourcentage d’occupation du disque permettrait de simplifier le processus d’alerte.

Pour les autres points, merci pour le travail effectué, j’attendrais les prochaines mise à jour.

Mips · Novembre 9, 2019, 11:02

Donc c’est un pourcentage que tu as besoin, pas de la valeur en octet?

As-tu vu que le max est déjà remonté sur chaque commande info (en plus de l’unité)?
Donc déjà maintenant, sans même t’occuper de l’unité, tu sais calculer le %, c’est d’ailleurs comme cela que le widget de jeedom peut afficher la jauge.

Dorsad · Novembre 9, 2019, 11:21

Tout à fait, une valeur en pourcentage directement peut convenir (comme pour le CPU qui indique une valeur en % indépendante du nombre de socket / cœurs).

Oui, j’utilise cette valeur justement pour le calcul mais ça fait un premier scénario avec un bloc code qui calcule tous les pourcentages pour, ensuite, les enregistrer dans un virtuel. A partir de ce virtuel, un second scénario gère les alertes / actions à effectuer et un widget personnalisé pour afficher ce pourcentage avec différentes couleurs.
L’affichage de cette donnée est très bien, c’est juste son exploitation qui est plus complexe.

Gorgluk · Novembre 10, 2019, 5:28

Petit souci avec la dernière mises à jour.
Si je reviens à la version précédente, c’est ok.

Mips · Novembre 10, 2019, 5:45

Salut,

La dernière mise à jour stable date du « 2019-11-05 12:06:11 », donc pas super récente.
pourrais-tu préciser de quelle version tu parles?
De même, il n’est pas possible de revenir à une version précédente sous jeedom, donc je ne sais pas ce que tu as fait.

ps: ce serait mieux d’ouvrir un nouveau sujet sur le forum pour les nouveaux sujets, sinon c’est très compliqué à suivre pour ceux qui cherchent une réponse précise à une question.

bartounet · Novembre 10, 2019, 5:59

Je ne connais pas trop proxmox
Mais je connais un peu les technologies de virtualisation
Et oui il faut installer sur les VM des agents sur vmAre ce sont les vmWAre tools , sur xen ce sont les vmdp , et sur proxmox j’imagine qu’il y a quelques chose aussi
Ces agents permettent de dire à la VM qu’elle est para virtualisé et de mieux communiquer avec les couches de l’hyperviseur
Essayez un windows sans vmWAre tools et vous avez même pas les pilotes disque les et réseaux vmxnet…

Il faut toujours les installer quand on fait de la paravirtualisation

Maintenant concernant vos backups , je lis pas mal d’incohérences
Une base de données ne sera jamais correctement safe lors de vos backup de VM peu importe le mode de backup… Snapshot ou pas
Une bdd chargée la plupart du temps sera corrompue après restauration de la VM

Il y a 3 solutions
1 - on backup la VM éteinte , la tu es sur que tout est ok

2 - Ton utilitaire de backup a un vrai agent bdd capable de freezer la bdd lors du backup

3 - tu fais la backup de ta vm + un dump de ta bdd via un script

Moi j’utilise L’option 3
Si je veux restaurer je restaure ma VM et la bdd via mon dump
Pour jeedom on restaure la VM + la backup de jeedom

Mips · Novembre 10, 2019, 7:20

Pourtant j’ai déjà testé des restore de snapshots proxmox de jeedom (avec la bdd incluse donc) et cela a fonctionné…

sinon perso j’ai les sauvegardes jeedom principalement, les snapshots et backups complet de la vm c’est en plus; entre les backups vm et les backups fait par jeedom, tout cela sur 10 jours, j’espère en trouver au moins 1 de bon le jour ou j’en ai besoin

bartounet · Novembre 10, 2019, 7:33

Car ta BDD n’est pas chargée.
Sur une BDD en pleine charge la backup a chaud c’est comme si tu coupais au bouton.

après Restau de la VM + restauration de la backup Jeedom c’est parfait

Mips · Novembre 10, 2019, 7:52

je dis pas le contraire, mes backups sont pris à 1h du mat pour cette raison…
à la base, en prod, tu mets pas le stockage d’une bdd dans une vm non plus

benj29 · Novembre 10, 2019, 9:26

Justement. Tu mets la bdd en autonome sur une vm dédiée ? Style que mariadb installé ? Mais du coup tu backupes comment ?

bartounet · Novembre 10, 2019, 9:45

Ça je change pas le problème
Une bdd pour la backuper il faut arrêter les transactions et donc la freezer
Soit des agents le font soit tu fait un dump

Sur certaines VM j’ai choisies de les arrêter la nuit pour les sauvegarder
Elles se coupent se sauvegarde et se relance
Ghettovcb fait ça très bien avec vmWAre

benj29 · Novembre 10, 2019, 10:25

On peut faire de même avec proxmox en programmant un arrêt complet de la vm le temps du backup.

Gorgluk · Novembre 10, 2019, 11:11

Bonsoir @Mips

version 2019-11-10 17:25:11
Je fais une sauvegarde snapshot avant une mise à jour.
Je peux revenir « juste avant » si problème.

Bon, j’ai tout supprimé et ré-installé le plugin >> tout fonctionne