Jeedom sur Proxmox cluster et haute disponibilité

Bonjour,

Je vous fais un retour sur l’installation que j’ai mise en place. Si jamais ça peut aiguiller quelqu’un…

La réflexion de base était que je voulais avoir un Jeedom fiable (comme tout le monde) et fonctionnant H24 même si le pc qui héberge tombe en panne. Que Mme qui peut être seule à la maison ne sente pas la panne et n’ai rien à faire si ça déconne ou pratiquement rien.

Alors je suis partie sur une solution de cluster Proxmox avec 3 PC avec CEPH et de la haute disponibilité.

Je fais tourner Jeedom dans une VM avec l’image d’installation de base toute faite par Jeedom. J’en ai profité aussi pour faire une VM avec pfsense pour gérer tout le réseau et la connexion internet.

Alors j’y suis allez petite à petit en me disant je verrais bien ou ça finira, parce que bon de base le but était surtout d’avoir Pfsense et de mettre mon serveur perso en VM et ça je sais que ça marcherait.
Donc du coup je me suis dit, ça devrait marcher, de pouvoir migrer Jeedom d’un pc à l’autre, que ce soit en direct ou si plantage.

Et je me suis dis le problème va être les USB, ils sont forcement branché que sur une machine et pas 2 en même temps. Que si ça plante il va bien falloir les déplacer physiquement, tout est sur un hub donc un seule câble USB a déplacer dans le pire des cas, largement acceptable pour Mme.

Mais je regarde pour prendre un hub USB avec 4 entrées et 4 sorties avec une télécommande infrarouge et des boutons pour commuter les PC. Je vais surement en prendre un et bricoler les boitiers en rajoutant des Shelly UNI en parallèle des boutons du hub pour passer d’une entrée à l’autre et contrôlé par Jeedom bien sûr. En wifi comme ça pas besoin des clés zigbee ou autre.

Alors avec l’USB si on essaye de Migrer une VM qui est à l’arrêt sur un autre PC, on peut le faire en cochant forcer. On déplace le câble du hub USB à la main, la VM démarre et Jeedom est 100% fonctionnel.

Si la VM est en route, impossible de faire la migration manuellement.

En revanche le plus intéressant, si le PC tombe en panne, Proxmox va déplacer automatiquement la VM Jeedom sur une autre machine et la relancer. Et la tout repart de suite, Jeedom boot correctement et retrouver les périphériques USB (je déplace à la main pour le moment en attendant ma bidouille avec les Shelly). Et on se retrouve au même moment que du crash finalement.

Alors ma solution n’est peut-être pas parfaite, surtout les déplacements de machine avec des bases de données qui écrivent en permanence, mais en même temps ça ne sera pas pire qu’une installation qui tourne sur un seul PC et qu’il plante. Je vais surement trouver des problèmes ou autre par la suite mais pour le moment je suis vraiment très content, ça tourne et au pire des cas, si vraiment ça plante, avec les backups en 3 clicks et 5 minutes je remet un Jeedom en route. Avant quand ça plante il faut réparer de suite et en urgence, la j’ai largement le temps et je peux même le faire à distance.

Voila si ça peut donner des idées ou orienter quelqu’un et bien tant mieux. Si vous avez des remarques ou conseil je prend aussi =)

je rajoute une image de mon installation.

Veni

1 « J'aime »

Copieur :wink: :grin: :grin: :grin:

Bon, je n’ai pas le même type de serveurs car il y a pas mal d’autres VM qui tournent, mais c’est basé sur quasi la même architecture …

Pour la partie Zigbee et RFXCom, j’ai mis un RPI3 avec le déport des clés et modules USB via USBIP. Du coup, aucun souci pour déplacer la VM entre les serveurs tout en restant active.

J’avais pensé à ça pour les truc USB mais ça me faisais chier de partir sur un truc que je veux autonome et avoir finalement un rpi qui lui peut lâcher et ne plus avoir les periph usb.

Mouais, enfin, un RPI avec juste les sticks USB dessus, ça lache pas comme ça.
De toutes façons, tu peux pas avoir de la HA complète (avec déplacement des VM manuellement ou automatiquement) avec des périphériques USB dessus, et si tu gère tes périphériques USB a la mano, quel est l’intérêt de la HA sur Proxmox ?? C’est un peu antinomique …

Des PI qui plantent j’en ai eu et j’en ai eu mart, je les ai tous dégagés.

Pour le moment je déplace le câble du hub usb à la main oui mais je vais automatiser cette tache avec un hub qui peut donner les USB sur 4 pc différents. Et le déplacement des VM automatiquement marche très bien même si des USB sont présent, Proxmox fait quand même le déplacement tout seul si on coupe un pc de force en retirant la prise elec.

J’aurai donc bien la HA complète une fois modifié le switch usb.

1 « J'aime »

Dans mon cas oui, mais je n’ai pas cette infra que pour Jeedom, donc, ce n’est pas le critère principal pour moi (la conso électrique).
Pour revenir au RPI qui plante ?? ben un PI3B+ avec l’OS de base sans couche graphique et juste USBIP activé, ça plante pas. Pas de log sur la carte SD, pas de logiciel qui prends beaucoup de ressource et qui écrit dans tous les sens …
Ne pas confondre un RPI utilisé avec une application (Jeedom par exemple) et juste l’OS sans interface graphique.
Tu as un autre RPI dans un tiroir avec la configuration prête à l’emploi. Perso, ça tourne depuis 1 an et je l’oublie. Alimenté en PoE, ça reste discret et ça permet aussi de déplacer les clés Zigbee et autre à l’endroit le plus pertinent pour la portée.

Après, chacun fait comme il l’entends, mais pour moi, de la haute disponibilité, c’est quand tu ne mets pas les mains dedans en cas de panne ou simplement de maintenance technique :grinning:

1 « J'aime »

Aucune idée, les pc sont des HP Elitedesk 800 G4 USFF - Core i5-8500 3.00GHz, des mini pc avec transfo comme pour un pc portable.

Faudrait que je pose la pince ampèremétrique pour voir par curiosité et je pourrais te le dire, ça donnera une idée mais c’est vrais que le coté conso de ces équipements j’y fais pas du tout attention, c’est négligeable sur le budget de la maison, je suis en chauffage électrique de partout alors 3 pc de plus ou de moins …

1 « J'aime »

Une fois ca en place avec 2 shelly uni je serais bien en HA.

USB Switch

Bonjour,

Je ne connais pas Promox mais j’imagine qu’il est lui même installé sur un PC « maitre » ? Que se passe-t-il si ce PC maitre tombe en rade ?

Autre question, est-ce que la VM de secours, quand elle démarre, importe le dernier backup Jeedom ? Il me semble que c’est possible mais j’ai encore jamais réussi à l’implémenter (moi c’est pour une image Docker mais c’est pareil, même principe)

Après, même avec ce dernier USB Swhitch il faudra quand même switcher manuellement (avec la télécommande) et trouver le bon numéro de VM qui a démarré, c’est un peu dommage, j’aime bien le principe d’un autre appareil (RPI ou autre) externe pour déporter les prises USB.

D’un autre côté, plus on a de matériel et plus on a de chances d’avoir une panne…

Il y a 3 pc en faite. C’est un cluster de 3.

J’ai aussi installé ceph, en gros ça duplique les donnés en permanence comme du raid. Si une machine tombe en panne les VM se déplacent seules et elles redémarrent sur un autre pc directement et retrouvent exactement le même état au même endroit et moment.

C’est pas une backup la VM finalement, c’est un peu comme si elle tournait sur les 3 pc en même temps

Pour savoir sur quelle pc tourne la VM ça va être simple à trouver je pense, il y a des logs et des mails d’envoyé quand ça arrive et pour switcher avec jeedom ça va être un jeu d’enfant, je suis en train de souder des Shelly uni en parallèle des boutons du Switch. Me suffira juste de faire un scripts Bash de control ou un scénario je verrais. Je fais petit a petit et découvre en même temps

Bon alors voila, j’ai un fonctionnement ok, j’ai mis 2 shelly Uni en parallèle des boutons du switch USB pour basculer de 1 à 4 par Jeedom avec des virtuels.

Et la avec le très bon plugin de @Mips à savoir plugin-proxmox , je peux savoir ou est la VM et de la avec un scenario et bien je fais basculer les USB la ou il faut.

Pour le moment ça fonctionne, il restera à voir dans le temps, il y aura très certainement des petits bug ici et la mais pour le moment tout est ok et je suis donc en HA pour la domotique.

Et je n’ai pas oublié de prendre la mesure de la consommation, il faut que je le fasse =)

Salut @veni

J’aimerais avoir ton retour d’expérience sur deux trucs pas encore clairs pour moi.

Je vais monter un cluster de deux serveurs Proxmox. Pour la Haute Disponibilité, j’ai prévu d’héberger les clés zwave et rfxcom sur un Raspberry 4 dédié.

  1. Avec Ceph,
    Si une VM Jeedom tombe, quel est la durée de la perte de service ?
    Tu parles de redémarrage, donc pas de transfert à la volée ??

  2. Sans Ceph
    Peut-on utiliser un NAS (répertoire en partage), et avoir des délais de remontée proches ?

@+

Bonjour,

Pour Ceph le mini c’est 3 nodes. Et encore c’est déconseillé. Donc c’est mini 5 (toujours impair).

La durée de bascule dépend de la vitesse de ton réseau. Proxmox recommande 10 Gb.

En résumé : Ceph c’est pour les gros homelabs au minimum.

Bonsoir,
Aïe ! je ne l’avais pas vu venir celle-là :roll_eyes:
→ Je pensais à une config minimaliste 2 nodes.

Je vais regarder si je peux recycler une ancienne machine, même moins puissante. Les VM seraient paramétrées en priorité sur les deux machines les plus récentes. (De mémoire, pas d’obligation d’avoir trois serveurs identiques, sauf erreur).

Le 10Gb c’est OK. Du coup, imaginons une config test avec 3 nodes.
Tu estimes à quelle durée (environ) la perte de service de Jeedom ?

Je ne sais pas. Cela dépasse mes compétences désolé.

A voir dans la doc Proxmox ainsi que sur leur forum. Voire poser la question sur leur forum.

J’ai un cluster de 2 proxmox sur nuc et un quorum sur le docker du nas (qui lui même est en HA). Les disques sont sur le nfs4.1 du synology. Le temps de reprise est relativement court. En cas de balancement (pour mettre à jour le nuc par ex) la vm est même pas stoppée ! (Les lxc eux sont stoppés et relancés). En cas de vrai problème sur un nuc, ça peut reprendre juste le temps de relance de la vm.

1 « J'aime »

J’espère pouvoir tester cette solution d’ici quelques semaines.
Merci pour vos retours :+1:

Salut à tous,

Pour la mise en place de Ceph, il y a un point que je n’arrive pas à éclaircir. Est-ce que la machine Proxmox peut disposer d’un gros disque partitionné :

  • Partition 1 = Proxmox
  • Partition 2 = Ceph

Ou faut-il impérativement un autre disque dédié :

  • Disque 1 = Proxmox
  • Disque 2 = Ceph

Sauriez-vous me dire ?

Merci.

Alors j’ai vu des configs avec un disque mais perso je préfère avoir un disque système proxmox et vraiment un autre pour ceph et les VM.

Cela converge avec ce que je lis depuis hier. C’est possible techniquement, mais pas recommandé pour des raisons de perfs (et peut-être de fiabilité).

→ Je vais partir sur des disques séparés.

Merci pour ton retour.