Perturbation sur le services d'assistant vocaux

[Loic]

Bonjour,

Comme certain l’ont remarqué il y a des soucis depuis quelques semaines sur les services d’assistant vocaux (google ou amazon). Les soucis se manifeste par des actions qui ne se font pas et un message d’erreur de l’assistant, qui se font avec un message d’erreur aussi, une obligation de ré-associer le skill/jeedom smarthome…

D’après nos statistique et ceux de google/amazon cela touche moins de 1% des requêtes faite sur nos services et est très aléatoire, ce qui complique enormement notre tache d’investigation et de correction.

Pour le moment ce que nous savons :

• la requête part bien de chez google/amazon
• la requête n’arrive pas sur notre backend

Le soucis est donc entre google/amazon et nos backends, pour le moment notre meilleure piste et celle d’un soucis coté loadbalancer (managé par OVH). Nous avons donc ouvert un ticket chez OVH pour qu’ils regardent.

Pour information l’architecture est la suivante (c’est du kubernetes, 4 serveurs) :

• un dns qui pointe vers 2 ips
• chaque ip est un loadbalancer managé par OVH
• les 2 loadbalancer pointent vers 8 pod nginx (reverse proxy)
• les pods nginx pointent vers 12 pods backend

Toute la partie serveur/pod peut doubler en cas de charge (sachant que on ne dépasse jamais les 10% des charge)

Les points de contentions possible sont donc les loadbalancer (après tous les traffic est interne à l’infra kubernetes) et dans une moindre mesure la base de données des backends (mais je n’ai vu aucun soucis sur celle-ci elle ne fait même plutôt pas grand chose).

Au niveau des erreurs, chez amazon je n’en vois aucune, chez google on voit des BACKEND_URL_TIMEOUT, je pense donc a des soucis pour joindre les loadbalancers.

En attendant le retour d’OVH je vais voir pour déployer un loadbalancer dédié pour amazon (pour google c’est compliqué car faut repasser la validation ça prends plusieurs semaine voir mois).

Malheureusement on ne peut pas vous donner de délais de résolution mais soyez bien assuré que la résolution de ce soucis est notre priorité numéro une.

MAJ : le soucis semble etre résolu après diverse optimisation de notre coté. IMPORTANT pour certain il va falloir refaire l’association google/amazon (depuis l’application google home ou alexa il faut supprimer jeedom smarthome et refaire l’association ensuite, si vous ne savez pas faire je vous invite à consulter la documentation du plugin qui vous indiquera comment faire)

[Loic]

Le loadbalancer dédié Amazon est en place il faut encore attendre quelques heures (24h je dirais) pour être sur que les backend amazon l’utilisent bien ensuite je regarderais les retours utilisateurs pour voir si ça aide (ou dans mes rêves les plus fous corrige le soucis)

[freeddoo]

Bonjour @Loic ,

J’avais remarqué ce problème depuis quelques temps. J’utilise Alexa un peu partout dans la maison. Je pensais à un problème Amazon du fait que le problème est chez moi surtout en fin de journée. Je m’étais dit trop d’utilisateurs en même temps sur leurs serveurs donc les commandes n’arrivent pas.
Je ferais un retour si je constate une amélioration ou non.

Bonne journée

Domotiquement vôtre

[darghorn]

Merci @Loic, effectivement de mon côté c’est depuis ce matin que je me suis rendu compte que quelque chose clochait, et une ré association du skill a réglé le problème.

[Loic]

MAJ : je pense avoir trouvé le soucis, ca vient pas des loadblancer mais de notre base de données. Pour une raison inconnue elle répond dans 99% des cas en 40ms mais de temps en temps elle prends 4 à 10s…

J’ai fait un premier bout de correction en divisant par 3 le nombre de requete pour un appels google home/alexa. Ca semble mieux mais ya toujours des cas ou c’est trop long. Je vais donc essayer d’ici quelques jours de mettre en place un cache redis pour diminuer encore plus le nombre de requete.

[Loic]

MAJ2 : le cache est en place ca à l’air de pas mal aider, on tombe a 1ms quand la donnée est en cache. Il reste par contre toujours des cas (encore plus rare par contre) ou le temps est de 3/4s, je pense avoir trouvé pourquoi c’est quand les jeedom contacte le cloud pour le service monitoring. Pour le moment j’ai pas de solution simple pour optimiser cela (ma seule idée est de séparer la BDD monitoring pour ne plus impacter le reste du cloud)

[TiTidom]

Hello,

Il faut faire quelque chose de particulier pour que cela refonctionne ? Car depuis ce matin, la liaison avec Jeedom ne fonctionne plus (alors que pour le coup je devais faire parti de ceux où cela fonctionnait 99% du temps car je n’avais pas de problème particulier)

Google : « Excusez moi, je ne peux pas établir la connexion avec Jeedom Smarthome ». Voilà le message que j’ai systématiquement depuis ce matin.

Faut-il repousser la conf vers le cloud ? faire une autre action ? attendre ?

Merci d’avance,

Bonne journée,
Olivier.

[sebfar]

Bon boulot jamais simple de trouver un soucis quand il n’est pas reproductible systématiquement

[Loic]

Bonjour,
Pour certain il faudra refaire l’association avec jeedom (valable pour amazon et google). C’est du a des incohérences trouvé en BDD qui pouvait poser soucis, je les ai supprimé mais il faut de votre coté refaire l’association

[sebfar]

Qu’entends tu par refaire l’association ?

[Loic]

Supprimer jeedom smarthome de google home et le remettre (regarde la documentation si tu ne te souviens plus comment faire)

[Ultraboss]

Hello, merci d’avoir investigué sur ce soucis.
C’est vrai que depuis quelques semaines, Alexa répondait parfois que l’appareil ne répondait pas et quelques secondes après, la cmd était bien exécutée (j’utilise principalement Alexa).
Par contre depuis ce matin, Google n’est plus connecté à Jeedom et Alexa me signale qu’elle n’arrive pas à se connecter à « null »
Je vais tenter les réassociations.
Bon courage

[Loic]

C’est normal tu devais faire partie des comptes ayant un soucis il faut donc refaire l’association.

[TiTidom]

Après réassociation dans Google Home avec Jeedom Smarthome, tout refonctionne comme attendu ! Merci

Pour info : Je n’ai pas eu besoin de supprimer Jeedom Smarthome pour ma part, dans Google Home, je suis allé dans « Paramètres » puis « Fonctionne avec Google », et là en cliquant sur Jeedom Smarthome, le menu m’a proposé « Reconnect account » et en rentrant alors mes identifiants market Jeedom, il a mouliné quelques secondes et cela a fonctionné

Bonne journée,
Olivier.

[Loic]

Je pense le soucis est réglé, je garde en observation jusqu’a demain pour etre sur.

Pour info voila la courbe du temps de réponse alexa (attention c’est en UTC) :

On voit bien le moment du passage en 1 requête au lieu de 3 puis l’ajout du cache.

[EricGE]

Bonjour, merci pour cette investigation et ce reporting précis.
Je me suis retrouvé dans le cas avec Amazon ce jour pour la première fois.
Je viens de désactiver et réactiver le skill et tout semble être de retour comme avant.
Je ferai des retours si de nouveaux soucis sont constatés.

[temium62]

Merci loic
pour ma part l info donnée par titidom a fonctionné également de mon côté
merci aussi à lui

[Ultraboss]

Réassociations OK, merci Loïc au top

[Yves19]

[slayer-fr]

bon pour le moment , c’est revenu a la normal chez moi avec un temps de réponse correct , espérons que ça dure