Mise en place Genai Google Gemini

Bonjour,

J’ai vu qu’il est possible de mettre en place une genai et de récupérer le descriptif dans le plugin avec #description#
Si j’ouvre ce post, c’est que je n’y suis pas encore arrivé :slight_smile:

Du coup, j’ai généré une API Key

Au début de ma configuration, j’ai

genai:
  enabled: True
  provider: gemini
  api_key: "MON API KEY GEMINI"
  model: gemini-1.5-flash

et la config de ma caméra en test, où j’ai ajouté la partie pour genai

cameras:
  Portail:
    enabled: true
    genai:
      enabled: True # <- enable GenAI for your camera
      use_snapshot: True
    ffmpeg:
      inputs:
        - path: rtsp://XXXXXXXXXXX@192.168.1.150:554/Streaming/Channels/501
          roles:
            - record
        - path: rtsp://XXXXXXXXXXX@192.168.1.150:554/Streaming/Channels/502
          roles:
            - detect
    live:
      stream_name: rtsp_portail
    objects:
      track:
        - person
        - car
        - cat
        - dog

    motion:
      mask: 
        0.003,0.324,0.192,0.264,0.489,0.225,0.728,0.232,0.889,0.316,1,0.427,0.996,0,0,0.002
    zones:
      Entree_portail:
        coordinates: 
          0.19,0.27,0.002,0.336,0.003,1,0.9,0.993,1,0.669,0.996,0.444,0.887,0.322,0.731,0.24,0.5,0.23
        loitering_time: 0
    review:
      alerts:
        required_zones: Entree_portail
      detections:
        required_zones: Entree_portail
version: 0.15-1
semantic_search:
  enabled: true
  reindex: false
  model_size: small

et pour la notification, j’ai ceci

Je suppose qu’il manque quelque chose. Avez-vous une idée ?

Merci,
Frédéric

Salut,

  • Avant de tester la notification, est-ce que tu as déjà des descriptions au niveau de tes events dans le plugin Frigate ?
  • Si oui, retire le new dans l action de notification (la description est créée par le type end).

Tu pourras aussi ajouter tes propres prompts pour plus de précisions dans les réponses en fonction des objets détectés.

ah oui les prompts !

punaise, il est bavard :joy:

1 « J'aime »

C’est mieux ce matin avec la détection de la voiture, mais on doit pouvoir faire mieux en trouvant le bon prompt.
Savez-vous s’il est possible d’avoir la réponse sans la partie ‹ bien sur je répond à ta demande… › ?

J’ai testé différent type de prompt mais à 90% j’ai toujours cette partie.

1 « J'aime »

Bon, il y a encore des améliorations à faire sur l’IA… :rofl: :joy:

1 « J'aime »