Installation de Sarah

Bonjour et bienvenue pour ce second billet. Il va présenter le premier pas dans la domotique appliquée à la maison des objets connectés.

Tout d’abord une petite présentation de S.A.R.A.H. reprise sur le site de l’auteur Jean-Philippe Encausse.

L’objectif du Projet S.A.R.A.H est la conception d’une maison intelligente connectée à l’internet des objets un peu dans l’esprit de la série TV Eureka.

L’idée est de mettre des technologies avancées de reconnaissance vocale, gestuelle, faciale, de QRCode, … à la portée de tous pour réfléchir et innover sur l’ergonomie et les usages de demain.

Ce framework S.A.R.A.H. est un projet français supporté sur une communauté google + de près de 3 000 membres à ce jour.

Il est construit en C# (Kinect) client Pour la Voix, Gesture, reconnaissance faciale et de QRCode et NodeJS (ExpressJS) server pour la communication de l’internet des objets.

Nous avons actuellement une version 3 disponible et plutôt stable et aussi une version 4 en beta. Pour piloter S.A.R.A.H. il faudra un PC, un micro ou Kinect (j’y reviens plus loin) et une sortie haut-parleur.

Si l’on souhaite utiliser les fonctions de reconnaissance faciale, QRcode et un micro de meilleur qualité, il faudra implémenter un kinect xbox 360 V1 facile à trouver sur les sites d’occasion comme leboncoin.fr. Un kinect Xbox one peut également être utilisé. Il procurera une meilleure reconnaissance cependant, il nécessite une connection usb3 au PC, ainsi que windows 8.1.

Je ne reviendrai pas ici sur l’installation de windows (7 ou 8.1). Une fois ce windows fraichement installé (pour ne pas rencontrer de soucis) nous pouvons passer à l’installation des prérequis de S.A.R.A.H. Je vais distinguer l’installation en V3 de celle en V4.

S.A.R.A.H V3

Sur un windows “normal” certaines étapes sont déjà faites par défaut. Ci-dessous les différentes étapes :

1. Télécharger et dézipper SARAH
   ➔ Lorsque vous dézippez le package de SARAH il faut vous assurer de ne pas avoir d’espaces dans le nom du chemin d’accès. Par exemple SARAH pourra se trouver dans C:\SARAH\ mais pas dans C:\Chemin avec des espaces\SARAH\
2. (par défaut) Télécharger et installer .Net 4.5 Framework (déjà installé sur un windows 8)
3. (par défaut) Télécharger et installer la version x86 ou (x64 en fonction de votre machine) Microsoft Speech Platform 11
   ➔ Ainsi que la langue du moteur Microsoft Speech Platform – Languages 11
4. (optionnel) Installer une voix TTS ou utiliser la voix par défaut de Windows 8
   ➔ la voix de Virginie fonctionne bien. ➔ la société Voxygen propose de nombreuses voix (parlez leur de SARAH !)
   ➔ En cas de problèmes, merci de consulter la FAQ

Après toutes ces étapes SARAH est prête à être configurée. Si vous avez un Kinect merci de suivre les instructions ci-dessous afin de pouvoir l’utiliser.

Kinect v1

Ce dispositif est très puissant et bien meilleur qu’un microphone ordinaire. Si vous en achetez un assurez-vous qu’il est livré avec le câble USB et son adaptateur.

Attention ! Microsoft arrête la vente de Kinect 1 au profit de Kinect 2.

Ci-dessous les instructions pour installer le Kinect v1 sous Windows :

1. Télécharger et installer Kinect SDK v1.8
2. Télécharger et installer le Language Pack (au moment du téléchargement il faudra bien choisir “FR-fr” pour la langue)

Quelques remarques à propos de l’installation d’un Kinect v1 :

• Certains utilisateurs ont indiqué avoir des soucis avec l’USB 3,
• Le Kinect consomme des ressources, si vous utilisez plusieurs Kinects avec de la vidéo, utilisez deux ports USB différents (les prolongateurs RJ45 ne marcheront pas).
• Mettre le Kinect en face de l’utilisateur
• Mettre les sources audio sur le côté ou derrière
• L’utilisateur doit parler 20db au dessus du son
• Les voix aigues sont mal reconnues

Kinect v2

Ci-dessous les instructions pour la deuxième génération de Kinect :

1. Télécharger et installer Kinect SDK v2
2. Télécharger et installer language packs v2 (au moment du téléchargement il faudra bien choisir “FR-fr” pour la langue)

Dans SARAH v3 le Kinect2 est considéré comme un super Microphone (la partie Kinect n’est pas utilisée)

Configuration

Si vous souhaitez que SARAH fonctionne bien, il faut utiliser un bon micro. Dans cet article trois microphones (Microphone, Kinect et VoiceTracker II) ont été testés avec SARAH.

Ci-dessous les prochaines étapes à suivre :

1. Aller dans le répertoire profile/ et effacer le fichier profile.json (sinon SARAH risque de vous appeler Jean-Philippe de temps en temps !)
2. Récupérer une Google API Key (voir ci-dessous)
3. Regarder les différents paramètres disponibles dans le fichier config.ini
4. Changer le volume d’entrée du son : aller dans ➔ Panneau de Configuration ➔ Chercher Gérer les périphériques audio ➔ Clique droit sur votre microphone ➔ Cliquer sur Propriétés ➔ Change le niveau (par exemple, pour un microphone classique, ce doit être ~90, et pour un Kinect, il faut tenter plusieurs configurations)
5. Entrainer la reconnaissance vocale de Windows : aller dans ➔ Panneau de Contrôle ➔ Reconnaissance vocale ➔ Suivre les didactitiels de reconnaissance vocale(attention : avec un microphone classique il ne faut pas faire ce didacticiel plus d’une fois)

Récupérer une Google API Key

SARAH sait reconnaitre des commandes. Mais elle ne sait pas gérer les questions ouvertes: “SARAH recherche * sur wikipedia”. Dans ce cas SARAH interroge l’API de Google. La Google API Key est nécessaire pour plusieurs plugins.

Merci de suivre attentivement les différentes étapes décrites ci-dessous (instructions provenant du site http://www.chromium.org/developers/how-tos/api-keys)

1) S’enregistrer sur chromium

S’enregistrer sur le Google Group chromium :

• S’assurer d’être un membre de chromium-dev@chromium.org (vous pouvez souscrire à chromium-dev et choisir de ne pas recevoir d’emails). Pour cela, se rendre à l’adresse https://groups.google.com/a/chromium.org/forum/?fromgroups#!forum/chromium-dev
• Puis cliquer sur « Join the group to send a message »

• Choisir « Do not send updates by email »
• Cliquer sur « Join the group »

2) Créer une App Console

Créer une console app sur Google

• Se rendre sur https://cloud.google.com/console
• Click on « Create Project »

• Donner un nom
• Accepter the Terms of Use
• Puis « Create »

3) Activer Speech Api

• Aller dans « APIs & Auth > APIs » à partir du menu à gauche
• Dans Browse API chercher « Speech API »
• Cliquer sur « Speech API »

• Activer la clé

• Accepter les terms of use

4) Créer une Speech Key

Créer sa clé « Speech API »

• Aller dans « APIs & Auth > Credentials » à partir du menu à gauche
• Et sur le bouton « Create New Key »

• Cliquer sur le bouton « Browser key »

• Puis sur le bouton « Create »

• Votre API key :

5) Intégration dans S.A.R.A.H.

Intégration dans SARAH

• Ouvrir le fichier de configuration de SARAH (custom.ini) situé à la racine du répertoire d’installation de SARAH
• Chercher la ligne Google Speech Key API see https://console.developers.google.com/

• Modifier la ligne ;google= :
  • supprimer le point-virgule ; au début de la ligne
  • ajouter la clé API juste après le égal =

Remarque : cette clé est pour votre usage exclusive et ne doit pas être utilisée par d’autres personnes.

Démarrer

Et finalement, voici comment démarrer SARAH :

1. Démarrer le serveur : double-cliquer sur le fichier appelé Server_NodeJS.cmd
   ➔ une fenêtre MS-DOS s’ouvre affichant plusieurs lignes
   ➔ vous pouvez ouvrir le site web http://127.0.0.1:8080 dans votre navigateur pour voir l’interface de SARAH
2. Démarrer le client – plusieurs options:
   • Microphone (si vous n’avez pas de Kinect) : double-cliquer sur le fichier Client_Microphone.cmd;
   • Kinect (pour n’utiliser que l’audio) : double-cliquer sur le fichier Client_Kinect_Audio.cmd;
   • Kinect (toutes les fonctionnalités comme l’audio, la vidéo, reconnaissance des gestes, etc): double-cliquer sur le fichier .
     ➔ Une fois que le client est lancé une icône en forme de maison apparait alors près de l’horloge de Windows.

Ça y est ! Vous pouvez maintenant utiliser SARAH et la tester en disant “SARAH quelle heure est-il ?”. Et pour vous éclatez encore plus vous pouvez installer un plugin (voir ci-dessous).

Si vous avez des problèmes, merci de se référer à la FAQ.

Plugins

SARAH fonctionne surtout grâce aux plugins.

Installation

AppStore

La meilleure façon d’installer un plugin est de passer par le store :

1. Ouvrir l’interface Web de SARAH (http://127.0.0.1:8080)
2. Cliquer sur ‘Store’ (dans le menu de gauche)
3. Choisir les plugins voulus et cliquer sur ‘installer’ (si l’opération échoue, retenter plusieurs fois)
4. Redémarrer SARAH

Manuellement

Il est également possible d’installer manuellement un plugin. Pour ce faire il faut dézipper l’archive du plugin dans le répertoire plugins.

La structure des fichiers sera alors:

• plugins/demo/demo.js
• plugins/demo/demo.prop
• plugins/demo/demo.xml

Configuration Plugins

Les plugins installés s’affichent dans l’interface Web (http://127.0.0.1:8080) sous forme de widgets.

1. Configuration
2. Documentation
3. Editeur de fichiers

Certains plugins ont un widget personnalisé. Il faudra alors cliquer sur le bord droit pour pouvoir retourner le widget et voir apparaitre les trois boutons (cela ne fonctionne que sous Chrome).

Utilisation

Si vous ne savez pas comment utiliser le plugin, alors vous pouvez :

• Lire la documentation liée au plugin.
• Et s’il n’y a pas de documentation fournie, vous pouvez ouvrir le fichier XML pour trouver les commandes vocales disponibles.

Mise à jour de SARAH

Si vous voulez mettre à jour SARAH, vous devrez suivre les étapes ci-dessous :

1. Sauvegarder (en renommant le répertoire) votre installation courante
2. Télécharger et dézipper la nouvelle version
3. Copier les fichiers/dossiers ci-dessous de votre ancienne installation vers la nouvelle :
   • custom.prop: la configuration du serveur
   • custom.ini: la configuration du client (être sûr que rien de nouveau n’a été ajouté dans ce custom.ini)
   • plugins/*: vos plugins
   • profile\profile.json: informations des profils enregistrés
   • profile\faces: informations des visages enregistrés

S.A.R.A.H. V4

Sur un windows “normal” certaines étapes sont déjà faites par défaut. Ci-dessous les différentes étapes :

1. Télécharger et dézipper SARAH
   ➔ Lorsque vous dézippez le package de SARAH il faut vous assurer de ne pas avoir d’espaces dans le nom du chemin d’accès. Par exemple SARAH pourra se trouver dans C:\SARAH\ mais pas dans C:\Chemin avec des espaces\SARAH\
2. (par défaut) Télécharger et installer .Net 4.5 Framework
3. (par défaut) Télécharger et installer la version x86 Microsoft Speech Platform 11
   ➔ Ainsi que la langue du moteur Microsoft Speech Platform – Languages 11
4. (optionnel) Installer une voix TTS ou utiliser la voix par défaut de Windows 8
   ➔ la voix de Virginie fonctionne bien. ➔ la société Voxygen propose de nombreuses voix (parlez leur de SARAH !)
   ➔ En cas de problèmes, merci de consulter la FAQ

Après toutes ces étapes SARAH est prête à être configurée. Si vous avez un Kinect merci de suivre les instructions ci-dessous afin de pouvoir l’utiliser.

Kinect v1

1. Télécharger et installer Microsoft Kinect SDK 1.8
   ➔ Ainsi que la langue du moteur Kinect for Windows Language pack v11
2. (optionnel) Installer le Kinect Developper Toolkit 1.8 pour jouer avec les exemples
3. Dans client/custom.ini

[kinect_v1]
enable=true

[microphone]
enable=false

Sinon le Kinect est considéré comme un Microphone. Actuellement vous ne pouvez pas utiliser simultanément Kinect 1 et Kinect 2.

Kinect v2

1. Télécharger et installer Microsoft Kinect SDK 2.0
   ➔ Ainsi que la langue du moteur Kinect for Windows SDK 2.0 Language Packs
2. (optionnel) Installer le Kinect Developper Toolkit 1.8 pour jouer avec les exemples
3. Dans client/custom.ini

[kinect_v2]
enable=true

[microphone]
enable=false

Sinon le Kinect est considéré comme un Microphone. Actuellement vous ne pouvez pas utiliser simultanément Kinect 1 et Kinect 2.

Reconnaissance Vocale

Si vous souhaitez que SARAH fonctionne bien, il faut utiliser un bon micro. Dans cet article trois microphones (Microphone, Kinect et VoiceTracker II) ont été testés avec SARAH.

• Mettre le microphone devant vous en hauteur avec les sources sonore parasite sur le côté ou dans le dos.
• Changer le volume d’entrée du son : aller dans ➔ Panneau de Configuration ➔ Chercher Gérer les périphériques audio ➔ Clique droit sur votre microphone ➔ Cliquer sur Propriétés ➔ Change le niveau (par exemple, pour un microphone classique, ce doit être ~90, et pour un Kinect, il faut tenter plusieurs configurations)
• Entrainer la reconnaissance vocale de Windows : aller dans ➔ Panneau de Contrôle ➔ Reconnaissance vocale ➔ Suivre les didactitiels de reconnaissance vocale(attention : avec un microphone classique il ne faut pas faire ce didacticiel plus d’une fois)

Démarrer

Voici comment démarrer SARAH :

1. Démarrer le serveur : double-cliquer sur le fichier appelé Start_Server.cmd
   ➔ une fenêtre MS-DOS s’ouvre affichant plusieurs lignes
   ➔ vous pouvez ouvrir le site web http://127.0.0.1:8080 dans votre navigateur pour voir l’interface de SARAH
2. Démarrer le client : double-cliquer sur le fichier appelé Start_Client.cmd
   ➔ Une fois que le client est lancé une icône en forme de maison apparait alors près de l’horloge de Windows.

Ça y est ! Vous pouvez maintenant utiliser SARAH et la tester en disant “SARAH quelle heure est-il ?”. Et pour vous éclatez encore plus vous pouvez installer un plugin (voir ci-dessous).

Si vous avez des problèmes, merci de se référer à la FAQ.

Ne pas oublier la configuration de la google API Key.

Voilà S.A.R.A.H. sera alors à vos ordres. Le placement du micro a une grande importance et il y a des ajustements à faire pour qu’elle reconnaisse bien ce qu’on lui demande.

L’un des plugins à installer pour la suite est Jeedom. Il va permettre d’interfacer S.A.R.A.H avec le reste de la maison et nous verrons prochainement à quel point cela peut être intéressant.

Une nouvelle version beta est disponible.

Merci de votre lecture.