Installation de Sarah
Bonjour et bienvenue pour ce second billet. Il va présenter le premier pas dans la domotique appliquée à la maison des objets connectés.
Tout d’abord une petite présentation de S.A.R.A.H. reprise sur le site de l’auteur Jean-Philippe Encausse.
L’objectif du Projet S.A.R.A.H est la conception d’une maison intelligente connectée à l’internet des objets un peu dans l’esprit de la série TV Eureka.
L’idée est de mettre des technologies avancées de reconnaissance vocale, gestuelle, faciale, de QRCode, … à la portée de tous pour réfléchir et innover sur l’ergonomie et les usages de demain.
Ce framework S.A.R.A.H. est un projet français supporté sur une communauté google + de près de 3 000 membres à ce jour.
Il est construit en C# (Kinect) client Pour la Voix, Gesture, reconnaissance faciale et de QRCode et NodeJS (ExpressJS) server pour la communication de l’internet des objets.
Nous avons actuellement une version 3 disponible et plutôt stable et aussi une version 4 en beta. Pour piloter S.A.R.A.H. il faudra un PC, un micro ou Kinect (j’y reviens plus loin) et une sortie haut-parleur.
Si l’on souhaite utiliser les fonctions de reconnaissance faciale, QRcode et un micro de meilleur qualité, il faudra implémenter un kinect xbox 360 V1 facile à trouver sur les sites d’occasion comme leboncoin.fr. Un kinect Xbox one peut également être utilisé. Il procurera une meilleure reconnaissance cependant, il nécessite une connection usb3 au PC, ainsi que windows 8.1.
Je ne reviendrai pas ici sur l’installation de windows (7 ou 8.1). Une fois ce windows fraichement installé (pour ne pas rencontrer de soucis) nous pouvons passer à l’installation des prérequis de S.A.R.A.H. Je vais distinguer l’installation en V3 de celle en V4.
Table des matières
S.A.R.A.H V3
Sur un windows « normal » certaines étapes sont déjà faites par défaut. Ci-dessous les différentes étapes :
- Télécharger et dézipper SARAH
➔ Lorsque vous dézippez le package de SARAH il faut vous assurer de ne pas avoir d’espaces dans le nom du chemin d’accès. Par exemple SARAH pourra se trouver dansC:\SARAH\
mais pas dansC:\Chemin avec des espaces\SARAH\
- (par défaut) Télécharger et installer .Net 4.5 Framework (déjà installé sur un windows 8)
- (par défaut) Télécharger et installer la version x86 ou (x64 en fonction de votre machine) Microsoft Speech Platform 11
➔ Ainsi que la langue du moteur Microsoft Speech Platform – Languages 11 - (optionnel) Installer une voix TTS ou utiliser la voix par défaut de Windows 8
➔ la voix de Virginie fonctionne bien. ➔ la société Voxygen propose de nombreuses voix (parlez leur de SARAH !)
➔ En cas de problèmes, merci de consulter la FAQ
Après toutes ces étapes SARAH est prête à être configurée. Si vous avez un Kinect merci de suivre les instructions ci-dessous afin de pouvoir l’utiliser.
Kinect v1
Ce dispositif est très puissant et bien meilleur qu’un microphone ordinaire. Si vous en achetez un assurez-vous qu’il est livré avec le câble USB et son adaptateur.
Attention ! Microsoft arrête la vente de Kinect 1 au profit de Kinect 2.
Ci-dessous les instructions pour installer le Kinect v1 sous Windows :
- Télécharger et installer Kinect SDK v1.8
- Télécharger et installer le Language Pack (au moment du téléchargement il faudra bien choisir « FR-fr » pour la langue)
Quelques remarques à propos de l’installation d’un Kinect v1 :
- Certains utilisateurs ont indiqué avoir des soucis avec l’USB 3,
- Le Kinect consomme des ressources, si vous utilisez plusieurs Kinects avec de la vidéo, utilisez deux ports USB différents (les prolongateurs RJ45 ne marcheront pas).
- Mettre le Kinect en face de l’utilisateur
- Mettre les sources audio sur le côté ou derrière
- L’utilisateur doit parler 20db au dessus du son
- Les voix aigues sont mal reconnues
Kinect v2
Ci-dessous les instructions pour la deuxième génération de Kinect :
- Télécharger et installer Kinect SDK v2
- Télécharger et installer language packs v2 (au moment du téléchargement il faudra bien choisir « FR-fr » pour la langue)
Dans SARAH v3 le Kinect2 est considéré comme un super Microphone (la partie Kinect n’est pas utilisée)
Configuration
Si vous souhaitez que SARAH fonctionne bien, il faut utiliser un bon micro. Dans cet article trois microphones (Microphone, Kinect et VoiceTracker II) ont été testés avec SARAH.
Ci-dessous les prochaines étapes à suivre :
- Aller dans le répertoire
profile/
et effacer le fichierprofile.json
(sinon SARAH risque de vous appeler Jean-Philippe de temps en temps !) - Récupérer une Google API Key (voir ci-dessous)
- Regarder les différents paramètres disponibles dans le fichier
config.ini
- Changer le volume d’entrée du son : aller dans ➔
Panneau de Configuration
➔ ChercherGérer les périphériques audio
➔Clique droit sur votre microphone
➔ Cliquer surPropriétés
➔Change le niveau
(par exemple, pour un microphone classique, ce doit être ~90, et pour un Kinect, il faut tenter plusieurs configurations) - Entrainer la reconnaissance vocale de Windows : aller dans ➔
Panneau de Contrôle
➔Reconnaissance vocale
➔Suivre les didactitiels de reconnaissance vocale
(attention : avec un microphone classique il ne faut pas faire ce didacticiel plus d’une fois)
Récupérer une Google API Key
SARAH sait reconnaitre des commandes. Mais elle ne sait pas gérer les questions ouvertes: « SARAH recherche * sur wikipedia ». Dans ce cas SARAH interroge l’API de Google. La Google API Key est nécessaire pour plusieurs plugins.
Merci de suivre attentivement les différentes étapes décrites ci-dessous (instructions provenant du site http://www.chromium.org/developers/how-tos/api-keys)
1) S’enregistrer sur chromium
S’enregistrer sur le Google Group chromium :
- S’assurer d’être un membre de chromium-dev@chromium.org (vous pouvez souscrire à chromium-dev et choisir de ne pas recevoir d’emails). Pour cela, se rendre à l’adresse https://groups.google.com/a/chromium.org/forum/?fromgroups#!forum/chromium-dev
- Puis cliquer sur « Join the group to send a message »
- Choisir « Do not send updates by email »
- Cliquer sur « Join the group »
2) Créer une App Console
Créer une console app sur Google
- Se rendre sur https://cloud.google.com/console
- Click on « Create Project »
- Donner un nom
- Accepter the Terms of Use
- Puis « Create »
3) Activer Speech Api
- Aller dans « APIs & Auth > APIs » à partir du menu à gauche
- Dans Browse API chercher « Speech API »
- Cliquer sur « Speech API »
- Activer la clé
- Accepter les terms of use
4) Créer une Speech Key
Créer sa clé « Speech API »
- Aller dans « APIs & Auth > Credentials » à partir du menu à gauche
- Et sur le bouton « Create New Key »
- Cliquer sur le bouton « Browser key »
- Puis sur le bouton « Create »
- Votre API key :
5) Intégration dans S.A.R.A.H.
Intégration dans SARAH
- Ouvrir le fichier de configuration de SARAH (
custom.ini
) situé à la racine du répertoire d’installation de SARAH - Chercher la ligne
Google Speech Key API see https://console.developers.google.com/
- Modifier la ligne
;google=
:- supprimer le point-virgule
;
au début de la ligne - ajouter la clé API juste après le égal
=
- supprimer le point-virgule
Remarque : cette clé est pour votre usage exclusive et ne doit pas être utilisée par d’autres personnes.
Démarrer
Et finalement, voici comment démarrer SARAH :
- Démarrer le serveur : double-cliquer sur le fichier appelé
Server_NodeJS.cmd
➔ une fenêtre MS-DOS s’ouvre affichant plusieurs lignes
➔ vous pouvez ouvrir le site web http://127.0.0.1:8080 dans votre navigateur pour voir l’interface de SARAH - Démarrer le client – plusieurs options:
- Microphone (si vous n’avez pas de Kinect) : double-cliquer sur le fichier
Client_Microphone.cmd
; - Kinect (pour n’utiliser que l’audio) : double-cliquer sur le fichier
Client_Kinect_Audio.cmd
; - Kinect (toutes les fonctionnalités comme l’audio, la vidéo, reconnaissance des gestes, etc): double-cliquer sur le fichier
.
➔ Une fois que le client est lancé une icône en forme de maison apparait alors près de l’horloge de Windows.
- Microphone (si vous n’avez pas de Kinect) : double-cliquer sur le fichier
Ça y est ! Vous pouvez maintenant utiliser SARAH et la tester en disant « SARAH quelle heure est-il ? ». Et pour vous éclatez encore plus vous pouvez installer un plugin (voir ci-dessous).
Si vous avez des problèmes, merci de se référer à la FAQ.
Plugins
SARAH fonctionne surtout grâce aux plugins.
Installation
AppStore
La meilleure façon d’installer un plugin est de passer par le store :
- Ouvrir l’interface Web de SARAH (http://127.0.0.1:8080)
- Cliquer sur ‘Store’ (dans le menu de gauche)
- Choisir les plugins voulus et cliquer sur ‘installer’ (si l’opération échoue, retenter plusieurs fois)
- Redémarrer SARAH
Manuellement
Il est également possible d’installer manuellement un plugin. Pour ce faire il faut dézipper l’archive du plugin dans le répertoire plugins
.
La structure des fichiers sera alors:
- plugins/demo/demo.js
- plugins/demo/demo.prop
- plugins/demo/demo.xml
Configuration Plugins
Les plugins installés s’affichent dans l’interface Web (http://127.0.0.1:8080) sous forme de widgets.
- Configuration
- Documentation
- Editeur de fichiers
Certains plugins ont un widget personnalisé. Il faudra alors cliquer sur le bord droit pour pouvoir retourner le widget et voir apparaitre les trois boutons (cela ne fonctionne que sous Chrome).
Utilisation
Si vous ne savez pas comment utiliser le plugin, alors vous pouvez :
- Lire la documentation liée au plugin.
- Et s’il n’y a pas de documentation fournie, vous pouvez ouvrir le fichier XML pour trouver les commandes vocales disponibles.
Mise à jour de SARAH
Si vous voulez mettre à jour SARAH, vous devrez suivre les étapes ci-dessous :
- Sauvegarder (en renommant le répertoire) votre installation courante
- Télécharger et dézipper la nouvelle version
- Copier les fichiers/dossiers ci-dessous de votre ancienne installation vers la nouvelle :
custom.prop
: la configuration du serveurcustom.ini
: la configuration du client (être sûr que rien de nouveau n’a été ajouté dans cecustom.ini
)plugins/*
: vos pluginsprofile\profile.json
: informations des profils enregistrésprofile\faces
: informations des visages enregistrés
S.A.R.A.H. V4
Sur un windows « normal » certaines étapes sont déjà faites par défaut. Ci-dessous les différentes étapes :
- Télécharger et dézipper SARAH
➔ Lorsque vous dézippez le package de SARAH il faut vous assurer de ne pas avoir d’espaces dans le nom du chemin d’accès. Par exemple SARAH pourra se trouver dansC:\SARAH\
mais pas dansC:\Chemin avec des espaces\SARAH\
- (par défaut) Télécharger et installer .Net 4.5 Framework
- (par défaut) Télécharger et installer la version x86 Microsoft Speech Platform 11
➔ Ainsi que la langue du moteur Microsoft Speech Platform – Languages 11 - (optionnel) Installer une voix TTS ou utiliser la voix par défaut de Windows 8
➔ la voix de Virginie fonctionne bien. ➔ la société Voxygen propose de nombreuses voix (parlez leur de SARAH !)
➔ En cas de problèmes, merci de consulter la FAQ
Après toutes ces étapes SARAH est prête à être configurée. Si vous avez un Kinect merci de suivre les instructions ci-dessous afin de pouvoir l’utiliser.
Kinect v1
- Télécharger et installer Microsoft Kinect SDK 1.8
➔ Ainsi que la langue du moteur Kinect for Windows Language pack v11 - (optionnel) Installer le Kinect Developper Toolkit 1.8 pour jouer avec les exemples
- Dans
client/custom.ini
[kinect_v1]
enable=true
[microphone]
enable=false
Sinon le Kinect est considéré comme un Microphone. Actuellement vous ne pouvez pas utiliser simultanément Kinect 1 et Kinect 2.
Kinect v2
- Télécharger et installer Microsoft Kinect SDK 2.0
➔ Ainsi que la langue du moteur Kinect for Windows SDK 2.0 Language Packs - (optionnel) Installer le Kinect Developper Toolkit 1.8 pour jouer avec les exemples
- Dans
client/custom.ini
[kinect_v2]
enable=true
[microphone]
enable=false
Sinon le Kinect est considéré comme un Microphone. Actuellement vous ne pouvez pas utiliser simultanément Kinect 1 et Kinect 2.
Reconnaissance Vocale
Si vous souhaitez que SARAH fonctionne bien, il faut utiliser un bon micro. Dans cet article trois microphones (Microphone, Kinect et VoiceTracker II) ont été testés avec SARAH.
- Mettre le microphone devant vous en hauteur avec les sources sonore parasite sur le côté ou dans le dos.
- Changer le volume d’entrée du son : aller dans ➔
Panneau de Configuration
➔ ChercherGérer les périphériques audio
➔Clique droit sur votre microphone
➔ Cliquer surPropriétés
➔Change le niveau
(par exemple, pour un microphone classique, ce doit être ~90, et pour un Kinect, il faut tenter plusieurs configurations) - Entrainer la reconnaissance vocale de Windows : aller dans ➔
Panneau de Contrôle
➔Reconnaissance vocale
➔Suivre les didactitiels de reconnaissance vocale
(attention : avec un microphone classique il ne faut pas faire ce didacticiel plus d’une fois)
Démarrer
Voici comment démarrer SARAH :
- Démarrer le serveur : double-cliquer sur le fichier appelé
Start_Server.cmd
➔ une fenêtre MS-DOS s’ouvre affichant plusieurs lignes
➔ vous pouvez ouvrir le site web http://127.0.0.1:8080 dans votre navigateur pour voir l’interface de SARAH - Démarrer le client : double-cliquer sur le fichier appelé
Start_Client.cmd
➔ Une fois que le client est lancé une icône en forme de maison apparait alors près de l’horloge de Windows.
Ça y est ! Vous pouvez maintenant utiliser SARAH et la tester en disant « SARAH quelle heure est-il ? ». Et pour vous éclatez encore plus vous pouvez installer un plugin (voir ci-dessous).
Si vous avez des problèmes, merci de se référer à la FAQ.
Ne pas oublier la configuration de la google API Key.
Voilà S.A.R.A.H. sera alors à vos ordres. Le placement du micro a une grande importance et il y a des ajustements à faire pour qu’elle reconnaisse bien ce qu’on lui demande.
L’un des plugins à installer pour la suite est Jeedom. Il va permettre d’interfacer S.A.R.A.H avec le reste de la maison et nous verrons prochainement à quel point cela peut être intéressant.
Une nouvelle version beta est disponible.
Merci de votre lecture.