Contexte et enjeux

L’apprentissage de la guitare peut se révéler complexe sans l’aide d’un professeur. Cependant, dans le cadre de cours distribués en ligne, le professeur n’a pas le temps de donner des conseils ou une critique constructive à chaque élève. L’intérêt de ce projet est de faciliter le travail de l’élève et du professeur en fournissant un « coach virtuel » étant capable de juger la performance de l’élève et de lui montrer ses erreurs.

Objectifs

Pour que le coach virtuel puisse donner des retours corrects et utiles à l’élève, il doit être capable de reconnaître les notes jouées au moyen des techniques de traitement de signal et d’intelligence artificielle (grâce à l’utilisation de deep neural networks). Il doit également pouvoir comparer les notes reconnues avec les données d’un morceau de référence afin de pouvoir signaler à l’utilisateur quelles notes sont justes, fausses et si le tempo de la performance est respecté. Finalement, il doit apprendre à juger une performance dans sa globalité pour aiguiller l’élève dans la suite de son apprentissage. Le projet se base sur le Machine Learning.

Partenaires et financement

HMonster sàrl

Financé par Innosuisse – Agence suisse pour l’encouragement de l’innovation

Résultats

La reconnaissance des notes jouées par un utilisateur est fonctionnelle, notre solution a obtenu un f1-score de 0,99 (rappel 1,0 et précision 0,99) sur un ensemble de données monophoniques et un f1-score de 0,90 (rappel 0,92 et précision 0,91) sur un ensemble de données polyphoniques. Ces résultats ont pu être atteints grâce à l’ajout d’un réseau de neurones convolutif (CNN) profond aux mécanismes de traitement de signal (Short Time Fourier Transform et Constant-Q Transform).

Un algorithme d’évaluation permet de donner plusieurs informations à l’élève : quelle note a été jouée juste, fausse, en avance, en retard ou si une note n’a pas été jouée.

De plus, le coach virtuel est capable de dire à l’utilisateur qu’il a bien réussi sa performance (et qu’il peut passer au morceau suivant) ou qu’il devra s’entrainer encore. Le coach virtuel spécifiera une stratégie d’apprentissage : prochain morceau à jouer et à quelle vitesse utiliser afin de réussir au mieux l’exercice. Techniquement, ceci a été réalisé grâce à un apprentissage par arbre de décision.

Valorisation

Hatem Ghorbel, Stefano Carrino, Jeshon Assunçao, Etienne Frank, Jérôme Moret, Steve Nadalin, Denis Prêtre, Valentin Py, Nicolas Zannini. HGuitare : Interfaces et Usagers, Poster présenté dans la journée de la recherche HES-SO, Fribourg 9 octobre 2018.

Chef de projet