{"id":20892,"date":"2019-07-04T17:44:00","date_gmt":"2019-07-04T17:44:00","guid":{"rendered":"https:\/\/www.he-arc.ch\/projets-recherche\/hguitare\/"},"modified":"2022-01-10T13:54:23","modified_gmt":"2022-01-10T12:54:23","slug":"hguitare","status":"publish","type":"he-arc_project","link":"https:\/\/www.he-arc.ch\/en\/projets-recherche\/hguitare\/","title":{"rendered":"HGuitare"},"content":{"rendered":"\n

Contexte et enjeux<\/h2>\n\n\n\n

L\u2019apprentissage de la guitare peut se r\u00e9v\u00e9ler complexe sans l\u2019aide d\u2019un professeur. Cependant, dans le cadre de cours distribu\u00e9s en ligne, le professeur n\u2019a pas le temps de donner des conseils ou une critique constructive \u00e0 chaque \u00e9l\u00e8ve. L\u2019int\u00e9r\u00eat de ce projet est de faciliter le travail de l\u2019\u00e9l\u00e8ve et du professeur en fournissant un \u00ab coach virtuel \u00bb \u00e9tant capable de juger la performance de l\u2019\u00e9l\u00e8ve et de lui montrer ses erreurs.<\/p>\n\n\n\n

Objectifs<\/h2>\n\n\n\n

Pour que le coach virtuel puisse donner des retours corrects et utiles \u00e0 l\u2019\u00e9l\u00e8ve, il doit \u00eatre capable de reconna\u00eetre les notes jou\u00e9es au moyen des techniques de traitement de signal et d\u2019intelligence artificielle (gr\u00e2ce \u00e0 l\u2019utilisation de deep neural networks). Il doit \u00e9galement pouvoir comparer les notes reconnues avec les donn\u00e9es d\u2019un morceau de r\u00e9f\u00e9rence afin de pouvoir signaler \u00e0 l\u2019utilisateur quelles notes sont justes, fausses et si le tempo de la performance est respect\u00e9. Finalement, il doit apprendre \u00e0 juger une performance dans sa globalit\u00e9 pour aiguiller l\u2019\u00e9l\u00e8ve dans la suite de son apprentissage. Le projet se base sur le Machine Learning.<\/p>\n\n\n\n

Partenaires et financement<\/h2>\n\n\n\n

HMonster s\u00e0rl<\/a><\/p>\n\n\n\n

Financ\u00e9 par Innosuisse – Agence suisse pour l’encouragement de l’innovation<\/a><\/p>\n\n\n\n

R\u00e9sultats<\/h2>\n\n\n\n

La reconnaissance des notes jou\u00e9es par un utilisateur est fonctionnelle, notre solution a obtenu un f1-score de 0,99 (rappel 1,0 et pr\u00e9cision 0,99) sur un ensemble de donn\u00e9es monophoniques et un f1-score de 0,90 (rappel 0,92 et pr\u00e9cision 0,91) sur un ensemble de donn\u00e9es polyphoniques. Ces r\u00e9sultats ont pu \u00eatre atteints gr\u00e2ce \u00e0 l\u2019ajout d\u2019un r\u00e9seau de neurones convolutif (CNN) profond aux m\u00e9canismes de traitement de signal (Short Time Fourier Transform et Constant-Q Transform).<\/p>\n\n\n\n

Un algorithme d\u2019\u00e9valuation permet de donner plusieurs informations \u00e0 l\u2019\u00e9l\u00e8ve : quelle note a \u00e9t\u00e9 jou\u00e9e juste, fausse, en avance, en retard ou si une note n\u2019a pas \u00e9t\u00e9 jou\u00e9e.<\/p>\n\n\n\n

De plus, le coach virtuel est capable de dire \u00e0 l\u2019utilisateur qu\u2019il a bien r\u00e9ussi sa performance (et qu\u2019il peut passer au morceau suivant) ou qu\u2019il devra s\u2019entrainer encore. Le coach virtuel sp\u00e9cifiera une strat\u00e9gie d\u2019apprentissage : prochain morceau \u00e0 jouer et \u00e0 quelle vitesse utiliser afin de r\u00e9ussir au mieux l\u2019exercice. Techniquement, ceci a \u00e9t\u00e9 r\u00e9alis\u00e9 gr\u00e2ce \u00e0 un apprentissage par arbre de d\u00e9cision.<\/p>\n\n\n\n