Tutoriel : expériences en ligne avec PsyToolkit (Stoet, 2010, 2017) pour l’évaluation de stimuli audio
Nicolas Audibert
Laboratoire de Phonétique et Phonologie, CNRS & Sorbonne Nouvelle
Dernière mise à jour : 30/10/2023
Important : Ce tutoriel est destiné à vous guider dans vos premiers pas avec PsyToolkit pour mettre en place des expériences en ligne d’évaluation de stimuli audio, mais vous devez impérativement vous conformer aux conditions d’utilisation de PsyToolkit (https://www.psytoolkit.org/).
Si vous utilisez PsyToolkit, vous devez le citer, cf. https://www.psytoolkit.org/faq.html#citations
Les conditions d’utilisation de PsyToolkit permettent de l’utiliser gratuitement dans le cadre de cours ou pour la recherche, mais son utilisation n’est pas autorisée à des fins commerciales, cf. https://www.psytoolkit.org/faq.html#permission
Pour plus d’informations sur les fonctionnalités de PsyToolkit, consultez la documentation.
Chaque expérience en ligne est montée sur la base d’un script qui détaille le déroulement, les stimuli, les instructions, etc. de l’expérience.
Ce tutoriel consiste principalement en quelques exemples simples de scripts associés à des images et des stimuli. Les expériences correspondantes sont constituées d’un questionnaire général suivi de la présentation en ordre aléatoire de stimuli audio, une (ou plusieurs) réponse(s) étant demandée(s) aux auditeurs suite à l'écoute de chaque stimulus. Vous pouvez réutiliser ces exemples en les adaptant à vos propres besoins.
Plusieurs variantes sont proposées en fonction de la nature de la tâche d’évaluation perceptive.
· Jugement sur une échelle de Likert (à 5 points dans ce cas) :
(démo : https://www.psytoolkit.org/c/3.4.4/survey?s=T4Wn2)
· Choix forcé parmi plusieurs catégories (en l’occurrence 4 catégories) :
(démo : https://www.psytoolkit.org/c/3.4.4/survey?s=A7XRC)
· Choix forcé complété par une échelle de Likert (ici à 7 points) :
exemple_choix_force_audio_certitude.zip
(démo : https://www.psytoolkit.org/c/3.4.4/survey?s=9Ocd3)
· Échelles de Likert multiples (deux dans l’exemple, il est possible d’en utiliser plus) :
exemple_double_echelle_jugement_audio.zip
(démo : https://www.psytoolkit.org/c/3.4.4/survey?s=HHSDW)
Ces exemples sont de simples illustrations puisque les stimuli choisis sont des sons artificiels (bruits blancs filtrés) qui n'ont aucun intérêt scientifique mais dans la plupart des cas vous pourrez reprendre telle-quelle la majeure partie du script en changeant les stimuli, les instructions et éventuellement les questions initiales. Dans le script de définition de l’expérience, si vous conservez la même trame vous n’aurez à modifier que les noms des stimuli et les caractéristiques associées dans la première partie (+ éventuellement les noms des images correspondant aux choix de réponse dans le cas du choix forcé), et le nombre de stimuli présentés à la fin.
Pour chacune des variantes, le script inclut de nombreux commentaires afin de préciser à quoi correspond chaque ligne, et de vous guider dans les modifications nécessaires.
La première chose à faire est de créer un compte (gratuit) sur PsyToolkit, en utilisant votre adresse email institutionnelle (celle de l’université) comme identifiant :
https://www.psytoolkit.org/#_web_based_login
· Connectez-vous à votre compte PsyToolkit
· Dans le menu de gauche, Create new experiment / Method 2: From a PsyToolkit experiment file (zip format)
· Télécharger l’un des 4 exemples donnés et le décompresser sur votre ordinateur, en choisissant un emplacement que vous pourrez facilement retrouver
· Choisir le fichier .zip qui se trouve dans le sous-dossier "experiment" du dossier sur votre ordinateur, et cocher la case "Click to set the name of the experiment as specified on the uploaded file" avant de cliquer sur Envoyer
· Cliquer sur Save puis sur Compile. Optionnel : pour éviter que le message "Click to start" soit affiché sur fond rouge avant l’affichage des instructions de la tâche expérimentale, vous pouvez cocher la case "Start experiment without the red box" avant de cliquer sur Compile
· La partie "experiment" (présentation des stimuli audio et jugements sur une échelle) est maintenant prête, il reste à définir la partie questionnaire (survey) qui sera accessible en ligne et le lien entre les deux
· Dans le menu de gauche, Create new survey
· Attribuer un nom de votre choix en évitant les caractères accentués, apostrophes et autres "caractères spéciaux" qui seront remplacés par _, et cliquer sur Envoyer
· Effacer le texte dans le cadre sous "Enter/edit in the box below:" et copier/coller à la place le contenu du fichier texte qui se trouve dans le sous-dossier "survey" du dossier sur votre ordinateur, puis cliquer sur Save.
· Optionnel, peut-être fait dans un second temps. Dans la section "Survey options, browser exclusions, and style", si les instructions données aux auditeurs sont dans une autre langue que l’anglais il est conseillé de modifier la langue de la page d’accueil. Vous pouvez également définir le nom qui sera affiché en haut de la page (texte à modifier à la suite de "Survey name in header"). Par ailleurs il est souvent souhaitable de désactiver la barre de progression en cochant la case "Do not show a progress report", car la partie "experiment" dans son intégralité est considérée comme une étape au même titre que chaque question de la partie survey, et la progression affichée est souvent peu représentative de la durée de chaque étape. Une fois ces modifications effectuées, cliquez à nouveau sur Save pour les enregistrer avant de compiler.
· Cliquer sur Compile. Il est normal que vous obteniez un message d'avertissement (warning) à propos des mesures de temps de réaction, vous pouvez l'ignorer puisque les temps de réaction ne sont pas pertinents avec un protocole expérimental comme celui-ci.
· Modifier "Online/Offline survey status" pour pouvoir tester avec le lien que vous obtiendrez (en complément vous pouvez générer un QR code), que vous pourrez ensuite transmettre aux participants. Tant que votre expérience n'est pas finalisée il est conseillé d'opter pour "Survey is online. For when you are still designing it.", ce qui vous permettra d’apporter des modifications.
Principes généraux pour adapter un exemple à vos besoins
· A chaque fois que vous modifiez quelque chose dans la partie experiment ou la partie survey, il faut sauvegarder avec Save puis compiler à nouveau avec Compile. Lorsqu’il y a des modifications non sauvegardées cela est indiqué par un fond de couleur marron au lieu de gris.
· Dans la définition de chacune de ces parties (le texte qui apparait en haut quand vous y accédez depuis le menu de gauche), j'ai mis de nombreux commentaires (= lignes qui commencent par le caractère #) pour expliquer à quoi correspondent les différents éléments. Dans la partie experiment, vous devrez en particulier adapter le nom (et probablement le nombre) des stimuli audio qui doivent impérativement être au format mp3.
· Afin de vous aider à les repérer, chacune des parties qu’il est nécessaire de modifier commence par « # DEBUT PARTIE A ADAPTER » et se termine par « # FIN PARTIE A ADAPTER ». Lorsque l’adaptation est optionnelle (par exemple si vous voulez modifier le nombre de points d’une échelle de Likert), cela est précisé entre parenthèses.
· Dans la partie survey, en fonction des informations sur les auditeurs qu'il vous semble pertinent ou non de recueillir, il pourra être nécessaire d’ajouter ou supprimer des questions. Attention à ne pas supprimer le dernier bloc qui permet de faire le lien avec la partie experiment. En revanche il est possible de placer tout ou partie des questions de la partie survey après le bloc qui contient la ligne "t: experiment", ces questions seront alors affichées après l’évaluation perceptive proprement dite (cela peut être utile par exemple pour recueillir des impressions générales de la part des auditeurs, et/ou pour des questions susceptibles d’influencer la réalisation de la tâche).
· Dans la partie experiment, les éléments visuels sont définis par des images PNG. Vous aurez sans doute besoin d'adapter les instructions générales, ainsi que les étiquettes à gauche et à droite de l'échelle (cas de l’échelle de Likert) ou les options de réponse (cas du choix forcé). Vous pouvez le faire en modifiant le fichier Powerpoint correspondant à la variante utilisée et en enregistrant les différents éléments en tant qu'images PNG (pour le nom à donner à chaque image que vous enregistrez, suivez les indications dans le fichier Powerpoint). Il faudra ensuite charger ces images modifiées avec "Upload image or sound files" sous le texte qui définit l'expérience (Edit experiments / sélectionner l’expérience à modifier). Le principe est le même pour charger vos stimuli audio au format mp3.
· Si
vous optez pour des réponses en choix forcé, notez bien l’ordre dans lequel
vous présentez les choix de réponses qui seront numérotés à partir de 1. Vous
aurez besoin de cette information ensuite pour interpréter les résultats car
c’est ce numéro qui sera enregistré et non le nom de l’image correspondante.
PsyToolkit intègre des outils d’analyse, mais qui ne sont pas directement applicables à une expérience qui combine une partie questionnaire (survey) et une tâche expérimentale (experiment). Nous allons donc télécharger les données depuis PsyToolkit, et les formater à l’aide du logiciel gratuit R[1].
Avant tout, actualisez la page pour prendre en compte les éventuelles réponses qui viendraient d’être enregistrées.
Dans la partie "Survey" de votre expérience, descendez jusqu’à l’avant-dernière section "Prepare and download participant data". Dans cette section, cliquez sur le bouton "Prepare datafiles for download" (éventuellement en cochant la case correspondante si vous souhaitez inclure les réponses incomplètes), après quelques secondes cliquez sur le bouton qui se trouve sous le texte clignotant, puis cliquez sur "Download data in zip file" si ce bouton est disponible.
Vous obtiendrez ainsi une archive (nom par défaut data.zip) contenant notamment un fichier data.xlsx avec une ligne par participant. Les réponses aux questions de la partie "survey" apparaissent directement dans ce fichier. La colonne "expe_1" contient le nom du fichier texte (dans le sous-dossier experiment_data) qui correspond aux réponses données dans la partie "experiment").
Pour rassembler dans un même fichier Excel l’ensemble des données collectées, vous pouvez utiliser le script R traitement_reponses_test_psytoolkit.R (faites un clic droit pour enregistrer le script sur votre ordinateur à un emplacement de votre choix) et procéder comme ceci :
· Décompresser l’archive dans un dossier que vous pourrez retrouver facilement (avec certains navigateurs, il est possible que l’archive soit décompressée automatiquement). Ce dossier contiendra entre autres les fichiers data.xlsx et data.csv, et un sous-dossier experiment_data
· Dans RStudio, ouvrir le script traitement_reponses_test_psytoolkit.R, puis l’exécuter en cliquant sur Source
· Lorsqu’une boîte de dialogue vous invitant à choisir le dossier qui contient les données apparaît, sélectionner le dossier qui contient les fichiers data.xlsx et data.csv, et le sous-dossier experiment_data
· Par défaut, le fichier Excel de résultats sera nommé resultats_experience_psytoolkit suivi du nombre de participants et de la date et l’heure, et sera placé dans le répertoire de travail de RStudio. Vous pouvez si vous le souhaitez modifier le nom et/ou l’emplacement de ce fichier.
· Dans le fichier généré, les colonnes qui contiennent les résultats de la tâche expérimentale sont nommées experiment_result_col1, experiment_result_col2, etc. Il est conseillé de les renommer pour correspondre aux éléments sauvegardés dans la partie "experiment", cf. la ligne qui commence par "save" et les commentaires associés en tenant compte des éventuelles colonnes du tableau qui contiennent plusieurs éléments séparés par un espace (dans les exemples, la première colonne du tableau de stimuli @1 contient trois éléments et génère donc 3 colonnes dans le fichier de résultats).
· Stoet, G. (2010). PsyToolkit - A software package for programming psychological experiments using Linux. Behavior Research Methods, 42(4), 1096-1104.
· Stoet, G. (2017). PsyToolkit: A novel web-based method for running online questionnaires and reaction-time experiments. Teaching of Psychology, 44(1), 24-31.
[1] Pour cela il est nécessaire d’installer les logiciels gratuits R et RStudio, puis l’ensemble de packages tidyverse et le package writexl. Vous pouvez le faire en suivant ce tutoriel qui vous indiquera également comment exécuter un script R dans RStudio.