La question qui arrive avant le café
Nous avons relu les transcriptions de quinze rencontres de développement d'affaires récentes, chez Perrier Jablonski. Dans quatorze d'entre elles, le mot « sondage » est prononcé. Dans douze, quelqu'un demande combien d'entrevues il faudra faire, ou si un si petit nombre peut représenter quoi que ce soit. Parfois c'est le client qui pose la question. Parfois c'est nous qui la devançons, parce qu'on sait qu'elle s'en vient. Elle arrive avant le budget, avant l'échéancier, parfois avant qu'on ait fini de se présenter.
On la comprend très bien. Un sondage donne quelque chose de rassurant : des pourcentages, des graphiques, un grand nombre de répondants. Ça se présente bien devant un comité de direction. À côté, une trentaine de conversations avec des gens peuvent sembler fragiles. On voudrait passer directement au moment où les résultats ont l'air solides.
Notre réponse tient dans le titre : un sondage, oui, mais après l'ethnographie. On adore les sondages. On en fait sur le maximum de mandats qu'on peut. Simplement, on les fait dans un ordre précis, et cet ordre change tout.
Le vin est trop cher
Un jour, chez un grand détaillant, je donne cet exemple à voix haute : si j'envoie un questionnaire à dix mille personnes en leur demandant si le vin est trop cher, j'aurai 92 % de oui. Le chiffre sera propre, la marge d'erreur minuscule, le graphique impeccable. Et il ne servira à rien, parce que c'est moi qui ai choisi la question du prix. En 2024, tout est trop cher. Le sondage aura mesuré ma propre hypothèse avec une précision remarquable.
C'est le problème d'un questionnaire écrit trop tôt : il contient déjà une théorie du problème. Les sujets abordés, les mots employés, les choix proposés, les personnes invitées à répondre, tout cela est décidé avant la première réponse. Le psychologue Norbert Schwarz a documenté à quel point la formulation, les options de réponse et le contexte d'un questionnaire influencent ce que les gens déclarent. Les répondants devinent ce qu'on attend d'eux à partir des choix qu'on leur offre. La qualité de la mesure dépend de la manière dont la question a été construite. [1]
Augmenter le nombre de répondants réduit certaines incertitudes statistiques. Ça ne fait pas apparaître une dimension que le questionnaire avait oubliée. On peut obtenir un très beau graphique sur un problème mal posé.
Ce que le terrain apprend au questionnaire
L'ethnographie examine les pratiques dans leur contexte. Elle combine, selon le mandat, observation, entrevues approfondies, documents et confrontation de plusieurs points de vue. En entrevue, on demande à quelqu'un de raconter la dernière fois qu'il a utilisé un service. On reprend le déroulement. On s'arrête sur une hésitation. On revient sur un mot. Sur le terrain, on regarde ensuite comment ça se passe pour vrai, et on compare avec ce qu'on nous a raconté.
Alex, notre anthropologue, raconte souvent la même anecdote municipale. Il demande à un citoyen s'il s'intéresse à la vie de sa ville. Non, pas tant. À quand remonte sa dernière séance du conseil municipal? Mardi dernier. Il y est tous les mardis. Dans un sondage, cette personne aurait coché « pas impliqué ». À l'inverse, un autre se dit très au courant des affaires municipales et n'a jamais mis les pieds au conseil. Le questionnaire aurait enregistré deux réponses fausses, avec une grande confiance.
La distinction entre ce que les gens font et ce qu'ils disent d'eux-mêmes, c'est là que le terrain est puissant. Si on fait le sondage en premier, on n'aura pas le pourquoi derrière les chiffres. Et sans le pourquoi, il n'y a pas de stratégie.
Le terrain change aussi nos questions. Un même mot recouvre souvent des réalités différentes. « Accessible », pour une organisation, veut peut-être dire ouvert le soir. Pour un usager, ça peut vouloir dire compréhensible sans demander de l'aide. Le questionnaire écrit après l'ethnographie reprend les mots des gens, et ses choix de réponse ressemblent aux situations qu'on a réellement rencontrées.
Une séquence qui a un nom
Cette articulation appartient à la famille des méthodes mixtes. Michael Fetters, Leslie Curry et John Creswell décrivent notamment le devis exploratoire séquentiel : une phase qualitative nourrit une phase quantitative. Les résultats de la première servent à construire la seconde, par exemple en définissant les dimensions et les questions d'un instrument de mesure. [2]
Chez nous, ça s'appelle un sondage ethnographique. Les questions sont issues du terrain. Les hypothèses sont devenues assez précises pour être mises à l'épreuve. On peut alors estimer quels freins sont répandus, comparer des publics ou vérifier si une piste dépasse les personnes rencontrées. Si, dans une quinzaine d'entrevues, on a entendu huit ou neuf fois la même inquiétude, cette question-là mérite d'être testée auprès de quelques centaines de répondants.
Et le questionnaire doit pouvoir nous donner tort. J'en ai fait l'expérience comme rédacteur. Sur un mandat pour un cégep, j'avais un instinct : à cet âge-là, les jeunes veulent être pris pour des adultes, donc on les vouvoie. Alex a proposé d'ajouter trois formulations au sondage qui suivait les entrevues, sans dire laquelle il fallait préférer. J'avais tort. Les adolescents qu'on visait voulaient être pris au sérieux, mais le « vous » les tenait à distance. Ce paragraphe du brief a l'air simple. Il est documenté deux fois : par les entrevues qui ont fait émerger l'enjeu, et par le sondage qui a tranché la formulation.
Merton et Lazarsfeld avaient déjà posé le problème
Dans notre article sur les focus groups, nous revenions sur les travaux de Robert Merton et Paul Lazarsfeld. Leur histoire rappelle qu'on peut conserver le nom d'un outil tout en perdant de vue sa fonction.
En 1987, Merton formule une distinction particulièrement utile ici. Les entretiens de groupe et les entrevues produisent des idées et des hypothèses; ils ne démontrent ni la fréquence ni la répartition des phénomènes repérés. Il écrit qu'il n'existe aucun moyen de savoir, avant une recherche quantitative ultérieure, lesquelles des interprétations plausibles tiendront la route et lesquelles s'effondreront. Il ajoute que certaines hypothèses issues de leurs propres entretiens n'avaient pas résisté aux recherches suivantes. [3]
Autrement dit, le pionnier de l'entrevue qualitative savait que le terrain pouvait lui donner une explication séduisante qui restait à éprouver. Le sondage après l'ethnographie, c'est lui qui l'a dit en premier.
Les groupes de discussion gardent d'ailleurs une utilité propre. Jenny Kitzinger insiste sur l'interaction entre participants : les accords, les contestations et les explications qu'ils s'adressent peuvent faire émerger des données précieuses. Une entrevue individuelle, un groupe de discussion et un sondage donnent accès à des matériaux différents. On choisit leur combinaison selon ce qu'on cherche à comprendre. [4]
Et combien d'entrevues faut-il faire?
Voilà la question jumelle. Elle arrive presque aussi vite que la première : comment trente conversations pourraient-elles apprendre quelque chose sur des milliers de personnes?
Pour estimer un pourcentage dans une population, il faut un dispositif quantitatif adapté, et quelques centaines de répondants bien recrutés suffisent souvent. Le qualitatif poursuit un autre objectif : découvrir des mécanismes, comprendre des expériences, identifier les dimensions pertinentes. Son échantillonnage privilégie la diversité des situations utiles à la recherche. Ce qui nous intéresse, ce sont les usagers extrêmes : ceux qui ne viennent jamais, ceux qui viennent tout le temps, ceux qui sont partis. On cherche moins la moyenne que les écarts.
Dans nos cadrages, on évoque souvent un premier lot de sept ou huit entrevues par groupe. C'est un repère de travail pour commencer et budgéter, à ajuster selon ce qu'on apprend. Sur un mandat, on avait prévu trente entrevues; au bout de vingt-deux ou vingt-trois, Alex nous a dit : honnêtement, on pourrait arrêter, je n'apprends plus rien. Sur un autre, il a demandé cinq entrevues de plus pour vérifier un motif qui se dessinait. Le nombre suit ce qu'il reste à apprendre.
Ce que la recherche a mesuré
La littérature a testé cette intuition. En 2006, Greg Guest, Arwen Bunce et Laura Johnson analysent soixante entrevues menées dans deux pays africains et constatent que la saturation des codes survient dès la douzième entrevue, et que l'essentiel des grands thèmes est déjà présent après six. [5] Nous avons raconté ailleurs l'étude de Griffin et Hauser, où une vingtaine d'entrevues retrouvaient la grande majorité des besoins identifiés auprès de trente clients.
Dans leur revue systématique publiée en 2022, Monique Hennink et Bonnie Kaiser constatent que plusieurs études empiriques atteignent la saturation entre 9 et 17 entrevues. Elles précisent les conditions : des populations relativement homogènes, des objectifs étroits et, souvent, une saturation des thèmes identifiés. Les recherches plus hétérogènes ou plus ambitieuses exigent davantage de données. [6]
Une étude de Hennink, Kaiser et Vincent Marconi affine encore : les grands thèmes étaient repérés après environ neuf entrevues, tandis que la compréhension de leur signification demandait entre 16 et 24 entrevues. Repérer un thème et le comprendre demandent des efforts différents. [7]
Le nombre doit suivre ce qu'il reste à apprendre
Kirsti Malterud et ses collègues proposent la notion de « puissance informationnelle ». La taille pertinente dépend de l'objectif, de la spécificité de l'échantillon, de l'appui théorique, de la qualité du dialogue et de la stratégie d'analyse. Plus les données sont riches pour une question précise, moins il est nécessaire de multiplier les participants. [8]
Concrètement : si chaque nouvelle entrevue révèle une situation importante, on poursuit. Si un public manque, on le recrute. Si les thèmes se répètent mais qu'on comprend encore mal les contradictions, on approfondit. Et si les explications se stabilisent sur le périmètre étudié, on peut justifier l'arrêt. La rigueur consiste à rendre cette décision explicite. Afficher soixante entrevues sur une proposition ne garantit pas davantage la qualité que d'en annoncer douze.
Ce que le sondage apporte ensuite
Une fois les bonnes dimensions identifiées, le sondage devient très utile, et pour une raison qu'on oublie souvent : il sert à convaincre. Si dix-sept personnes sur soixante nous ont parlé d'une chose extraordinaire, ça m'étonnerait qu'un président investisse dix millions de dollars sur la foi de dix-sept entrevues. Une contre-vérification auprès de mille cinq cents répondants, elle, se défend devant un conseil d'administration. Le terrain a rendu la décision intelligible; le sondage la rend défendable.
Encore faut-il vérifier qui répond. Une enquête menée uniquement auprès des abonnés d'une infolettre renseigne d'abord sur ces abonnés. Même nombreux, ils ne représentent pas tous les clients, encore moins les gens qui ne viennent jamais. Un musée nous confiait que ses sondages de satisfaction affichaient des notes superbes, et pour cause : seuls répondaient les visiteurs déjà conquis par l'exposition. Ça parlait de l'artiste bien plus que de l'institution. Le recrutement, la couverture de la population et la non-réponse comptent autant que le nombre affiché.
Et une réponse déclarée reste une réponse déclarée. Préférer une proposition dans un questionnaire ne garantit pas qu'on l'adoptera dans la vie réelle. Selon la décision, un test en situation peut compléter l'ensemble.
Le bon ordre dépend de ce qu'on ignore
Pour un problème encore flou, notre démarche suit un fil simple : examiner les connaissances existantes; aller sur le terrain; formuler les hypothèses; construire et prétester les questions; puis mesurer, lorsque cette mesure aide à décider.
Ça ne veut pas dire que toute recherche doit commencer par l'ethnographie. Un indicateur bien établi peut être suivi directement par sondage. Un résultat quantitatif inattendu peut aussi appeler des entrevues pour l'expliquer : c'est l'autre séquence reconnue dans les méthodes mixtes. [2]
Notre recommandation concerne les situations où l'organisation cherche encore à comprendre ce qui se joue. Dans ces cas-là, commander le questionnaire trop tôt revient à fixer les réponses possibles avant d'avoir écouté les gens. Comme on le dit souvent en rencontre : le quanti, on adore. Le quanti sans le quali, voilà la seule chose qui nous fait tiquer.
.avif)