Le 2nd volet du programme #TesteurSosh décortiqué par SosherZ

#TesteurSosh c’est le programme lancé par Sosh en 2012 qui permet à quelques dizaines d’abonnés de tester un smartphone pendant quelques semaines. Le premier volet nous avait permis de découvrir l’HTC 8X et l’OS Windows Phone 8. Pour le second volet qui est en train de se dérouler, nous testons le Sony Xperia Z sous Android Jelly Bean.
Je ne vais pas vous parler des smartphones ici mais bien du programme en tant que tel. Cet article est là pour mettre le doigt sur les défauts de #TesteurSosh afin que ce programme devienne plus construit et plaisant pour tous.

En tant que top-contributeur, Sosher’Z sera amené à continuer l’aventure TesteurSosh avec d’autres produits, nous espérons ainsi que cet article permettra d’améliorer l’ensemble et nous invitons les autres testeurs à commenter et donner leurs avis.

Sortez les scalpels, on va décortiquer tout ça!

L’inscription / enregistrement

Comme indiqué ci-dessus, étant top-contributeur je n’ai pas eu à m’inscrire via le formulaire et espérer être sélectionné, je vais donc parler de la partie enregistrement. Sosh a écouté les testeurs du premier volet et a proposé cette fois-ci l’envoi des papiers nécessaires à l’enregistrement par format électronique. Un simple échange de mail et une édition du contrat de prêt et autres documents sous Adobe Reader X suffisaient pour valider notre participation au programme. Une bonne chose pour éviter l’angoisse et les délais du transport par la Poste!

L’envoi des téléphones / le début du test

Les aléas du direct: Sosh en a été la victime pour le début du programme…
Vague de froid et surtout vague de neige, les intempéries ont freiné l’envoi des téléphones, du coup le début du test a été décalé une première fois d’une semaine (prévu initialement le 14/03, nous devions finalement attendre le 21). Aucun mail n’a été envoyé pour avertir le départ du téléphone, ni donner un quelconque suivi. Heureusement @So_shieS nous faisait parvenir via Twitter le numéro de suivi sur demande.

Par la suite c’est la mise en place du site (testeur.sosh.fr) qui a posé des problèmes, Jeudi 21 non, Vendredi 22 (NDLR: WHAT? De la prod un vendredi? On craint dégun affirme Sosh) toujours pas… Le week-end passe et finalement nous pouvons nous enregistrer sur le fameux site le Lundi 25 Mars.

Les aléas du direct, finalement pas si grave puisque dans tout les cas un certain nombre de tests étaient prévus et le planning décalé en conséquence… Disons que cela nous a permis d’avoir un bonus temps pour découvrir l’Xperia Z!

Le site testeur.sosh.fr

Vous aimez les bugs? Non? Il faudra quand même faire avec et être attentif pour ne pas se perdre dans les tests!
Pour commencer, il y a eu malheureusement quelques testeurs sur la touche au début du test. En cause: Une mauvaise date de naissance sur l’espace client Orange qui bloquait l’enregistrement sur le site testeursosh… Le problème a été résolu le lendemain du lancement (26/03 donc) dans l’après-midi.

Les testeurs ont souvent décrié des problèmes de publication de leur tests sur Twitter alors que la publication sur Facebook s’effectuait sans soucis…

J’ai moi-même constaté d’autres bugs sur le site, notamment des commentaires sur mes tests qui étaient en réalité destinés à d’autres testeurs.
Encore plus fort, n’ayant pas encore réalisé un test du planning, je vais sur la page en question et constate qu’il y a l’avis d’un autre testeur à la place du formulaire pour remplir le mien…

Enfin, les compteurs qui détermineront le classement des testeurs (les 20 premiers garderont l’Xperia Z) ont des soucis. Le premier gros problème a été résolu. Il s’agissait du compteur de tweet qui ne fonctionnait mal voir pas du tout. Une correction a été apportée assez rapidement.
En revanche, ce qui ne fonctionne pas du tout, c’est le compteur de like sur la publication. En effet, à chaque test ou défi on peut cocher la publication auto sur Facebook et Twitter. Parfait, sauf que les likes des contacts FB sur votre publication ne sont pas comptabilisés. Il faut qu’ils soient effectués sur la page du test (testeur.sosh.fr) et nulle par ailleurs!

En dehors des bugs, j’ai été agréablement surpris par le site et j’ai trouvé très pratique (à la fois pour Sosh mais surtout pour les visiteurs) les notations.

Sur le papier c’est vraiment une bonne idée et cela permet de rendre compte très facilement de l’état global des avis. En pratique, ce sera moins évident car les tests sont parfois trop précis et la notation difficile à déterminer par les testeurs… Certains sont même allés jusqu’à noter l’intitulé et la description du test en signe de mécontentement… Difficile donc de prendre pour argent comptant la note finale!

Le planning et rubriques de test

Le fameux planning communiqué par email le vendredi 22 de manière provisoire puis validé le Lundi 25 suite à l’enregistrement sur le site du Test est le suivant :

Notez bien les différentes rubriques (Design & Matérieux, Multimédia etc.) et maintenant regardez ces mêmes rubriques et leurs contenus sur le site TesteurSosh :
- Sur la 1ère page, une présentation du flagship de Sony

- Sur la page centralisant les tests à effectuer

On est d’accord, ce n’est pas classé de la même manière! Allez comprendre. Passons… Les rubriques sont donc composées de tests ou défis; pour chacun il y a un petit texte qui nous oriente sur quoi tester.

Scénario de test

Waouh! Heureusement que le site a été complété avec un champ « Test Libre » pour chaque rubrique… Voyez vous-même : Sosh nous demande, entre autre, de tester et donner notre avis sur:

• L’aspect gaming mobile avec, roulement de tambour, NFS Shift, oh non pardon, avec une démo de 5mn de NFS Shift! Et ce n’était même pas le 1er Avril :]
• La « luminosité » qui est en fait un test du capteur photo en contre-jour, pour au final tester uniquement la technologie HDR de l’Exmor RS.
• La navigation et le multitâches, sur Android Jelly Bean, en 2013…

Évidemment, les tests ne sont pas rigides et de toute manière les testeurs ne se sont (heureusement) pas toujours arrêtés à l’énoncé!
Ce que je souhaite montrer c’est qu’on sent une envie de bien faire mais que cela n’a pas été réellement réfléchi, ou bien à la va-vite! Les intitulés sans rapport et les indications trop ciblées ou complètement décalées par rapport à l’actualité mobile font descendre l’engouement du test… On est donc obligé de faire à notre sauce et, forcément, la question de la « qualité » se doit d’être posée…

La quantité au détriment de la qualité?

Gros problème du 1er volet avec l’HTC 8X, le programme TesteurSosh incite à partager au maximum ses impressions sur les réseaux sociaux. Véritable flood incessant, Sosh a donc décidé pour ce 2nd volet de contrôler les posteurs fous en obligeant les testeurs à publier depuis le site. C’est une très bonne chose sur le papier car les tweets postés via un autre « client » ne seront pas comptabilisés.

Le flot interminable de tweets sans aucune utilité et maintenant terminé… enfin presque! Il est tout simplement remplacé par des tweets publiés depuis le site (correspondant à un test/défi précis) qui sont retweetés maintes fois pour les plus populaires d’autres nous.
Soit, c’est le jeu, il faut faire avec et je ne pense pas qu’il y ait une recette miracle pour éviter cette pollution… ah si, privilégier la qualité et non la quantité!

Mais que vaut de beaux tests complets et illustrés par rapport à des tests bâclés mais partagés par une centaine de like/tweet? Et bien, pour Sosh, Sony ou tout autre marque impactée par le programme, seuls les avis les plus partagés seront intéressants…
Autrement dit, à part les 50pts (l’équivalent de 50 likes ou retweets) annoncés dans le contrat, qui sont prévus au « meilleur testeur » (qualitativement parlant) selon un jury Sosh, les testeurs qui se donnent du mal devront mendier leurs amis et communautés pour espérer gagner le téléphone.

On est d’accord, avoir le dernier smartphone de Sony pendant plus d’un mois et pouvoir tout tester dessus est un sacré privilège en soi. Le fait est que la carotte est là, et la plupart des testeurs « signent » avec comme unique objectif, gagner le téléphone. Je pourrais donner des exemples de tests soit très courts, soit qui ne remplissent quasiment pas l’énoncé, mais je ne veux en aucun cas cracher sur tel ou tel testeur. Je critique juste le système et non ses utilisateurs. Après tout, s’il suffit de taper deux phrases et de demander à cents potes de liker/retweeter pour gagner un téléphone haut de gamme, je comprends tout à fait les opportunistes!

Pour ma part, j’attends ce téléphone depuis quelques semaines et j’ai été ravi d’apprendre qu’on le testerait! J’ai même commencé à noter mes avis en fonction du planning dès le vendredi… Grossière erreur, j’ai du tronquer mon premier test (matériaux) car je dépassais largement les 1.000 caractères maximum prévus pour donner notre avis. Sérieusement, 1.000 lettres max, si ce n’est pas l’exemple même de l’état d’esprit du programme: rien à faire du contenu, tant que c’est diffuser à mort!

Qu’améliorer dans #TesteurSosh?

Sosh est prêt à nous écouter, il suffit de bien énoncer et expliquer notre vision.
Faisons le tour des points négatifs que j’ai relevé pour y trouver une solution ou une amélioration. Il y a donc

• Prévoir systématiquement un état des lieux par mail concernant l’envoi des téléphones: mail à l’envoi indiquant le numéro de suivi.
• Tester sérieusement sa plateforme pour éviter aux maximums les bugs d’affichage et autres surprises.
  Par exemple, mettre en place un fake hashtag et des fakes comptes pour faire des essais, ou encore demander à une poignée d’anciens testeurs de tester la nouvelle plateforme (ou plateforme v2) entre 2 sessions.
• Prévoir un compteur de caractères pour les publications Twitter (en pré-comptant l’url, le hastag et le via @Sosh_fr qui s’ajoute automatiquement).
• Prévoir une notation permettant d’allier le partage à outrance, apparemment obligatoire pour que le programme soit bénéfique pour les marques et la qualité des tests. De simples barèmes pourraient déjà aider les « vrais testeurs » à cumuler plus de points.
  Par exemple, rajouter des points (ou des multiplicateurs de points!) si le test est réalisé en suivant le scénario, si il est illustré d’images/photos/capture d’écrans, si il y a une comparaison avec un autre élément (smartphone ou autre), etc.
  C’est pour moi l’élément majeur du programme qu’il faudra améliorer. Pouvoir donner une chance aux personnes n’ayant pas envie de mendier jour et nuit leurs amis mais souhaitant tout de même avoir une chance de garder le téléphone.
• Donner une réponse définitive à cette Sosh Idea d’un testeur. (merci Chubb d’en avoir reparlé dans les commentaires)
• Une poignée de « pré-testeurs » pourraient apporter de l’aide sur la création de certains scénarios de tests ou défis, pas tout pour garder le plaisir d’en découvrir une partie, mais cette aide permettrait d’avoir moins de scénarios non approprié.
• Prévoir un espace sur le site pour les partages (puisque #TesteurSosh est noyé dans les échanges de liens…), type forum ou chat.
• Augmenter le nombre de caractères limites (prévoir large pour les plus fous d’entre nous!) et inclure une boite à outils pour mettre en forme son texte comme sur Sosh Conseil. (merci Elfou pour l’idée!)
• Pouvoir être notifié des commentaires sur nos tests/défis (si la personne ne publie pas sur Fb aucune notification il me semble)
• J’éditerai cette liste si d’autres idées arrivent!

Et vous, testeurs, lecteurs…?

J’espère que vous avez tenus bon durant la lecture de cet article. Maintenant c’est à vous de parler, donnez nous notre avis sur le programme. Qu’est-ce qui doit être amélioré et comment?

avis, Beta Test, critique, facebook, rédaction, sosh, test, testeursosh, twitter