小さな製品のテスターの探し方
テスター集めは流通の問題で、ツールの問題ではありません。足りないのは人で、ソフトウェアではありません。
足りないのは人で、テストではありません
ベータテストの解説はたいてい「何を測るか」から始まります。それは易しい半分です。難しい半分は、ほとんどの小さな製品が、何かを入れてきちんと使い、起きたことを話してくれる人を十分に集められないことです。
だから最初の判断は、どのツールを使うかではなく、どの集団に実際に届くかです。
テスターが来る4つの場所
- すでに持っている名簿。登録した人、ウェイトリストに載った人、質問を送ってきた人。いちばん安く、いちばん問題を礼儀で覆い隠しがちな人でもあります。
- ユーザーがもういるコミュニティ。フォーラム、チャット、あなたの製品が解く問題の場所。参加するとは、リンクを貼る前にまず加わることです。
- 仕事として報酬を払うテスター。決まった手順に固定報酬。決まった日までに決まった件数の完了したテストを出せる唯一の方法です。
- 隣接製品のユーザー。隣の問題にすでにお金を払っている人には、予算と習慣と意見があります。
無料のテスターと有料のテスターは得意分野が違う
無料のテスターは「これは理解できるか」に答えるのが得意で、熱意については正直です。ただし完走は当てになりません。友人は20分試して返信をやめ、あなたは催促しません。
有料のテスターは逆です。1週間で8件の完了したセッション、毎回同じ5つの問いへの書面の回答が必要なら、1件ごとの固定報酬が唯一スケールする方法です。代わりに依頼文をきちんと書く必要があります。彼らは書いてあるとおりにやり、それ以上はしません。
募集の前に依頼文を書く
与えられていない仕事について、役に立つフィードバックは出せません。終わったテストがどんな形かを先に決めます。録画、特定の問いへの書面の回答、埋まったチェックリスト。その記述に合う人を集めます。
依頼文はふるいでもあります。受ける前にきちんと読む人が最後までやり、飛ばした人は早く受けて少なく出します。
- テストが始まる環境。端末、ブラウザ、アカウントの状態。
- 「そして」が1つを超えない具体的な手順か課題。
- 何をどこに記録するか。
- どれくらいかかるか、途中で壊れたらどうするか。
何人いれば足りるか
主要な流れが理解できるかどうかを見るだけなら、数回で足ります。多くの人に影響する問題は最初の数回で出て、5人目はたいてい3人目が言ったことを繰り返します。
テスターごとに違う領域の新しい問題を持ってくるようになると、人は役に立たなくなります。標本が足りないのではなく、直すところが複数あるという意味で、次の行動は募集ではなく修正です。
1回のセッションを手を動かせるフィードバックに変える
- 何が欲しいかではなく、何が起きたかを聞きます。「そのボタンを押したとき何が起きると思いましたか」は「どんな機能が欲しいですか」よりずっと役に立ちます。
- 全員に同じ問いをします。そうしないと回答を比べられません。
- 助けを出す前の最初の試行を記録します。説明したあとの2回目は製品について何も語りません。
- 失敗も成功と同じ丁寧さで集めます。「全部うまくいった」セッションは、たいてい相手が気を使ってくれたセッションです。
よくある質問
小さな製品にベータテスターは何人必要ですか
多くの解説が言うより少なくて済みます。主要な流れが通じるかどうかは、数回のセッションで影響の大きい問題はほぼ出ます。テスターを増やすべきなのは、複数の種類のユーザーを覆いたいときで、同じユーザーについてもっと確信が欲しいときではありません。
テスターに報酬を払うべきですか
決まった日までに決まった件数の完了したテストが必要なとき、または自分の輪の外の人が必要なときに払います。友人に「このアイデア面白い」と聞いている段階なら払わないでください。それはテストではなく会話です。
無料でテスターを探すのに良い場所は
すでに信用がある場所です。ウェイトリスト、参加してきたコミュニティ、先にこの問題で連絡してきた人。一度も参加したことのないコミュニティにリンクを投げても、たいてい何も得られず好感だけ失います。
ベータテストとユーザーリサーチは何が違いますか
テストは製品が動くか、理解できるかを問い、リサーチはそもそも何が必要かを問います。小さな製品はまずテストです。答えを反映するのが安く、同じ人たちが答えを出せるからです。