はじめに

Amazon Mechanical Turk(Mturk)でHITs（依頼）を出す前にぜひやってほしい３つのことについて紹介します。
以下の３つをやることで、得られる結果に違いが出ること間違いなしです。

1. Developer Sandbox

2. 相場観の調査

3. パイロットスタディ

それでは各項目について紹介していきます。

1. Developer Sandbox

MturkはHITsのページをHTMLやJavascriptなどを駆使して作成する必要があります。
その際に役立つのがDeveloper Sandboxです。
Mechanical Turkリクエスターアカウントさえあれば、手数料などなしで実際にタスクを作成して試しに投稿することができます。
Developer Sandboxは本番のMturkとほとんど機能は変わりません。

左下の「Requester Site Sandbox」をクリックすると、以下のような本番ページそっくりのHITs作成ページに移ります。
そして、本番のMturkと同様にHITsを出すことができます。

右下の「Worker Site Sandbox」では実際にWorkerが見るHITsの検索ページを見ることができます。
これで実際の動作などが確認できそうですね。

2. 相場観の調査

HITsのページが一通り構築することができたら、そのHITsの相場観の調査を行いましょう。
これによって、HITsの報酬を決めることで経費の削減とタスク完了時間の短縮を行うことができます。
具体的にはAmazon murk Workerで関連するタスクをいくつか検索して見つけてみましょう。
その際にタスクの内容やTime Allotted、Qualifications Required、Rewardの各平均値、参加資格などを調べると、自分のタスクならどうするべきか方針が決まっていきます。
また、こちらのサイトを利用すると簡単に費用が計算できます。

3. パイロットスタディ

実践 Amazon Mechanical Turkでも指摘されていますが、すべてのHITsを提出する前に、タスクを小さくしたHITsを提出するパイロットスタディは必須です。
理由としては以下の３点が挙げられます。

実際にWorkerが捉える設問の意味と自分たちの設問の意図が異なることがある
- 英文の構成や利用した単語の細かな差異などによる英文解釈ミス
Workerが想定していたやってほしいことと全然違うことを行う可能性がある
- 実際に著者は「インターネット上の画像の収集の禁止、自分で撮影した写真のみ提出」と設問に含んだにもかかわらず、Workerが提出したのはインターネット上の画像のみだった
- 参加資格などを変更することで改善することがある
相場観があっているかどうかの確認
- かかる手間や時間と得られる金額が釣り合っていないと、いつまでたってもHITsが提出されない

そのため、パイロットスタディを何度か行って設問や相場、参加資格とWorkerの質の関係などは調査するべきです。

おわりに

MturkでHITsを出す前にぜひやってほしい３つのことについて紹介しました。
様々な人々が参加してくれるクラウドソーシングサービスは便利である一方で、ボタンの掛け違いやコミュニケーション不足によるミスで思い通りにいかないことがあります。
そのため、ぜひこの記事で紹介した３つのポイントを実践して、そういったミスを防いでいきましょう。
また、より専門性が高く、Workerと綿密なコミュニケーションをとりつつクラウドソーシングを行うことができるUpworkというサービスもこちらで紹介しています。
タスクの性質などを考えつつ、MturkやUpworkを使い分けて利用していきたいですね。