SSS2007でフルペーパー採録と守秘義務の話

2007年度の情報処理学会の情報教育シンポジウムSSS2007(鈴鹿)の採録論文一覧が公表されました。僕は昨年のシンポジウムでは実行委員長をしていたので、論文投稿をしていなかったのですが、今年は役員からも外れましたので、頑張ってフルペーパーで応募してみました。結果はフルペーパーで採録されました。

論文の査読プロセスというのは学会ごとに異なると思います。論文の種類や位置付けについても学会ごとに異なると思います。今回のSSS2007の場合は、プログラム委員長である中野由章先生(現在は千里金蘭大学だが、その前は三重県立名張西高校教諭)、および大会委員長の奥村晴彦先生(三重大学)が中心になっていろいろ決められました。僕は、諸事情(このブログ記事で後述)からシステム担当として関わりました。

SSS2007の場合、公開されている論文募集要項をまとめ直すと次のようになります。

1. 投稿者が希望カテゴリを指定して、論文を投稿
2. 査読者2名(実践とデモは1名)に査読依頼。
3. 2名の査読結果をひとつにまとめて、採録カテゴリを決めた上で採録結果を仮報告
4. プログラム委員会全員で採録結果が適切かどうかを相互に点検。
5. 最終的な採録決定。
6. 著者に報告。

実は上記プロセスには、重要な役割を持つ人がいます。それはメタレビューアという人です。この人は、各論文1つにつき1名いて、その論文の査読・採否決定作業を司ります。僕が「司る」と書いたのは、責任者でも決定者でもないという微妙な立場を表現したかったからです。そのようなメタレビューアが1名いるからこそ、論文が忘れられたりせず、不公平な扱いをされたりせずに査読が進むのです。

ところで、論文投稿をしたひとの名前は、誰が知っているでしょうか? SSSの場合、査読用の論文には、著者名を推測し易くなるような情報を入れないことを要求しています。ですから、投稿論文ではＡ大学Ｂ学部のように具体的な名称を入れることができません。誰がどの論文を投稿したかということは、プログラム委員長と大会委員長のみが知るということになっています。僕は投稿システムを作りましたが、実はcgiで決められた論文番号と査読システムへのID+PWが、一体誰に配られたのかという記録ファイルを、自らも見ることができないようにしました。また、各論文のメタレビューアが誰かということ、査読者が誰かということも、僕自身がわからないようにシステムを作りました。

ということで、採否結果が本人(＝僕)に通知されるまで、実はドキドキもので、どうなるだろうかと気を揉んでいたのです。

すこしだけ解説をします。査読の際の情報制限は、かなり厳しくするように設計する必要があります。上記のプロセスでいえば、メタレビューアは誰の論文かということを知らず担当し、2名の査読者も、誰がもう一人の査読者かということも、誰の論文かということも知らずに査読します。プログラム委員のなかには(僕もそうですが)自分自身も投稿した人もいます。そういう人に情報が洩れないように議論することも簡単ではありません。

そこで、今回採用したのが Moodle でした。Moodle に、投稿者専用のID・PWを与え、査読者専用のID・PWを与え、誰になにを与えたかはプログラム委員長と大会委員長以外は知らないようにしました。そして、投稿者も査読者もMoodleの学生権限を設定することで、互いの情報伝達(漏洩)が起こらないようにしました。メタレビューアにはMoodleの教師権限を与えることにしました。また、論文ごとに異なるコースを設定することで、自らも投稿しているメタレビューアは、自分が投稿したろ論文の査読プロセスを見ることができないように設定しました。

既成のCMSをオンライン投稿・査読システムに改造できるか…という挑戦だったのですが、実はいろいろ苦労しました。その結果として見えてきたことがたくさんあります。それは CE91＠高知工科大学 でお話したいと思います。