User Tools

Site Tools


wiki:投稿方法

NTCIR10-RITE2のフォーマルランはおかげさまで無事終了しました.

論文投稿方法

論文の投稿方法について説明します.投稿前にご一読ください.

フォーマルランの投稿サイトから論文を投稿できます.以下の手順で投稿してください.

  1. 自分の投稿へのリンクをクリック (Paper xx)
  2. 「Update information」から,Title,Abstract,Keywordsを正式なものに変更
  3. 「Update authors」から,著者情報を正式なものに変更
  4. 「Submit a new version」から,論文(PDF形式)を投稿

不明な点などがありましたら,ntc10-rite2-organizers (at) cs.cmu.edu までご連絡ください.

フォーマルラン

フォーマルラン結果の投稿方法,注意点などについて説明します.投稿前にご一読ください.

フォーマルランの期間は,1/9~1/16です.投稿サイトは 1/16 (23:59 UTC-12) に閉じますので,ご注意ください.

タスク一覧

RITE2でフォーマルランの提出対象となるサブタスク名は,以下の通りです.投稿時にTopicsという項目で参加タスクを選択する際に,間違えないようにご注意ください.

  • 日本語タスク (JA)
    • BC
    • MC
    • ExamBC
    • ExamSearch
    • UnitTest
  • 中国語(簡體中文)タスク (CS)
    • BC
    • MC
    • RITE4QA
    • ExtraBC
    • ExtraMC
    • OptionalRITE4QA
  • 中国語(繁體中文)タスク (CT)
    • BC
    • MC
    • RITE4QA
    • ExtraBC
    • ExtraMC
    • OptionalRITE4QA

(more information about Chinese datasets, please see the English version page)

ラン提出数

各言語の各サブタスクにおいて、3つまでランを提出していただけます。

データフォーマット

フォーマルランのデータフォーマットについては,提出フォーマットをよく読み,評価ツールを用いてフォーマットのチェックを行ってください.フォーマットチェックに通らないランは無効になりますので,ご注意ください.

注意事項

フォーマルランのデータにアクセスする前に,システムの開発を停止してください(ファイル入出力のフォーマット形式などの軽微なバグのみ修正しても構いません).

特に,フォーマルランのデータを見た後の人手によるリソースの整備は避けてください.例えば,以下のような操作は人手による整備と見なされます.

  • フォーマルランのデータに合わせて,文間の推論規則を記述
  • Mechanical Turkなどのクラウドソーシング,Yahoo!知恵袋などのソーシャルコミュニティを利用して,フォーマルランのデータに合わせて,推論規則や含意単語対を構築

人手を介さない機械による自動処理によって,推論規則を獲得することは構いません.例えば,以下のような操作は問題ありません.

  • フォーマルランデータに対して機械的な処理によって,推論規則や含意単語対などを自動構築
  • ウェブページを用いて,自動的に類義語を拡張

人手による操作であるかの判断が難しい場合は,ML (ntcir10-rite2 at googlegroups.com) でお問い合わせください.

また,あるサブタスクのフォーマルランにおいて,他のサブタスクのフォーマルランのデータを参照しないでください. 例えば,Exam Search のフォーマルランでは、Exam BC フォーマルランデータの t1 のデータは使わないでください。

フォーマルラン結果のアップロード方法

フォーマルランの結果は,以下のサイトからアップロードしてください.論文投稿もこちらから行っていただく予定です. サブタスクごとではなく,参加したサブタスク全ての結果をまとめて投稿いただきます.

フォーマルランの期間は,1/9~1/16です.投稿サイトは 1/16 (23:59 UTC-12) に閉じますので,ご注意ください.

フォーマルラン結果投稿サイト: https://www.easychair.org/conferences/?conf=ntcir10rite2

RITE2からフォーマルランの投稿サイトとしてEasyChairを使っています.EasyChairは論文投稿用のシステムですので,一部の項目を読み替える必要があります.例えば通常は論文のPDFを指定する部分で,フォーマルラン結果のzipを指定します.投稿方法再投稿方法を参照して,間違えのないように注意してください.不明な点がありましたらML (ntcir10-rite2 at googlegroups.com) でお問い合わせください.

フォーマルラン結果の作成

フォーマルランの結果は,各サブタスクごとに3つまで投稿することができます.各システムの説明(description)を含めて,zip形式で圧縮してください. フォーマルランの結果ファイルの名前は、RITE2-(TeamID)-(Lang)-(SubtaskName)-(RunNumber).txtの命名規則に従ってください。

  • TeamID: チームID (例: TOHOK)
  • Lang: 言語名 (JA, CS or CT)
  • SubtaskName: サブタスクの名前 (e.g. BC)
  • RunNumber: 01, 02 or 03

例えば,チームIDがTOHOK,参加タスクがJA-BC,JA-ExamBCの場合,以下のようになります.

+--TOHOK
|  +--RITE2-TOHOK-description.txt
|  +--RITE2-TOHOK-JA-BC-01.txt
|  +--RITE2-TOHOK-JA-BC-02.txt
|  +--RITE2-TOHOK-JA-BC-03.txt
|  +--RITE2-TOHOK-JA-ExamBC-01.txt
|  +--RITE2-TOHOK-JA-ExamBC-02.txt
|  +--RITE2-TOHOK-JA-ExamBC-03.txt

これらのファイルをTOHOK.zipとして圧縮してから,投稿または再投稿してください. ExamSearchタスクにおいて、t1の検索結果も提出する場合、ファイル名をRITE2-(チームID)-(言語名)-(サブタスク名)-(ラン)-ID.txtとしてください。 例えば、ExamSearchタスクについて3つのランの結果を提出する場合、以下のようになります。t1の検索結果のフォーマットは、提出フォーマットを参照してください。

+--TOHOK	 
|  +--RITE2-TOHOK-description.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-01.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-01-ID.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-02.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-02-ID.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-03.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-03-ID.txt

descriptionには,各タスク,各ランごとに,システムの説明および,手法やリソースなどに関するアンケート結果を英語で記述してください. アンケートはテンプレートをダウンロードして,記述してください. ここに記載された情報は,overview paperを書くために利用されます.

具体的には,各設問ごとに該当するもののみを残してください.

TOHOK-JA-BC-01
system: Extracted a set of morphemes from t1 and t2, and decide on the label based on the percentage of overlap between the sets of morphemes.
questionnaire:
1. what approach your system can be categorized into?
* statistical (e.g. machine learning)

2. fundamental approach of your system (you can choose more than one) 
* overlap
...

TOHOK-JA-BC-02
system: Extracted a set of morphemes from t1 and t2, and decide on the label based on the percentage of overlap between the sets of morphemes.
questionnaire:
1. what approach your system can be categorized into?
* statistical (e.g. machine learning)

2. fundamental approach of your system (you can choose more than one) 
* overlap
...

フォーマルランの各結果は,評価ツールによって評価されます.提出フォーマットを確認し,投稿する前に本ツールに通してフォーマットが正しいかをチェックしてください.

フォーマルランの実施期間1/9~1/16 (23:59 UTC-12) の間は,何度でも投稿することが可能です.最後に投稿されたものが正式な結果として登録されます.

フォーマルラン結果の投稿

フォーマルランの結果を新しく投稿する際の手順です.再投稿する場合は,フォーマルラン結果の再投稿をご覧ください.

  1. EasyChairにログイン
  2. 結果投稿フォームに移動
    • 左上のNew Submissionをクリックすると以下のページに移動します.
  3. 各項目の入力
    1. 著者の姓名,メールアドレス,国名,所属組織を入力してください.論文投稿時に変更できますので,代表者のみでも構いません.一名以上をCorresponding authorに指定してください.
    2. TitleにはチームIDを,Abstractにはシステムの簡単な説明を入力してください.
    3. Keywordsは利用しませんので,適当なキーワードを3つ入力してください.
    4. Topicsには,結果を投稿するタスクを選択してください.参加したタスクを全て選択してください.
    5. 記入漏れがあると,以下のようなエラーメッセージが表示されますので,適宜修正してください.
  4. 投稿ファイルの選択
    • Upload Paperとありますが,ここからフォーマルランの結果(zip形式)を選択します.論文を投稿する必要はありません.
  5. 投稿
    • 全ての項目を入力し終わったら,Submitをクリックします.
  6. 投稿に成功すると,以下のような画面に移動します.

フォーマルラン結果の再投稿

  1. EasyChairにログイン
  2. 再投稿および情報の変更
    • Paper xをクリックすると,投稿された結果の情報が記載されたページが開き,ここから再投稿や参加タスクの変更などが行えます.
  3. 結果の再投稿
    • Submit a new versionをクリックすると以下のページが開き,新しい結果を投稿することができます.最後に投稿された結果が,最終結果として登録されます.
wiki/投稿方法.txt · Last modified: 2013/02/26 14:30 by junta-m