NTCIR-10 RITE2

Sidebar

English

日本語

繁體中文

wiki:投稿方法

Table of Contents

NTCIR10-RITE2のフォーマルランはおかげさまで無事終了しました．

論文投稿方法

論文の投稿方法について説明します．投稿前にご一読ください．

フォーマルランの投稿サイトから論文を投稿できます．以下の手順で投稿してください．

  1. RITE-2のEasyChairにログイン https://www.easychair.org/conferences/?conf=ntcir10rite2
  2. 自分の投稿へのリンクをクリック (Paper xx)
  3. 「Update information」から，Title，Abstract，Keywordsを正式なものに変更
  4. 「Update authors」から，著者情報を正式なものに変更
  5. 「Submit a new version」から，論文（PDF形式）を投稿

不明な点などがありましたら，ntc10-rite2-organizers (at) cs.cmu.edu までご連絡ください．

フォーマルラン

フォーマルラン結果の投稿方法，注意点などについて説明します．投稿前にご一読ください．

フォーマルランの期間は，1/9～1/16です．投稿サイトは 1/16 (23:59 UTC-12) に閉じますので，ご注意ください．

タスク一覧

RITE2でフォーマルランの提出対象となるサブタスク名は，以下の通りです．投稿時にTopicsという項目で参加タスクを選択する際に，間違えないようにご注意ください．

  • 日本語タスク (JA)
    • BC
    • MC
    • ExamBC
    • ExamSearch
    • UnitTest
  • 中国語（簡體中文）タスク (CS)
    • BC
    • MC
    • RITE4QA
    • ExtraBC
    • ExtraMC
    • OptionalRITE4QA
  • 中国語（繁體中文）タスク (CT)
    • BC
    • MC
    • RITE4QA
    • ExtraBC
    • ExtraMC
    • OptionalRITE4QA

(more information about Chinese datasets, please see the English version page)

ラン提出数

各言語の各サブタスクにおいて、3つまでランを提出していただけます。

データフォーマット

フォーマルランのデータフォーマットについては，提出フォーマットをよく読み，評価ツールを用いてフォーマットのチェックを行ってください．フォーマットチェックに通らないランは無効になりますので，ご注意ください．

注意事項

フォーマルランのデータにアクセスする前に，システムの開発を停止してください（ファイル入出力のフォーマット形式などの軽微なバグのみ修正しても構いません）．

特に，フォーマルランのデータを見た後の人手によるリソースの整備は避けてください．例えば，以下のような操作は人手による整備と見なされます．

  • フォーマルランのデータに合わせて，文間の推論規則を記述
  • Mechanical Turkなどのクラウドソーシング，Yahoo!知恵袋などのソーシャルコミュニティを利用して，フォーマルランのデータに合わせて，推論規則や含意単語対を構築

人手を介さない機械による自動処理によって，推論規則を獲得することは構いません．例えば，以下のような操作は問題ありません．

  • フォーマルランデータに対して機械的な処理によって，推論規則や含意単語対などを自動構築
  • ウェブページを用いて，自動的に類義語を拡張

人手による操作であるかの判断が難しい場合は，ML (ntcir10-rite2 at googlegroups.com) でお問い合わせください．

また，あるサブタスクのフォーマルランにおいて，他のサブタスクのフォーマルランのデータを参照しないでください． 例えば，Exam Search のフォーマルランでは、Exam BC フォーマルランデータの t1 のデータは使わないでください。

フォーマルラン結果のアップロード方法

フォーマルランの結果は，以下のサイトからアップロードしてください．論文投稿もこちらから行っていただく予定です． サブタスクごとではなく，参加したサブタスク全ての結果をまとめて投稿いただきます．

フォーマルランの期間は，1/9～1/16です．投稿サイトは 1/16 (23:59 UTC-12) に閉じますので，ご注意ください．

フォーマルラン結果投稿サイト: https://www.easychair.org/conferences/?conf=ntcir10rite2

RITE2からフォーマルランの投稿サイトとしてEasyChairを使っています．EasyChairは論文投稿用のシステムですので，一部の項目を読み替える必要があります．例えば通常は論文のPDFを指定する部分で，フォーマルラン結果のzipを指定します．投稿方法，再投稿方法を参照して，間違えのないように注意してください．不明な点がありましたらML (ntcir10-rite2 at googlegroups.com) でお問い合わせください．

フォーマルラン結果の作成

フォーマルランの結果は，各サブタスクごとに3つまで投稿することができます．各システムの説明（description）を含めて，zip形式で圧縮してください． フォーマルランの結果ファイルの名前は、RITE2-(TeamID)-(Lang)-(SubtaskName)-(RunNumber).txtの命名規則に従ってください。

  • TeamID: チームID (例: TOHOK)
  • Lang: 言語名 (JA, CS or CT)
  • SubtaskName: サブタスクの名前 (e.g. BC)
  • RunNumber: 01, 02 or 03

例えば，チームIDがTOHOK，参加タスクがJA-BC，JA-ExamBCの場合，以下のようになります． 

+--TOHOK
|  +--RITE2-TOHOK-description.txt
|  +--RITE2-TOHOK-JA-BC-01.txt
|  +--RITE2-TOHOK-JA-BC-02.txt
|  +--RITE2-TOHOK-JA-BC-03.txt
|  +--RITE2-TOHOK-JA-ExamBC-01.txt
|  +--RITE2-TOHOK-JA-ExamBC-02.txt
|  +--RITE2-TOHOK-JA-ExamBC-03.txt

これらのファイルをTOHOK.zipとして圧縮してから，投稿または再投稿してください． ExamSearchタスクにおいて、t1の検索結果も提出する場合、ファイル名をRITE2-(チームID)-(言語名)-(サブタスク名)-(ラン)-ID.txtとしてください。 例えば、ExamSearchタスクについて3つのランの結果を提出する場合、以下のようになります。t1の検索結果のフォーマットは、提出フォーマットを参照してください。 

+--TOHOK	 
|  +--RITE2-TOHOK-description.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-01.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-01-ID.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-02.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-02-ID.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-03.txt	 
|  +--RITE2-TOHOK-JA-ExamSearch-03-ID.txt

descriptionには，各タスク，各ランごとに，システムの説明および，手法やリソースなどに関するアンケート結果を英語で記述してください． アンケートはテンプレートをダウンロードして，記述してください． ここに記載された情報は，overview paperを書くために利用されます．

具体的には，各設問ごとに該当するもののみを残してください． 

TOHOK-JA-BC-01
system: Extracted a set of morphemes from t1 and t2, and decide on the label based on the percentage of overlap between the sets of morphemes.
questionnaire:
1. what approach your system can be categorized into?
* statistical (e.g. machine learning)

2. fundamental approach of your system (you can choose more than one) 
* overlap
...

TOHOK-JA-BC-02
system: Extracted a set of morphemes from t1 and t2, and decide on the label based on the percentage of overlap between the sets of morphemes.
questionnaire:
1. what approach your system can be categorized into?
* statistical (e.g. machine learning)

2. fundamental approach of your system (you can choose more than one) 
* overlap
...

フォーマルランの各結果は，評価ツールによって評価されます．提出フォーマットを確認し，投稿する前に本ツールに通してフォーマットが正しいかをチェックしてください．

フォーマルランの実施期間1/9～1/16 (23:59 UTC-12) の間は，何度でも投稿することが可能です．最後に投稿されたものが正式な結果として登録されます．

フォーマルラン結果の投稿

フォーマルランの結果を新しく投稿する際の手順です．再投稿する場合は，フォーマルラン結果の再投稿をご覧ください．

  1. EasyChairにログイン
  2. 結果投稿フォームに移動
    • 左上のNew Submissionをクリックすると以下のページに移動します．
  3. 各項目の入力
    1. 著者の姓名，メールアドレス，国名，所属組織を入力してください．論文投稿時に変更できますので，代表者のみでも構いません．一名以上をCorresponding authorに指定してください．
    2. TitleにはチームIDを，Abstractにはシステムの簡単な説明を入力してください．
    3. Keywordsは利用しませんので，適当なキーワードを3つ入力してください．
    4. Topicsには，結果を投稿するタスクを選択してください．参加したタスクを全て選択してください．
    5. 記入漏れがあると，以下のようなエラーメッセージが表示されますので，適宜修正してください．
  4. 投稿ファイルの選択
    • Upload Paperとありますが，ここからフォーマルランの結果(zip形式)を選択します．論文を投稿する必要はありません．
  5. 投稿
    • 全ての項目を入力し終わったら，Submitをクリックします．
  6. 投稿に成功すると，以下のような画面に移動します．

フォーマルラン結果の再投稿

  1. EasyChairにログイン
  2. 再投稿および情報の変更
    • Paper xをクリックすると，投稿された結果の情報が記載されたページが開き，ここから再投稿や参加タスクの変更などが行えます．
  3. 結果の再投稿
    • Submit a new versionをクリックすると以下のページが開き，新しい結果を投稿することができます．最後に投稿された結果が，最終結果として登録されます．