wiki:main_page_ct

任務概觀

RITE2是一個效能評鑑任務(task),目的在評鑑系統自動偵測語句間「推論關係」的能力。 語句間的關係有很多種,比如說蘊涵(entailment)、意譯(paraphrase)以及矛盾 (contradiction) 等。本次參與RITE評鑑的語言有日文、簡體中文以及繁體中文,每個語言都包含數個「子任務」 (subtask)。參與評鑑的系統需辨識給定的兩個文本 (text),輸出二選一或四選一的關係標記(label) 。 以下為一個BC子任務的「文本對」範例:

t1: 川端康成因其著名小說「雪國」獲得諾貝爾文學獎。
t2: 川端康成「雪國」的作者。

NTCIR-10 RITE 子任務

  • Binary-class (BC)子任務 - 給定一個「文本對」 (t1,t2),辨識t1是否能蘊涵或推論出t2這個假設(hypothesis)。
  • Multi-class (MC)子任務 - MC子任務是一個四選一(4-way)的標記任務,需辨識 文本對之間是否為正向(forward)蘊涵、雙向(bidirection)蘊涵、矛盾(contradiction)或獨立(independence)關係。
  • 入學考子任務(Japanese Only) - 此任務的輸入輸出資料與BC相同,差別在於此任務的文本對來自大學入學考題。

誰應該參加?

不少研究領域,如資訊檢索、問答系統、自動摘要、意見分析等,都有文本理解的需求。我們希望透過RITE這個通用的任務,在文本理解這個關鍵的議題上,匯集相關領域學者的研究能量。我們也非常歡迎其他自然語言處理領域以及機器學習學者一起來參與這場盛會。RITE是一個非對抗性的評鑑活動,非常歡迎任何具野心或探索性質但卻不一定成功的嘗試。您獨一無二的研究對這個研究社群來說絕對是不可或缺的重要貢獻。

註冊

請於2012/6/30前(日本時間),前往此網址註冊: http://research.nii.ac.jp/ntcir/ntcir-10/howto.html

時程

重要日期 事件
2012/06/30 08/31 Registration due
2012/07/01 07/05 Development data release
2012/07/06 Release of the baseline system and the evaluation script
2012/07/31 Release of unit test data and search engines for the entrance exam subtask
2012/11/14~21 2013/01/09〜16 Formal run
2013/01/21 Post results of the formal run
2013/03/01 Participant paper draft due
2013/05/01 Participant paper camera ready due
2013/06/18-21 NTCIR-10 Workshop meeting

組織委員

語言 組織委員
日文 Hiroshi Kanayama (IBM Research - Tokyo, Japan)
Noriko Kando (National Institute of Informatics, Japan)
Teruko Mitamura (Carnegie Mellon University, USA)
Yusuke Miyao (National Institute of Informatics, Japan)
Junta Mizuno (Tohoku University, Japan)
Tomohide Shibata (Kyoto University, Japan)
Hideki Shima (Carnegie Mellon University, USA)
Kohichi Takeda (IBM Research - Tokyo, Japan)
Yotaro Watanabe (Tohoku University, Japan)
簡體中文 史树明 (微軟亞洲研究院)
繁體中文 李政緯 (中央研究院)
林川傑 (海洋大學)