RITE2是一個效能評鑑任務(task),目的在評鑑系統自動偵測語句間「推論關係」的能力。 語句間的關係有很多種,比如說蘊涵(entailment)、意譯(paraphrase)以及矛盾 (contradiction) 等。本次參與RITE評鑑的語言有日文、簡體中文以及繁體中文,每個語言都包含數個「子任務」 (subtask)。參與評鑑的系統需辨識給定的兩個文本 (text),輸出二選一或四選一的關係標記(label) 。 以下為一個BC子任務的「文本對」範例:
t1: 川端康成因其著名小說「雪國」獲得諾貝爾文學獎。
t2: 川端康成是「雪國」的作者。
不少研究領域,如資訊檢索、問答系統、自動摘要、意見分析等,都有文本理解的需求。我們希望透過RITE這個通用的任務,在文本理解這個關鍵的議題上,匯集相關領域學者的研究能量。我們也非常歡迎其他自然語言處理領域以及機器學習學者一起來參與這場盛會。RITE是一個非對抗性的評鑑活動,非常歡迎任何具野心或探索性質但卻不一定成功的嘗試。您獨一無二的研究對這個研究社群來說絕對是不可或缺的重要貢獻。
請於2012/6/30前(日本時間),前往此網址註冊: http://research.nii.ac.jp/ntcir/ntcir-10/howto.html
重要日期 | 事件 |
---|---|
2012/ | Registration due |
2012/ | Development data release |
2012/07/06 | Release of the baseline system and the evaluation script |
2012/07/31 | Release of unit test data and search engines for the entrance exam subtask |
| Formal run |
2013/01/21 | Post results of the formal run |
2013/03/01 | Participant paper draft due |
2013/05/01 | Participant paper camera ready due |
2013/06/18-21 | NTCIR-10 Workshop meeting |
語言 | 組織委員 |
---|---|
日文 | Hiroshi Kanayama (IBM Research - Tokyo, Japan) |
Noriko Kando (National Institute of Informatics, Japan) | |
Teruko Mitamura (Carnegie Mellon University, USA) | |
Yusuke Miyao (National Institute of Informatics, Japan) | |
Junta Mizuno (Tohoku University, Japan) | |
Tomohide Shibata (Kyoto University, Japan) | |
Hideki Shima (Carnegie Mellon University, USA) | |
Kohichi Takeda (IBM Research - Tokyo, Japan) | |
Yotaro Watanabe (Tohoku University, Japan) | |
簡體中文 | 史树明 (微軟亞洲研究院) |
繁體中文 | 李政緯 (中央研究院) |
林川傑 (海洋大學) |