繁體中文剖析

1. 簡介

中文剖析是近年來高度發展的研究領域,但尚缺可以供不同剖析方法和進展的評測平台。CIPS-ParsEval的目的就是要提供評測平台。第一屆中文句法分析評測已在2009年於北京舉辦。第二屆中文句法分析評測由中文信息學會(CIPS)和中文語言處理特別興趣小組(SIGHAN)聯合舉辦於2010年在北京舉辦。基於這幾次評測的成功,今年的中文剖析評測將再一次被舉辦做為第二屆中文語言處理研討會的Bakeoff評測事件。希望藉由這次的評測競賽,更多進階的中文句法剖析技術可以被發展,更多有效的中文資訊處理資源能被建構,最新的技術可以再被提升。

這次的評測包含兩個子任務:句子剖析和語意角色指定。對於每個子任務,有兩個作法:(1) 封閉作法:參與者只能使用由組織者提供的訓練語料。(2)開放作法:除了使用由組織者提供的訓練語料之外,參與者可以使用任何語料資源。此外,單一系統含合成系統將被分開評測:(1)單一系統:剖析器只採用單一剖析模型完成剖析任務。(2)合成系統:參與者被允許使用多個剖析模型來改善效能。協同作法將被視同為合成作法。

2. 任務

子任務1:句子剖析

目標:測試自動剖析器對真實文本中完整句子的剖析能力。

描述:

輸入: 具有正確斷詞的完整句子。句子中詞的數目大於等於7個詞。

範例

他 刊登 一則 廣告 在 報紙 上

輸出: 剖析系統應該給予每個詞的詞性標記,並且辨識出給定句子的句法結構。

範例

S(agent:NP(Head:Nhaa:) | Head:VC33:刊登 | theme: NP (quantifier: DM:一則 | Head: Nac: 廣告) | location: PP (Head:P21: | DUMMY: GP(DUMMY:NP(Head:Nab:報紙) | Head:Ng:)))

正確性評估準則:每個句法成份的邊界(boundary)和詞組標記(phrase label)應該要和標準答案完全一致。這個範例句子的標準答案是NP(他), NP(一則廣告), PP(在報紙上), GP(報紙上), NP(報紙)。 輸出時可忽略語意角色(agent, Head, … 等)。完整集合的詞組標記(S, VP, NP, GP, PP, XP和DM)可參考中文句結構樹資料庫的使用手冊(http://turing.iis.sinica.edu.tw/treesearch, 第六頁).

完整結合的詞性標記參考網址是http://ckipsvr.iis.sinica.edu.tw/cat.htm.

 

評測指標:准確率(Precision),召回率(Recall),和F1 測量。

準確率 = 正確辨識的句法成份數目 / 自動剖析器產生的所有句法成份數目

召回率 = 正確辨識的句法成份數目 / 標準答案的所有句法成份數目

F1測量 = 2 *準確率*召回率 / (準確率+召回率)

 

子任務2:語意角色指定

目標:測試自動剖析器在語意角色指定上的能力。

任務描述:

輸入: 具有正確斷詞的完整句子。句子中詞的數目大於等於7個詞。

範例

他 刊登 一則 廣告 在 報紙 上

 

輸出:系統應該對於給定句子的每個最上層句法成分指定語意角色。

範例

S(agent:NP(Head:Nhaa:) | Head:VC33:刊登 | theme: NP (quantifier: DM:一則 | Head: Nac: 廣告) | location: PP (Head:P21: | DUMMY: GP(DUMMY:NP(Head:Nab:報紙) | Head:Ng:)))

 

正確性評估準則:每個句法成份的邊界(boundary)和語意角色(semantic role)應該要和標準答案完全一致。這個範例句子的標準答案是agent (他), Head(刊登), theme(一則廣告), location(在報紙上)。 完整集合的語意角色(agent, Head, … 等)可參考中文句結構樹資料庫的使用手冊(http://turing.iis.sinica.edu.tw/treesearch, 第六頁)。

 

評測指標:准確率(Precision),召回率(Recall),和F1 測量。

準確率 = 正確辨識的角色(agent, Head, theme)數目 / 自動剖析器產生的所有角色數目

召回率 = 正確辨識的角色(agent, Head, theme)數目 / 標準答案的角色(agent, Head,

theme)數目

F1測量 = 2 *準確率*召回率 / (準確率+召回率)

3. 資料集

訓練語料:訓練資料將從中文句結構樹資料庫(Sinica Treebank),句子選擇依據不同句子長度及難易度。

測試語料:共有1000句新建構的句子將供兩個子評測任務使用,句子選擇依據不同句子長度及難易度。

 

注意事項:請填寫授權協議檔案,Email掃瞄電子檔案,郵寄簽署完成的紙本檔案給聯絡的組織者。

授權協議下載

郵寄地址

李龍豪 收

台灣台北市大安區(10617)羅斯福路四段1號

台灣大學資訊工程所 自然語言處理實驗室(R301)

4. 重要日期

· Bakeoffs開放註冊:2012-05-15

· 公佈訓練語料:2012-07-01

· 練習測試 (格式驗證)2012-08-01

· 公佈測試語料:2012-09-27

· 測試結果回傳期限:2012-09-30

· 公佈測試評估結果:2012-10-20

· 繳交評測報告初稿截止:2012-11-10

· 返回報告審查意見:2012-11-20

· 繳交評測報告最終版截止:2012-12-01

· 主研討會: 2012-12-20 ~ 2012-12-21

5. 參考文獻

[1] Chinese Knowledge Information Processing Group (1993). Categorical Analysis of Chinese. ACLCLP Technical Report # 93-05, Academia Sinica.

[2] Chu-Ren Huang, Keh-Jiann Chen, Feng-Yi Chen, Keh-Jiann Chen, Zhao-Ming Gao and Kuang-Yu Chen (2000). Sinica Treebank: Design Criteria, Annotation Guidelines, and On-line Interface. In Proceedings of 2nd Chinese Language Processing Workshop (Held in conjunction with ACL-2000). 29-37.

[3] Keh-Jiann Chen, Chu-Ren Huang, Feng-Yi Chen, Chi-Ching Luo, Ming-Chung Chang, Chao-Jan Chen, and Zhao-Ming Gao (2003). Sinica Treebank: Design Criteria, Representational Issues and Implementation. In Anne Abeille (Ed.) Treebanks Building and Using Parsed Corpora. Language and Speech series. Dordrecht:Kluwer, 231-248.

6. 誌謝

特別感謝中央研究院資訊所 中文詞知識庫小組(CKIP)主持人 陳克健研究員 提供中文句結構樹資料庫(Sinica Treebank)供本次正體中文剖析評測使用。

 

組織者:

曾元顯,臺灣師範大學

禹良治,元智大學

李龍豪,臺灣大學