KorQuAD

KorQuAD 2.0

The Korean Question Answering Dataset




What is KorQuAD 2.0?


KorQuAD 2.0은 KorQuAD 1.0에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension 데이터셋 입니다. KorQuAD 1.0과는 다르게 1~2 문단이 아닌 Wikipedia article 전체에서 답을 찾아야 합니다. 매우 긴 문서들이 있기 때문에 탐색 시간에 대한 고려가 필요할 것 입니다. 또한 표와 리스트도 포함되어 있기 때문에 HTML tag를 통한 문서의 구조 이해도 필요합니다. 이 데이터셋을 통해서 다양한 형태와 길이의 문서들에서도 기계독해가 가능해질 것 입니다.







Getting Started


KorQuAD 2.1의 전체 데이터는 47,957 개의 Wikipedia article에 대해 102,960 개의 질의응답 쌍으로, Training set 83,486 개, Dev set 10,165 개의 질의응답쌍으로 구분하였습니다. KorQuAD 2.0 데이터 중 HTML 태그의 속성이 완벽하게 제거되지 않은 오류를 수정하여 재배포한 데이터셋으로, KorQuAD 2.0의 태그 속성을 제외한 원본과 정답 텍스트가 바뀌는 경우는 없습니다.




모델을 평가하기 위한 공식적인 evaluation script와 입력 샘플 prediction 파일을 제공합니다. 평가를 실행하려면 python evaluate-korquad_2.0.py [path_to_dev-2.0] [path_to_predictions] 를 입력하세요.




Dev set에 대해 만족하는 모델을 만들었다면 공식 점수를 얻고 leaderboard에 올리기 위해 모델을 제줄하세요. 테스트 결과의 무결성을 위하여 Test set은 공개되지 않습니다. 대신 모델을 제출하여 Test set에서 실행할 수 있도록 해야 합니다. 다음은 모델의 공식적인 평가를 위한 과정 안내 튜토리얼입니다.






Leaderboard


KorQuAD 2.0의 Test set으로 평가한 Exact Match(EM) 및 F1 score 입니다.


Rank Reg. Date Model EM F1
- 2019.09.05 Human Performance 68.82 83.86
1 2019.11.28 KNU-baseline (single model)

Kangwon National University, Intelligent Software Lab.

26.53 66.69
- 2019.09.05 Baseline 30.24 45.96



KorQuAD 2.0의 Test set으로 평가한 Time (ms), Exact Match(EM) 및 F1 score 입니다.


Rank Reg. Date Model 1-example Latency EM F1
1 2019.11.28 KNU-baseline (single model)

Kangwon National University, Intelligent Software Lab.

3684 ms 26.53 66.69
- 2019.09.05 Baseline 13484 ms 30.24 45.96