KorQuAD

KorQuAD 2.0

The Korean Question Answering Dataset




What is KorQuAD 2.0?


KorQuAD 2.0은 KorQuAD 1.0에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension 데이터셋 입니다. KorQuAD 1.0과는 다르게 1~2 문단이 아닌 Wikipedia article 전체에서 답을 찾아야 합니다. 매우 긴 문서들이 있기 때문에 탐색 시간에 대한 고려가 필요할 것 입니다. 또한 표와 리스트도 포함되어 있기 때문에 HTML tag를 통한 문서의 구조 이해도 필요합니다. 이 데이터셋을 통해서 다양한 형태와 길이의 문서들에서도 기계독해가 가능해질 것 입니다.







Getting Started


KorQuAD 2.1의 전체 데이터는 47,957 개의 Wikipedia article에 대해 102,960 개의 질의응답 쌍으로, Training set 83,486 개, Dev set 10,165 개의 질의응답쌍으로 구분하였습니다. KorQuAD 2.0 데이터 중 HTML 태그의 속성이 완벽하게 제거되지 않은 오류를 수정하여 재배포한 데이터셋으로, KorQuAD 2.0의 태그 속성을 제외한 원본과 정답 텍스트가 바뀌는 경우는 없습니다.

KorQuAD 2.0의 데이터셋은 CC BY-ND 2.0 KR 라이센스를 따릅니다.

Codalab을 통한 모델 제출시 테스트 스코어 계산 및 리더보드를 통한 스코어 공개에 동의한 것으로 간주합니다. 참고로 제출한 모델 및 소스 코드 등에 대해서는 참가자가 직접 라이센스를 부여하고 이를 명시할 경우 그에 따릅니다.




모델을 평가하기 위한 공식적인 evaluation script와 입력 샘플 prediction 파일을 제공합니다. 평가를 실행하려면 python evaluate-korquad_2.0.py [path_to_dev-2.0] [path_to_predictions] 를 입력하세요.




Dev set에 대해 만족하는 모델을 만들었다면 공식 점수를 얻고 leaderboard에 올리기 위해 모델을 제줄하세요. 테스트 결과의 무결성을 위하여 Test set은 공개되지 않습니다. 대신 모델을 제출하여 Test set에서 실행할 수 있도록 해야 합니다. 다음은 모델의 공식적인 평가를 위한 과정 안내 튜토리얼입니다.






Leaderboard


KorQuAD 2.0의 Test set으로 평가한 Exact Match(EM) 및 F1 score 입니다.


Rank Reg. Date Model EM F1
- 2019.09.05 Human Performance 68.82 83.86
1 2020.02.21 CNS-BERT (single model)

Seungyoung Lim

68.39 82.62
2 2020.03.10 CNS-BERT_light (single model)

Seungyoung Lim

66.96 80.48
3 2020.01.29 onepick-open-simple (single model)

SeoHyeong Jeong

58.21 77.33
4 2019.12.23 HanBert-54k-N (single model)

TwoBlock Ai

55.28 71.19
5 2019.12.24 HanBert-90k-N (single model)

TwoBlock Ai

54.28 70.44
6 2019.11.28 KNU-baseline (single model)

Kangwon National University, Intelligent Software Lab.

26.53 66.69
- 2019.09.05 Baseline 30.24 45.96



KorQuAD 2.0의 Test set으로 평가한 Time (ms), Exact Match(EM) 및 F1 score 입니다.


Rank Reg. Date Model 1-example Latency EM F1
1 2020.01.29 onepick-open-simple (single model)

SeoHyeong Jeong

1629 ms 58.21 77.33
2 2019.12.24 HanBert-90k-N (single model)

TwoBlock Ai

1642 ms 54.28 70.44
3 2019.12.23 HanBert-54k-N (single model)

TwoBlock Ai

1675 ms 55.28 71.19
4 2020.03.10 CNS-BERT_light (single model)

Seungyoung Lim

2396 ms 66.96 80.48
5 2019.11.28 KNU-baseline (single model)

Kangwon National University, Intelligent Software Lab.

3684 ms 26.53 66.69
6 2020.02.21 CNS-BERT (single model)

Seungyoung Lim

3903 ms 68.39 82.62
- 2019.09.05 Baseline 13484 ms 30.24 45.96