KorQuAD

The Korean Question Answering Dataset



find_in_page

What is KorQuAD?

KorQuAD는 한국어 Machine Reading Comprehension을 위해 만든 데이터셋입니다. 모든 질의에 대한 답변은 해당 Wikipedia 아티클 문단의 일부 하위 영역으로 이루어집니다. Stanford Question Answering Dataset(SQuAD) v1.0과 동일한 방식으로 구성되었습니다.

group

Leaderboard

KorQuAD v1.0의 Test set으로 평가한 Exact Match(EM) 및 F1 score입니다.

desktop_mac

Getting Started

KorQuAD는 한국어 Machine Reading Comprehension을 위해 만든 dataset입니다. 모든 질의에 대한 답변은 해당 Wikipedia 아티클 문단의 일부 하위 영역으로 이루어집니다. Stanford Question Answering Dataset(SQuAD) v1.0과 동일한 방식으로 구성되었습니다. 전체 데이터는 1,560 개의 Wikipedia article에 대해 10,645 건의 문단과 66,181 개의 질의응답 쌍으로, Training set 60,407 개, Dev set 5,774 개의 질의응답쌍으로 구분하였습니다.


모델을 평가하기 위한 공식적인 evaluation script와 입력 샘플 prediction 파일을 제공합니다. 평가를 실행하려면 python evaluate-korquad_v1.0.py [path_to_dev-v1.0] [path_to_predictions] 를 입력하세요.


Dev set에 대해 만족하는 모델을 만들었다면 공식 점수를 얻고 leaderboard에 올리기 위해 모델을 제줄하세요. 테스트 결과의 무결성을 위하여 Test set은 공개되지 않습니다. 대신 모델을 제출하 여 Test set에서 실행할 수 있도록 해야 합니다. 다음은 모델의 공식적인 평가를 위한 과정 안내 튜토리얼입니다.

Leaderboard
Rank Reg. Date Model EM F1
- 2018.10.17 Human Performance 80.17 91.20
1 2019.01.17 BERT-Kor (single)

Clova AI LPT Team

81.71 90.95
2 2019.01.23 BERT multilingual (ensemble)

mypeacefulcode

81.89 90.90
3 2019.01.10 EBB-Net + BERT (single model)

Enliple AI

80.12 90.71
4 2019.01.11 BERT-Multiling-simple (single)

kwonmha

70.75 89.44
5 2018.10.17 Baseline

LG CNS AI Research Team

71.52 82.99