KorQuAD

KorQuAD 2.0

The Korean Question Answering Dataset




What is KorQuAD 2.0?


KorQuAD 2.0은 KorQuAD 1.0에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension 데이터셋 입니다. KorQuAD 1.0과는 다르게 1~2 문단이 아닌 Wikipedia article 전체에서 답을 찾아야 합니다. 매우 긴 문서들이 있기 때문에 탐색 시간에 대한 고려가 필요할 것 입니다. 또한 표와 리스트도 포함되어 있기 때문에 HTML tag를 통한 문서의 구조 이해도 필요합니다. 이 데이터셋을 통해서 다양한 형태와 길이의 문서들에서도 기계독해가 가능해질 것 입니다.







Getting Started


KorQuAD 2.1의 전체 데이터는 47,957 개의 Wikipedia article에 대해 102,960 개의 질의응답 쌍으로, Training set 83,486 개, Dev set 10,165 개의 질의응답쌍으로 구분하였습니다. KorQuAD 2.0 데이터 중 HTML 태그의 속성이 완벽하게 제거되지 않은 오류를 수정하여 재배포한 데이터셋으로, KorQuAD 2.0의 태그 속성을 제외한 원본과 정답 텍스트가 바뀌는 경우는 없습니다.

KorQuAD 2.0의 데이터셋은 CC BY-ND 2.0 KR 라이센스를 따릅니다.

Codalab을 통한 모델 제출시 테스트 스코어 계산 및 리더보드를 통한 스코어 공개에 동의한 것으로 간주합니다. 참고로 제출한 모델 및 소스 코드 등에 대해서는 참가자가 직접 라이센스를 부여하고 이를 명시할 경우 그에 따릅니다.




모델을 평가하기 위한 공식적인 evaluation script와 입력 샘플 prediction 파일을 제공합니다. 평가를 실행하려면 python evaluate-korquad_2.0.py [path_to_dev-2.0] [path_to_predictions] 를 입력하세요.




Dev set에 대해 만족하는 모델을 만들었다면 공식 점수를 얻고 leaderboard에 올리기 위해 모델을 제줄하세요. 무분별한 제출을 방지하는 차원에서 일주일에 하나의 모델을 제출하는 것으로 제한합니다. 테스트 결과의 무결성을 위하여 Test set은 공개되지 않습니다. 대신 모델을 제출하여 Test set에서 실행할 수 있도록 해야 합니다. 다음은 모델의 공식적인 평가를 위한 과정 안내 튜토리얼입니다.






Leaderboard


KorQuAD 2.0의 Test set으로 평가한 Exact Match(EM) 및 F1 score 입니다.


Rank Reg. Date Model EM F1
- 2019.09.05 Human Performance 68.82 83.86
1 2020.09.21 SDS-NET v1.3 (single model)

Samsung SDS AI Research

77.86 89.82
2 2020.08.28 Ko-LongBERT (single model)

LAIR

77.88 89.62
3 2020.08.28 SkERT-Large 1.1 (single model)

Skelter Labs

77.44 88.81
4 2020.07.01 SDS-NET v1.2 (single model)

Samsung SDS AI Research (Bae & Kwon)

76.73 88.78
5 2020.06.24 SkERT-Large (Single model)

Skelter Labs

76.64 88.09
6 2020.05.03 SDS-NET v1.1

Samsung SDS AI Research (Bae & Kwon)

73.87 86.81
7 2020.04.29 SDS-NET (single model)

Sanghwan Bae & Soonhwan Kwon

73.51 86.56
8 2020.08.31 anonymous-baseline (single model)

Anonymous

71.24 86.37
9 2020.06.22 SkERT-Large (Single model)

Skelter Labs

73.29 86.03
10 2020.06.15 CNS-BERT (single model)

Seungyoung Lim

70.67 83.57
11 2020.04.20 LaRva (single model)

NAVER Clova AI LaRva

66.95 83.54
12 2020.02.21 CNS-BERT (single model)

Seungyoung Lim

68.39 82.62
13 2020.03.10 CNS-BERT_light (single model)

Seungyoung Lim

66.96 80.48
14 2020.11.18 table_plus (single model)

Anonymous

59.20 77.52
15 2020.12.04 SkERT-Petit 1.0 (single model)

Skelter Labs

62.36 77.49
16 2020.01.29 onepick-open-simple (single model)

SeoHyeong Jeong

58.21 77.33
17 2020.11.02 bert-base_model (single model)

Anonymous

57.33 75.87
18 2019.12.23 HanBert-54k-N (single model)

TwoBlock Ai

55.28 71.19
19 2019.12.24 HanBert-90k-N (single model)

TwoBlock Ai

54.28 70.44
20 2019.11.28 KNU-baseline (single model)

Kangwon National University, Intelligent Software Lab.

26.53 66.69
- 2019.09.05 Baseline 30.24 45.96



KorQuAD 2.0의 Test set으로 평가한 Time (ms), Exact Match(EM) 및 F1 score 입니다.


Rank Reg. Date Model 1-example Latency EM F1
1 2020.12.04 SkERT-Petit 1.0 (single model)

Skelter Labs

882 ms 62.36 77.49
2 2020.01.29 onepick-open-simple (single model)

SeoHyeong Jeong

1629 ms 58.21 77.33
3 2019.12.24 HanBert-90k-N (single model)

TwoBlock Ai

1642 ms 54.28 70.44
4 2019.12.23 HanBert-54k-N (single model)

TwoBlock Ai

1675 ms 55.28 71.19
5 2020.03.10 CNS-BERT_light (single model)

Seungyoung Lim

2396 ms 66.96 80.48
6 2020.08.31 anonymous-baseline (single model)

Anonymous

3362 ms 71.24 86.37
7 2019.11.28 KNU-baseline (single model)

Kangwon National University, Intelligent Software Lab.

3684 ms 26.53 66.69
8 2020.02.21 CNS-BERT (single model)

Seungyoung Lim

3903 ms 68.39 82.62
9 2020.06.15 CNS-BERT (single model)

Seungyoung Lim

4257 ms 70.67 83.57
10 2020.11.02 bert-base_model (single model)

Anonymous

4856 ms 57.33 75.87
11 2020.11.18 table_plus (single model)

Anonymous

5990 ms 59.20 77.52
12 2020.04.20 LaRva (single model)

NAVER Clova AI LaRva

6015 ms 66.95 83.54
13 2020.07.01 SDS-NET v1.2 (single model)

Samsung SDS AI Research (Bae & Kwon)

7851 ms 76.73 88.78
14 2020.05.03 SDS-NET v1.1

Samsung SDS AI Research (Bae & Kwon)

8869 ms 73.87 86.81
15 2020.04.29 SDS-NET (single model)

Sanghwan Bae & Soonhwan Kwon

8875 ms 73.51 86.56
16 2020.08.28 Ko-LongBERT (single model)

LAIR

10047 ms 77.88 89.62
17 2020.08.28 SkERT-Large 1.1 (single model)

Skelter Labs

10047 ms 77.44 88.81
18 2020.09.21 SDS-NET v1.3 (single model)

Samsung SDS AI Research

10434 ms 77.86 89.82
19 2020.06.24 SkERT-Large (Single model)

Skelter Labs

10434 ms 76.64 88.09
20 2020.06.22 SkERT-Large (Single model)

Skelter Labs

11593 ms 73.29 86.03
- 2019.09.05 Baseline 13484 ms 30.24 45.96