Skip to content
This repository was archived by the owner on Jun 11, 2026. It is now read-only.

Commit 0f5c85b

Browse files
kabirahuja2431kabirahuja2431
authored
Merge pull request #4 from kabirahuja2431/main
Release of Test Set Labels
2 parents bdb8208 + 29c2c69 commit 0f5c85b

16 files changed

Lines changed: 75652 additions & 0 deletions

‎SumEval/data/test_gold/TyDiQA_TULRv6Large_ID.json‎

Lines changed: 74 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,74 @@
1+
[
2+
{
3+
"train_config": {
4+
"ar": 14805,
5+
"bn": 0,
6+
"en": 0,
7+
"fi": 0,
8+
"id": 0,
9+
"ko": 1625,
10+
"ru": 0,
11+
"sw": 10,
12+
"te": 0
13+
},
14+
"eval_results": {
15+
"ar": 0.8490000000000001,
16+
"bn": 0.7709999999999999,
17+
"en": 0.7559999999999999,
18+
"fi": 0.77,
19+
"id": 0.84,
20+
"ko": 0.72,
21+
"ru": 0.7290000000000001,
22+
"sw": 0.7390000000000001,
23+
"te": 0.802
24+
}
25+
},
26+
{
27+
"train_config": {
28+
"ar": 14805,
29+
"bn": 0,
30+
"en": 10,
31+
"fi": 1000,
32+
"id": 0,
33+
"ko": 1625,
34+
"ru": 0,
35+
"sw": 2755,
36+
"te": 100
37+
},
38+
"eval_results": {
39+
"ar": 0.85,
40+
"bn": 0.792,
41+
"en": 0.7709999999999999,
42+
"fi": 0.8,
43+
"id": 0.8540000000000001,
44+
"ko": 0.732,
45+
"ru": 0.732,
46+
"sw": 0.8540000000000001,
47+
"te": 0.813
48+
}
49+
},
50+
{
51+
"train_config": {
52+
"ar": 14805,
53+
"bn": 2390,
54+
"en": 10,
55+
"fi": 0,
56+
"id": 0,
57+
"ko": 1000,
58+
"ru": 100,
59+
"sw": 0,
60+
"te": 10
61+
},
62+
"eval_results": {
63+
"ar": 0.836,
64+
"bn": 0.797,
65+
"en": 0.764,
66+
"fi": 0.775,
67+
"id": 0.858,
68+
"ko": 0.735,
69+
"ru": 0.738,
70+
"sw": 0.754,
71+
"te": 0.81
72+
}
73+
}
74+
]

‎SumEval/data/test_gold/TyDiQA_TULRv6Large_OOD.json‎

Lines changed: 80 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,80 @@
1+
[
2+
{
3+
"train_config": {
4+
"ar": 14805,
5+
"bn": 0,
6+
"en": 0,
7+
"fi": 0,
8+
"id": 0,
9+
"ko": 1625,
10+
"ru": 0,
11+
"sw": 10,
12+
"te": 0
13+
},
14+
"eval_results": {
15+
"ar": 0.6679999999999999,
16+
"de": 0.688,
17+
"el": 0.693,
18+
"en": 0.732,
19+
"es": 0.6859999999999999,
20+
"hi": 0.665,
21+
"ro": 0.711,
22+
"ru": 0.68,
23+
"th": 0.636,
24+
"tr": 0.638,
25+
"vi": 0.69
26+
}
27+
},
28+
{
29+
"train_config": {
30+
"ar": 14805,
31+
"bn": 0,
32+
"en": 10,
33+
"fi": 1000,
34+
"id": 0,
35+
"ko": 1625,
36+
"ru": 0,
37+
"sw": 2755,
38+
"te": 100
39+
},
40+
"eval_results": {
41+
"ar": 0.675,
42+
"de": 0.711,
43+
"el": 0.698,
44+
"en": 0.747,
45+
"es": 0.696,
46+
"hi": 0.685,
47+
"ro": 0.733,
48+
"ru": 0.6890000000000001,
49+
"th": 0.66,
50+
"tr": 0.6659999999999999,
51+
"vi": 0.703
52+
}
53+
},
54+
{
55+
"train_config": {
56+
"ar": 14805,
57+
"bn": 2390,
58+
"en": 10,
59+
"fi": 0,
60+
"id": 0,
61+
"ko": 1000,
62+
"ru": 100,
63+
"sw": 0,
64+
"te": 10
65+
},
66+
"eval_results": {
67+
"ar": 0.6629999999999999,
68+
"de": 0.703,
69+
"el": 0.6920000000000001,
70+
"en": 0.745,
71+
"es": 0.6920000000000001,
72+
"hi": 0.6859999999999999,
73+
"ro": 0.727,
74+
"ru": 0.688,
75+
"th": 0.67,
76+
"tr": 0.6629999999999999,
77+
"vi": 0.703
78+
}
79+
}
80+
]

‎SumEval/data/test_gold/TyDiQA_XLMR_ID.json‎

Lines changed: 74 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,74 @@
1+
[
2+
{
3+
"train_config": {
4+
"ar": 14805,
5+
"bn": 0,
6+
"en": 0,
7+
"fi": 0,
8+
"id": 0,
9+
"ko": 1625,
10+
"ru": 0,
11+
"sw": 10,
12+
"te": 0
13+
},
14+
"eval_results": {
15+
"ar": 0.8239666666666666,
16+
"bn": 0.7634666666666666,
17+
"en": 0.7472333333333333,
18+
"fi": 0.7692666666666668,
19+
"id": 0.8296333333333333,
20+
"ko": 0.6712333333333333,
21+
"ru": 0.7285,
22+
"sw": 0.7475666666666667,
23+
"te": 0.8004000000000001
24+
}
25+
},
26+
{
27+
"train_config": {
28+
"ar": 14805,
29+
"bn": 0,
30+
"en": 10,
31+
"fi": 1000,
32+
"id": 0,
33+
"ko": 1625,
34+
"ru": 0,
35+
"sw": 2755,
36+
"te": 100
37+
},
38+
"eval_results": {
39+
"ar": 0.8311000000000001,
40+
"bn": 0.7853333333333333,
41+
"en": 0.7631333333333332,
42+
"fi": 0.8059333333333333,
43+
"id": 0.8422000000000001,
44+
"ko": 0.6671333333333332,
45+
"ru": 0.7410333333333333,
46+
"sw": 0.8457,
47+
"te": 0.8167
48+
}
49+
},
50+
{
51+
"train_config": {
52+
"ar": 14805,
53+
"bn": 2390,
54+
"en": 10,
55+
"fi": 0,
56+
"id": 0,
57+
"ko": 1000,
58+
"ru": 100,
59+
"sw": 0,
60+
"te": 10
61+
},
62+
"eval_results": {
63+
"ar": 0.8272666666666667,
64+
"bn": 0.8155,
65+
"en": 0.7545666666666667,
66+
"fi": 0.7677666666666667,
67+
"id": 0.8358666666666666,
68+
"ko": 0.6815666666666668,
69+
"ru": 0.7499666666666666,
70+
"sw": 0.7626666666666666,
71+
"te": 0.8166666666666668
72+
}
73+
}
74+
]

‎SumEval/data/test_gold/TyDiQA_XLMR_OOD.json‎

Lines changed: 80 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,80 @@
1+
[
2+
{
3+
"train_config": {
4+
"ar": 14805,
5+
"bn": 0,
6+
"en": 0,
7+
"fi": 0,
8+
"id": 0,
9+
"ko": 1625,
10+
"ru": 0,
11+
"sw": 10,
12+
"te": 0
13+
},
14+
"eval_results": {
15+
"ar": 0.6237333333333334,
16+
"de": 0.6757666666666666,
17+
"el": 0.6623666666666667,
18+
"en": 0.7278333333333333,
19+
"es": 0.6937000000000001,
20+
"hi": 0.6434666666666667,
21+
"ro": 0.7011666666666666,
22+
"ru": 0.6750666666666666,
23+
"th": 0.6550666666666666,
24+
"tr": 0.6419333333333334,
25+
"vi": 0.6825999999999999
26+
}
27+
},
28+
{
29+
"train_config": {
30+
"ar": 14805,
31+
"bn": 0,
32+
"en": 10,
33+
"fi": 1000,
34+
"id": 0,
35+
"ko": 1625,
36+
"ru": 0,
37+
"sw": 2755,
38+
"te": 100
39+
},
40+
"eval_results": {
41+
"ar": 0.6374333333333333,
42+
"de": 0.6932666666666667,
43+
"el": 0.6752333333333334,
44+
"en": 0.7501333333333333,
45+
"es": 0.7030666666666666,
46+
"hi": 0.6601666666666667,
47+
"ro": 0.7250333333333333,
48+
"ru": 0.6868666666666666,
49+
"th": 0.6786666666666666,
50+
"tr": 0.6558,
51+
"vi": 0.6955333333333332
52+
}
53+
},
54+
{
55+
"train_config": {
56+
"ar": 14805,
57+
"bn": 2390,
58+
"en": 10,
59+
"fi": 0,
60+
"id": 0,
61+
"ko": 1000,
62+
"ru": 100,
63+
"sw": 0,
64+
"te": 10
65+
},
66+
"eval_results": {
67+
"ar": 0.6464,
68+
"de": 0.6859333333333333,
69+
"el": 0.6752000000000001,
70+
"en": 0.7434666666666666,
71+
"es": 0.7040666666666667,
72+
"hi": 0.6665,
73+
"ro": 0.7194666666666666,
74+
"ru": 0.6890000000000001,
75+
"th": 0.6679666666666666,
76+
"tr": 0.6572666666666667,
77+
"vi": 0.6972333333333335
78+
}
79+
}
80+
]

0 commit comments

Comments
 (0)