Leaderboard

Leaderboards on Test set

Task SI

Rank	Team	F1	Precision	Recall
1	Hitachi	0.51551	0.56544	0.47368
2	ApplicaAI	0.49153	0.59954	0.41650
3	aschern	0.49100	0.53232	0.45564
4	LTIatCMU	0.47663	0.50970	0.44758
5	UPB	0.46060	0.58612	0.37936
6	Fragarach	0.45960	0.54261	0.39862
7	NoPropaganda	0.44681	0.55622	0.37337
8	CyberWallE	0.43858	0.42158	0.45699
9	Transformers	0.43603	0.49862	0.38740
10	SWEAT	0.43216	0.52768	0.36593
11	YNUtaoxin	0.43208	0.55617	0.35326
12	DREAM	0.43097	0.54535	0.35625
13	newsSweeper	0.42209	0.46518	0.38631
14	PsuedoProp	0.41201	0.41540	0.40867
15	Solomon	0.40683	0.53946	0.32655
16	YNUHPCC	0.40631	0.36550	0.45739
17	NLFIIT	0.40577	0.50913	0.33730
18	PALI	0.40573	0.53196	0.32792
19	UESTCICSA	0.39847	0.56091	0.30899
20	TTUI	0.39841	0.66883	0.28371
21	BPGC	0.38744	0.49385	0.31876
22	DoNotDistribute	0.37861	0.42355	0.34230
23	UTMNandOCAS	0.37490	0.37967	0.37025
24	Entropy	0.37228	0.41684	0.33633
25	syrapropa	0.36200	0.49530	0.28523
26	SkoltechNLP	0.34068	0.46524	0.26873
27	NTUAAILS	0.33596	0.46052	0.26444
28	UAIC1860	0.33210	0.24490	0.51574
29	CCNI	0.29484	0.38089	0.24051
30	NCCUSocialMediaResearchGroup	0.28468	0.17297	0.80370
31	3218IR	0.23472	0.22632	0.24376
32	WMD	0.20093	0.47114	0.12769
33	LS	0.18180	0.34142	0.12388
34	HunAlize	0.03189	0.23236	0.01712
35	YOLO	0.00715	0.17198	0.00365
36	Baseline	0.00308	0.13045	0.00156

Task TC

Rank	Team	F1	F1 Appeal_to_Authority	F1 Appeal_to_fear-prejudice	F1 Bandwagon,Reductio_ad_hitlerum	F1 Black-and-White_Fallacy	F1 Causal_Oversimplification	F1 Doubt	F1 Exaggeration,Minimisation	F1 Flag-Waving	F1 Loaded_Language	F1 Name_Calling,Labeling	F1 Repetition	F1 Slogans	F1 Thought-terminating_Cliches	F1 Whataboutism,Straw_Men,Red_Herring
1	ApplicaAI	0.62067	0.48148	0.45490	0.08333	0.49020	0.22727	0.56230	0.33588	0.69430	0.77124	0.74377	0.54545	0.51282	0.39216	0.25000
2	aschern	0.62011	0.35294	0.41778	0.14925	0.53571	0.25974	0.59443	0.32653	0.66346	0.77023	0.75648	0.53381	0.54237	0.42553	0.18868
3	Hitachi	0.61732	0.40000	0.38938	0.04878	0.47917	0.36620	0.63429	0.34579	0.68020	0.75639	0.74199	0.37879	0.45614	0.29412	0.26923
4	Solomon	0.58939	0.26667	0.39394	0.04878	0.42000	0.19608	0.61818	0.28444	0.61836	0.74658	0.70753	0.42525	0.50746	0.38095	0.00000
5	newsSweeper	0.58436	0.41667	0.42798	0.13043	0.25000	0.19718	0.56548	0.37104	0.60526	0.75316	0.74230	0.20690	0.50746	0.21622	0.08000
6	NoPropaganda	0.58268	0.23256	0.38023	0.00000	0.08696	0.12121	0.56269	0.37993	0.59296	0.77173	0.73898	0.42712	0.42424	0.23256	0.00000
7	Inno	0.57989	0.43137	0.45091	0.10714	0.40404	0.24324	0.58651	0.35385	0.59406	0.73311	0.74304	0.24885	0.43750	0.29630	0.19355
8	CyberWallE	0.57374	0.14634	0.39844	0.12245	0.23684	0.15385	0.58651	0.28340	0.54378	0.74675	0.70924	0.47682	0.39394	0.23810	0.00000
9	PALI	0.57318	0.27586	0.36585	0.28571	0.39623	0.30588	0.58967	0.28571	0.61616	0.74294	0.69085	0.24561	0.39216	0.40816	0.20896
10	Duth	0.57207	0.44444	0.33333	0.09302	0.33333	0.26230	0.59155	0.28235	0.58947	0.73709	0.71406	0.20101	0.34783	0.27027	0.17778
11	DiSaster	0.56648	0.51163	0.35254	0.20408	0.26667	0.14634	0.59116	0.30638	0.58252	0.74485	0.68098	0.20444	0.42553	0.19048	0.04348
12	djichen	0.56536	0.37500	0.33645	0.20833	0.43810	0.22785	0.60000	0.31418	0.56190	0.73209	0.68376	0.29752	0.30769	0.27907	0.18868
13	SocCogCom	0.55810	0.28571	0.31624	0.09756	0.26506	0.06349	0.60396	0.34862	0.54255	0.72182	0.67337	0.18884	0.40909	0.23529	0.10000
14	TTUI	0.55643	0.28235	0.41481	0.24561	0.35294	0.23077	0.57402	0.32203	0.61682	0.73219	0.68493	0.21176	0.37500	0.25000	0.20290
15	JUST	0.55307	0.48889	0.37097	0.24490	0.28889	0.27273	0.58258	0.29565	0.62564	0.71958	0.64727	0.21941	0.33333	0.31818	0.28571
16	NLFIIT	0.55251	0.29630	0.24885	0.09302	0.32099	0.00000	0.55660	0.30303	0.63317	0.72548	0.69297	0.21552	0.41667	0.13636	0.00000
17	UMSIForeseer	0.55140	0.29412	0.31970	0.09756	0.00000	0.00000	0.57210	0.28571	0.56140	0.73023	0.70790	0.21488	0.39216	0.14286	0.00000
18	BPGC	0.54805	0.30769	0.33645	0.12500	0.40000	0.24176	0.53776	0.33469	0.58929	0.71582	0.67509	0.23744	0.40000	0.20690	0.20896
19	UPB	0.54302	0.20000	0.30000	0.00000	0.19718	0.16949	0.52547	0.30622	0.55866	0.70094	0.68858	0.20000	0.34615	0.22857	0.04878
20	syrapropa	0.54246	0.31579	0.29767	0.19608	0.30612	0.21505	0.56140	0.28099	0.57021	0.71474	0.68440	0.30769	0.29032	0.28571	0.09091
21	WMD	0.52011	0.07143	0.29197	0.05000	0.00000	0.05714	0.53938	0.25455	0.52083	0.69330	0.64667	0.13889	0.06897	0.07407	0.00000
22	YNUHPCC	0.50503	0.29787	0.26400	0.13793	0.38384	0.03448	0.51039	0.21538	0.55556	0.68082	0.62333	0.17722	0.27586	0.17778	0.15000
23	UESTCICSA	0.49944	0.12766	0.22749	0.00000	0.11268	0.03738	0.44985	0.25439	0.53140	0.68232	0.66880	0.27957	0.41379	0.28571	0.03704
24	DoNotDistribute	0.49721	0.22642	0.29752	0.04545	0.24490	0.14894	0.46254	0.27234	0.53763	0.68444	0.60647	0.19444	0.28070	0.12245	0.09677
25	NTUAAILS	0.46369	0.36364	0.28308	0.09756	0.00000	0.00000	0.48753	0.29658	0.46465	0.65789	0.54545	0.18430	0.13793	0.11429	0.04082
26	UAIC1860	0.41173	0.17391	0.22120	0.09756	0.02899	0.07595	0.36406	0.21008	0.38776	0.62328	0.42966	0.11159	0.11429	0.05556	0.04255
27	UNTLing	0.39106	0.04348	0.05291	0.00000	0.00000	0.02857	0.32645	0.11818	0.40476	0.62568	0.36735	0.07778	0.17647	0.00000	0.00000
28	HunAlize	0.37095	0.06452	0.11828	0.00000	0.08000	0.07843	0.31755	0.23810	0.29947	0.58588	0.15816	0.02094	0.04545	0.00000	0.00000
29	Transformers	0.26536	0.00000	0.00000	0.00000	0.00000	0.00000	0.00980	0.00000	0.00000	0.47550	0.24061	0.02857	0.00000	0.00000	0.00000
30	Baseline	0.25196	0.00000	0.03681	0.00000	0.00000	0.11561	0.29143	0.14420	0.06195	0.46477	0.00000	0.19262	0.00000	0.00000	0.00000
31	Entropy	0.20391	0.03922	0.06324	0.00000	0.02273	0.07407	0.12805	0.06393	0.04950	0.37739	0.15493	0.05833	0.00000	0.00000	0.06780
32	IJSE8	0.19721	0.00000	0.07067	0.00000	0.00000	0.02273	0.15467	0.08230	0.08571	0.38073	0.14701	0.04918	0.00000	0.00000	0.00000

Scroll the table to the right to check the F1 values for each Technique.

Leaderboards on Development set

Task SI

Rank	Team	F1	Precision	Recall
1	syrapropa	0.53404	0.39882	0.80802
2	PALI	0.52349	0.49644	0.55365
3	ApplicaAI	0.52191	0.47151	0.58438
4	Hitachi	0.50118	0.42262	0.61562
5	aschern	0.49990	0.44528	0.56978
6	TTUI	0.49586	0.48761	0.50439
7	LTIatCMU	0.49064	0.43376	0.56470
8	UPB	0.46789	0.42439	0.52132
9	NoPropaganda	0.46125	0.40647	0.53309
10	newsSweeper	0.45557	0.40008	0.52894
11	NerdyBirdies	0.44514	0.83831	0.30302
12	YNUtaoxin	0.44353	0.40737	0.48674
13	Fragarach	0.44272	0.41681	0.47207
14	UESTCICSA	0.44173	0.43208	0.45183
15	Transformers	0.43819	0.35549	0.57105
16	Murgila	0.43083	0.38609	0.48730
17	SWEAT	0.42509	0.42973	0.42055
18	CyberWallE	0.42389	0.33448	0.57856
19	YNUHPCC	0.42273	0.32082	0.61954
20	DREAM	0.42150	0.42662	0.41650
21	NLFIIT	0.39669	0.35035	0.45716
22	IIITD	0.39515	0.36425	0.43177
23	PsuedoProp	0.39318	0.34272	0.46108
24	In2Deep	0.39100	0.41438	0.37012
25	TakeLab	0.39061	0.38850	0.39273
26	DoNotDistribute	0.37726	0.32413	0.45123
27	SkoltechNLP	0.36831	0.32197	0.43023
28	BPGC	0.36789	0.34722	0.39118
29	WMD	0.36338	0.33255	0.40051
30	atulcst	0.36291	0.38145	0.34610
31	LS	0.35493	0.22407	0.85331
32	CCNI	0.35184	0.31070	0.40554
33	AAA	0.34680	0.30606	0.40004
34	UTMNandOCAS	0.34345	0.23651	0.62690
35	Entropy	0.32885	0.30816	0.35251
36	NTUAAILS	0.32257	0.27560	0.38885
37	UAIC1860	0.30272	0.20693	0.56368
38	CUNLP	0.27781	0.58231	0.18242
39	HunAlize	0.24451	0.37753	0.18080
40	3218IR	0.24147	0.24143	0.24151
41	UoB	0.24023	0.22295	0.26042
42	HenryAtDuderstadt	0.18634	0.10274	1.00000
43	UniversityOfBirmingham	0.16947	0.23074	0.13391
44	NCCUSocialMediaResearchGroup	0.15834	0.09122	0.59918
45	Baseline	0.01102	0.11004	0.00580
46	SocCogCom	0.00786	0.09966	0.00409
47	Inno	0.00638	0.09361	0.00330
48	YOLO	0.00638	0.09361	0.00330
49	Raghavan	0.00403	0.00203	0.33445
50	California	0.00389	0.05919	0.00201

Note that the gold labels for the task SI can de extracted from the input files for task TC.

This will not be the case for the test set, since we will release the input data for task TC after closing the submissions for task SI.

Submissions to task SI using the gold labels for task TC will not be accepted and the team might be disqualified.

Task TC

Rank	Team	F1	F1 Appeal_to_Authority	F1 Appeal_to_fear-prejudice	F1 Bandwagon,Reductio_ad_hitlerum	F1 Black-and-White_Fallacy	F1 Causal_Oversimplification	F1 Doubt	F1 Exaggeration,Minimisation	F1 Flag-Waving	F1 Loaded_Language	F1 Name_Calling,Labeling	F1 Repetition	F1 Slogans	F1 Thought-terminating_Cliches	F1 Whataboutism,Straw_Men,Red_Herring
1	ApplicaAI	0.70461	0.42857	0.48485	0.80000	0.20000	0.47059	0.63566	0.60927	0.82558	0.80419	0.74114	0.70671	0.62651	0.43478	0.41667
2	aschern	0.68109	0.28571	0.45238	0.40000	0.32432	0.30435	0.66187	0.59355	0.74251	0.80000	0.73854	0.67391	0.63889	0.33333	0.38462
3	syrapropa	0.67827	0.20000	0.40816	0.60000	0.13793	0.41860	0.56738	0.51389	0.78889	0.77239	0.77000	0.70120	0.68493	0.26087	0.24242
4	FLZ	0.67168	0.44444	0.20000	0.75000	0.37037	0.46154	0.65455	0.23377	0.64078	0.81089	0.71122	0.70779	0.64000	0.28571	0.06667
5	PALI	0.66886	0.41667	0.40449	0.75000	0.35556	0.42105	0.58462	0.48611	0.79532	0.78012	0.76336	0.61594	0.58333	0.45714	0.27027
6	CyberWallE	0.66416	0.18182	0.30612	0.22222	0.21429	0.21053	0.53846	0.52703	0.73684	0.76621	0.81000	0.73288	0.51351	0.17391	0.00000
7	Hitachi	0.65193	0.12500	0.36957	0.75000	0.22222	0.50000	0.62963	0.56579	0.81395	0.77991	0.71159	0.46975	0.67606	0.19048	0.40909
8	DiSaster	0.62841	0.30000	0.35294	0.28571	0.00000	0.23077	0.56209	0.48276	0.75152	0.76728	0.77327	0.47107	0.35088	0.09091	0.05556
9	newsSweeper	0.62747	0.16667	0.44898	0.57143	0.06897	0.47826	0.56944	0.55319	0.74286	0.76232	0.71354	0.45136	0.60526	0.16667	0.06452
10	NoPropaganda	0.60677	0.00000	0.33333	0.00000	0.00000	0.48000	0.50360	0.38710	0.75740	0.77059	0.72487	0.47687	0.53165	0.08333	0.00000
11	Fragarach	0.60489	0.14286	0.40909	0.57143	0.12903	0.34043	0.51034	0.50685	0.74118	0.77119	0.70496	0.38211	0.45714	0.16667	0.06061
12	Inno	0.60113	0.11765	0.40816	0.61538	0.35714	0.34146	0.52857	0.43750	0.77966	0.76565	0.70620	0.34667	0.59701	0.18182	0.15385
13	NerdyBirdies	0.59831	0.15385	0.36036	0.00000	0.08696	0.47619	0.52055	0.48649	0.70303	0.76231	0.73545	0.33051	0.48571	0.20000	0.13333
14	CUNLP	0.59548	0.16216	0.34286	0.25000	0.15789	0.35897	0.50685	0.43662	0.71895	0.74378	0.73298	0.47619	0.55072	0.19512	0.08889
15	Solomon	0.59548	0.00000	0.39080	0.00000	0.20833	0.34286	0.51282	0.49645	0.74684	0.75921	0.71979	0.33476	0.45902	0.32258	0.20833
16	TTUI	0.58984	0.16216	0.34694	0.66667	0.19048	0.33333	0.56923	0.41958	0.77528	0.75075	0.71000	0.32068	0.50000	0.20690	0.29091
17	BPGC	0.58796	0.19048	0.32432	0.00000	0.18750	0.27027	0.52857	0.49635	0.75817	0.75451	0.70051	0.29752	0.52308	0.23077	0.09524
18	UMSIForeseer	0.58702	0.10000	0.31579	0.00000	0.00000	0.52632	0.47945	0.51799	0.75862	0.74444	0.70951	0.31760	0.43333	0.00000	0.10000
19	NLFIIT	0.58514	0.13333	0.35135	0.60000	0.27778	0.34286	0.53125	0.41481	0.75000	0.74462	0.70476	0.33333	0.60526	0.24242	0.24138
20	UPB	0.58326	0.07407	0.29885	0.57143	0.08696	0.34286	0.46154	0.50000	0.70732	0.74016	0.71642	0.24155	0.50000	0.00000	0.06061
21	Tianyi	0.58231	0.13333	0.34568	0.57143	0.11765	0.28571	0.50360	0.44720	0.75610	0.75391	0.71220	0.26432	0.49315	0.00000	0.00000
22	Duth	0.57855	0.09524	0.34409	0.50000	0.11111	0.42857	0.48718	0.46154	0.64430	0.76122	0.70320	0.23077	0.55385	0.15385	0.11111
23	JUST	0.57667	0.00000	0.31068	0.00000	0.00000	0.23810	0.48750	0.49635	0.73750	0.74967	0.72362	0.23636	0.29032	0.00000	0.05882
24	UESTCICSA	0.57573	0.00000	0.38710	0.00000	0.00000	0.26667	0.46479	0.39655	0.63226	0.74148	0.65041	0.48366	0.58824	0.36364	0.09524
25	djichen	0.57573	0.13333	0.36782	0.00000	0.20000	0.31818	0.48276	0.44604	0.76364	0.76040	0.70529	0.24889	0.51429	0.10811	0.04545
26	Entropy	0.57103	0.13333	0.31111	0.00000	0.18182	0.29268	0.53595	0.45161	0.74854	0.75219	0.66499	0.28194	0.46875	0.20000	0.10000
27	SocCogCom	0.57009	0.00000	0.32911	0.57143	0.21429	0.28571	0.53988	0.45669	0.77108	0.70648	0.64380	0.31776	0.30189	0.12903	0.06452
28	YNUHPCC	0.56162	0.06452	0.26087	0.54545	0.18182	0.27273	0.51389	0.36364	0.73054	0.70573	0.69452	0.29752	0.40580	0.26087	0.21053
29	DoNotDistribute	0.53998	0.00000	0.25581	0.00000	0.00000	0.25000	0.45946	0.31933	0.72611	0.71200	0.67332	0.29384	0.28986	0.22857	0.09756
30	Murgila	0.53528	0.17647	0.22472	0.44444	0.13333	0.30000	0.37288	0.42553	0.69512	0.71210	0.66138	0.24545	0.40580	0.31579	0.22642
31	NTUAAILS	0.53246	0.06667	0.21333	0.44444	0.07143	0.17143	0.51613	0.43636	0.73034	0.69761	0.59898	0.27193	0.27119	0.00000	0.08000
32	WMD	0.52305	0.19048	0.26829	0.40000	0.00000	0.06897	0.39766	0.35115	0.63095	0.71567	0.57702	0.40000	0.15686	0.00000	0.00000
33	UAIC1860	0.43838	0.10526	0.07018	0.33333	0.00000	0.00000	0.42029	0.23656	0.60000	0.57879	0.40367	0.14118	0.04545	0.00000	0.00000
34	hseteam	0.41395	0.00000	0.11111	0.42857	0.07273	0.07692	0.26286	0.32258	0.57516	0.63649	0.42815	0.22400	0.26667	0.00000	0.04762
35	HunAlize	0.41016	0.00000	0.09231	0.00000	0.00000	0.33333	0.41176	0.22222	0.53503	0.56130	0.40752	0.05319	0.00000	0.00000	0.00000
36	UNTLing	0.40922	0.08333	0.11940	0.00000	0.00000	0.26667	0.35417	0.12281	0.51701	0.59448	0.33333	0.11834	0.25000	0.00000	0.05882
37	HenryAtDuderstadt	0.34149	0.00000	0.00000	0.00000	0.00000	0.00000	0.34286	0.00000	0.00000	0.52966	0.04103	0.00000	0.00000	0.00000	0.00000
38	XJPaccelerationMASTER	0.32455	0.00000	0.00000	0.00000	0.00000	0.00000	0.33058	0.00000	0.00000	0.48762	0.00000	0.00000	0.00000	0.00000	0.00000
39	SWEAT	0.30574	0.00000	0.00000	0.00000	0.00000	0.00000	0.00000	0.00000	0.00000	0.46830	0.00000	0.00000	0.00000	0.00000	0.00000
40	Transformers	0.30104	0.00000	0.00000	0.00000	0.00000	0.00000	0.00000	0.00000	0.00000	0.48498	0.28622	0.12308	0.00000	0.00000	0.04878
41	NCCUSocialMediaResearchGroup	0.29257	0.12500	0.15094	0.23077	0.16667	0.09756	0.36923	0.14689	0.45070	0.37917	0.34459	0.25532	0.13333	0.12500	0.00000
42	Baseline	0.26529	0.00000	0.09375	0.00000	0.00000	0.07229	0.19200	0.11679	0.08276	0.40580	0.00000	0.38498	0.00000	0.00000	0.00000
43	LS	0.26233	0.00000	0.09091	0.00000	0.00000	0.08791	0.19672	0.12950	0.08276	0.39196	0.00000	0.39309	0.00000	0.06250	0.00000
44	SkoltechNLP	0.26233	0.00000	0.09091	0.00000	0.00000	0.08791	0.19672	0.12950	0.08276	0.39196	0.00000	0.39309	0.00000	0.06250	0.00000
45	TakeLab	0.25306	0.00000	0.00000	0.00000	0.00000	0.00000	0.06426	0.00000	0.00000	0.42916	0.24697	0.01370	0.00000	0.00000	0.00000
46	UTMNandOCAS	0.23424	0.00000	0.10526	0.00000	0.23077	0.00000	0.00000	0.04444	0.00000	0.40534	0.19742	0.18667	0.00000	0.08696	0.00000

Scroll the table to the right to check the F1 values for each Technique.

Note that the leaderboard is updated every 20 minutes, therefore your submission may not be listed right away.

Organisers

Giovanni Da San Martino, Qatar Computing Research Institute
Alberto Barrón-Cedeño, University of Bologna
Preslav Nakov, Qatar Computing Research Institute
Henning Wachsmuth, Paderborn University
Rostislav Petrov, A Data Pro

SemEval 2020 Task 11
"Detection of Propaganda Techniques in News Articles"

Leaderboard

Leaderboards on Test set

Task SI

Task TC

Leaderboards on Development set

Task SI

Task TC

Organisers

Contact

SemEval 2020 Task 11 "Detection of Propaganda Techniques in News Articles"

Leaderboard

Leaderboards on Test set

Task SI

Task TC

Leaderboards on Development set

Task SI

Task TC

Organisers

Contact

SemEval 2020 Task 11
"Detection of Propaganda Techniques in News Articles"