Leaderboard

Leaderboards for Test set

Task SI

Rank

Team

Precision

Recall

Note that the gold labels for the task SI can de extracted from the input files for task TC.

This will not be the case for the test set, since we will release the input data for task TC after closing the submissions for task SI.

Submissions to task SI using the gold labels for task TC will not be accepted and the team might be disqualified.

Task TC

Rank	Team	F1	F1 Appeal_to_Authority	F1 Appeal_to_fear-prejudice	F1 Bandwagon,Reductio_ad_hitlerum	F1 Black-and-White_Fallacy	F1 Causal_Oversimplification	F1 Doubt	F1 Exaggeration,Minimisation	F1 Flag-Waving	F1 Loaded_Language	F1 Name_Calling,Labeling	F1 Repetition	F1 Slogans	F1 Thought-terminating_Cliches	F1 Whataboutism,Straw_Men,Red_Herring
1	ApplicaAI	0.63743	0.48148	0.47059	0.08333	0.50980	0.22727	0.56230	0.36641	0.70466	0.78268	0.75801	0.58788	0.58974	0.39216	0.28125
2	ValeGian2	0.63687	0.35821	0.42478	0.15152	0.54054	0.26316	0.59877	0.37705	0.66990	0.78416	0.76817	0.58451	0.54237	0.41667	0.25926
3	playAround	0.63575	0.30000	0.40000	0.07407	0.49462	0.22581	0.58357	0.40476	0.66667	0.79610	0.77080	0.54745	0.64615	0.43137	0.30769
4	aschern	0.63296	0.35294	0.41778	0.14925	0.53571	0.25974	0.59443	0.37551	0.66346	0.78317	0.76684	0.56940	0.54237	0.42553	0.22642
5	Hitachi	0.63129	0.40000	0.38938	0.04878	0.47917	0.36620	0.63429	0.37383	0.69036	0.76692	0.76223	0.42424	0.52632	0.29412	0.26923
6	MinD	0.62626	0.38356	0.50593	0.13333	0.42991	0.36620	0.60299	0.43103	0.64211	0.76541	0.72253	0.56140	0.50909	0.46429	0.31169
7	UCLA263BRAH	0.61006	0.48148	0.36279	0.13333	0.45283	0.29032	0.59538	0.37004	0.60408	0.76640	0.73490	0.41107	0.54545	0.37288	0.26866
8	JUST	0.60615	0.47059	0.42194	0.12500	0.44231	0.25000	0.60767	0.35965	0.62882	0.76495	0.76329	0.26778	0.43333	0.39130	0.32941
9	NoPropaganda	0.59832	0.23256	0.38023	0.00000	0.08696	0.12121	0.56269	0.39427	0.60302	0.77985	0.76610	0.48136	0.51515	0.27907	0.00000
10	TeamUMA	0.59777	0.26667	0.38938	0.12766	0.50909	0.22785	0.55422	0.31220	0.66321	0.75918	0.71204	0.48588	0.50000	0.31373	0.31325
11	Solomon	0.59386	0.26667	0.39394	0.04878	0.42000	0.19608	0.61818	0.32000	0.61836	0.75302	0.70753	0.42525	0.50746	0.38095	0.00000
12	CyberWallE	0.58994	0.14634	0.39844	0.12245	0.26316	0.15385	0.59238	0.33198	0.56221	0.75812	0.71597	0.52980	0.45455	0.23810	0.00000
13	newsSweeper	0.58436	0.41667	0.42798	0.13043	0.25000	0.19718	0.56548	0.37104	0.60526	0.75316	0.74230	0.20690	0.50746	0.21622	0.08000
14	Inno	0.57989	0.43137	0.45091	0.10714	0.40404	0.24324	0.58651	0.35385	0.59406	0.73311	0.74304	0.24885	0.43750	0.29630	0.19355
15	djichen	0.57710	0.37500	0.34579	0.20833	0.43810	0.22785	0.60000	0.32184	0.56190	0.73988	0.70427	0.36364	0.30769	0.27907	0.18868
16	Pheonix	0.57486	0.45833	0.41935	0.09524	0.10127	0.20202	0.58929	0.32000	0.58475	0.74942	0.72668	0.23237	0.34615	0.00000	0.05000
17	PALI	0.57430	0.27586	0.36585	0.28571	0.39623	0.30588	0.58967	0.28571	0.61616	0.74294	0.69430	0.25439	0.39216	0.40816	0.20896
18	Duth	0.57207	0.44444	0.33333	0.09302	0.33333	0.26230	0.59155	0.28235	0.58947	0.73709	0.71406	0.20101	0.34783	0.27027	0.17778
19	Jarvis	0.57207	0.46429	0.41935	0.34286	0.34000	0.28571	0.57485	0.32932	0.61538	0.74309	0.71803	0.15126	0.52632	0.18605	0.17910
20	DiSaster	0.56648	0.51163	0.35254	0.20408	0.26667	0.14634	0.59116	0.30638	0.58252	0.74485	0.68098	0.20444	0.42553	0.19048	0.04348
21	Titan	0.55922	0.00000	0.33735	0.00000	0.09091	0.11111	0.57143	0.29108	0.54867	0.73574	0.71246	0.24272	0.43636	0.23256	0.00000
22	SocCogCom	0.55810	0.28571	0.31624	0.09756	0.26506	0.06349	0.60396	0.34862	0.54255	0.72182	0.67337	0.18884	0.40909	0.23529	0.10000
23	TTUI	0.55643	0.28235	0.41481	0.24561	0.35294	0.23077	0.57402	0.32203	0.61682	0.73219	0.68493	0.21176	0.37500	0.25000	0.20290
24	NLFIIT	0.55251	0.29630	0.24885	0.09302	0.32099	0.00000	0.55660	0.30303	0.63317	0.72548	0.69297	0.21552	0.41667	0.13636	0.00000
25	UMSIForeseer	0.55140	0.29412	0.31970	0.09756	0.00000	0.00000	0.57210	0.28571	0.56140	0.73023	0.70790	0.21488	0.39216	0.14286	0.00000
26	BPGC	0.54805	0.30769	0.33645	0.12500	0.40000	0.24176	0.53776	0.33469	0.58929	0.71582	0.67509	0.23744	0.40000	0.20690	0.20896
27	wimmicsNLP	0.54637	0.15625	0.40154	0.18182	0.19753	0.14815	0.50765	0.36681	0.60513	0.73083	0.68893	0.13472	0.38095	0.29167	0.08696
28	UPB	0.54302	0.20000	0.30000	0.00000	0.19718	0.16949	0.52547	0.30622	0.55866	0.70094	0.68858	0.20000	0.34615	0.22857	0.04878
29	syrapropa	0.54246	0.31579	0.29767	0.19608	0.30612	0.21505	0.56140	0.28099	0.57021	0.71474	0.68440	0.30769	0.29032	0.28571	0.09091
30	AFinki	0.52793	0.31746	0.31128	0.09756	0.07595	0.05882	0.55271	0.28333	0.51613	0.72114	0.66780	0.17512	0.19608	0.24000	0.07143
31	WMD	0.52346	0.07143	0.29197	0.05000	0.00000	0.05714	0.54415	0.26364	0.52083	0.69757	0.64667	0.14815	0.06897	0.07407	0.00000
32	YNUHPCC	0.50503	0.29787	0.26400	0.13793	0.38384	0.03448	0.51039	0.21538	0.55556	0.68082	0.62333	0.17722	0.27586	0.17778	0.15000
33	UESTCICSA	0.49944	0.12766	0.22749	0.00000	0.11268	0.03738	0.44985	0.25439	0.53140	0.68232	0.66880	0.27957	0.41379	0.28571	0.03704
34	DoNotDistribute	0.49721	0.22642	0.29752	0.04545	0.24490	0.14894	0.46254	0.27234	0.53763	0.68444	0.60647	0.19444	0.28070	0.12245	0.09677
35	NTUAAILS	0.46369	0.36364	0.28308	0.09756	0.00000	0.00000	0.48753	0.29658	0.46465	0.65789	0.54545	0.18430	0.13793	0.11429	0.04082
36	UPBCSS	0.46089	0.06452	0.08974	0.16216	0.00000	0.08000	0.46154	0.19231	0.42564	0.69088	0.59200	0.24342	0.25000	0.00000	0.00000
37	UAIC1860	0.41173	0.17391	0.22120	0.09756	0.02899	0.07595	0.36406	0.21008	0.38776	0.62328	0.42966	0.11159	0.11429	0.05556	0.04255
38	UNTLing	0.39106	0.04348	0.05291	0.00000	0.00000	0.02857	0.32645	0.11818	0.40476	0.62568	0.36735	0.07778	0.17647	0.00000	0.00000
39	UVAI	0.37765	0.00000	0.00000	0.00000	0.00000	0.00000	0.41217	0.00000	0.00000	0.57785	0.00000	0.00000	0.00000	0.00000	0.00000
40	Lakame	0.37654	0.00000	0.00000	0.00000	0.00000	0.00000	0.44007	0.00000	0.00000	0.55728	0.00000	0.00000	0.00000	0.00000	0.00000
41	HunAlize	0.37095	0.06452	0.11828	0.00000	0.08000	0.07843	0.31755	0.23810	0.29947	0.58588	0.15816	0.02094	0.04545	0.00000	0.00000
42	PROPOatHMC	0.36257	0.00000	0.06667	0.00000	0.00000	0.00000	0.35963	0.01613	0.00000	0.53834	0.18037	0.02424	0.00000	0.00000	0.00000
43	tdt13	0.31788	0.00000	0.00000	0.00000	0.00000	0.00000	0.00000	0.00000	0.00000	0.48241	0.00000	0.00000	0.00000	0.00000	0.00000
44	Transformers	0.26536	0.00000	0.00000	0.00000	0.00000	0.00000	0.00980	0.00000	0.00000	0.47550	0.24061	0.02857	0.00000	0.00000	0.00000
45	Baseline	0.25196	0.00000	0.03681	0.00000	0.00000	0.11561	0.29143	0.14420	0.06195	0.46477	0.00000	0.19262	0.00000	0.00000	0.00000
46	IJSE8	0.20615	0.00000	0.07067	0.00000	0.00000	0.02273	0.17067	0.10700	0.08571	0.39316	0.15385	0.04918	0.00000	0.00000	0.00000
47	Entropy	0.20503	0.03922	0.07115	0.00000	0.02273	0.07407	0.12805	0.06393	0.04950	0.38021	0.15141	0.05833	0.00000	0.00000	0.06780
48	nlpboomers	0.19832	0.00000	0.11699	0.00000	0.00000	0.00000	0.14085	0.04233	0.01333	0.36596	0.15453	0.03243	0.00000	0.05556	0.00000

Scroll the table to the right to check the F1 values for each Technique.

Note that the leaderboard is updated every 20 minutes, therefore your submission may not be listed right away.

Organisers

Giovanni Da San Martino, Qatar Computing Research Institute
Alberto Barrón-Cedeño, University of Bologna
Preslav Nakov, Qatar Computing Research Institute

Contact

twitter.com/_proppy_
Register to the google group of the task to ask questions and interact with other participants