Overview page

Table showing the aRT in number of function evaluations divided by the best aRT measured during BBOB-2009

Dimension = 5

Δ fopt
f1, 5-D		 1e1
11		 1e0
12		 1e-1
12		 1e-2
12		 1e-3
12		 1e-5
12		 1e-7
12		 #succ
15/15
C 4.0 (4)19 (6)36 (10)50 (9)63 (10)88 (8)115 (10)15/15
Java 4.7 (5)16 (6)28 (8)40 (6)52 (7)78 (13)105 (7)15/15
Mat 5.1 (4)18 (4)32 (8)46 (9)58 (8)84 (6)107 (6)15/15
Py 4.5 (3)19 (6)36 (8)47 (11)58 (6)86 (10)109 (9)15/15
PySimple 3.7 (2)19 (5)32 (2)45 (4)61 (8)89 (7)117 (13)15/15
PySqPen 3.9 (2)17 (4)29 (6)42 (8)55 (5)81 (8)104 (12)15/15

Δ fopt
f2, 5-D		 1e1
83		 1e0
87		 1e-1
88		 1e-2
89		 1e-3
90		 1e-5
92		 1e-7
94		 #succ
15/15
C 28 (13)37 (9)39 (6)41 (7)43 (6)46 (5)49 (4)15/15
Java 26 (7)33 (7)37 (5)39 (3)41 (1)44 (3)46 (3)15/15
Mat 23 (7)30 (7)35 (5)37 (4)38 (3)41 (2)43 (3)15/15
Py 14 (1)17 (2)20 (4)22 (3)23 (3)27 (3)29 (2)15/15
PySimple 26 (10)33 (8)36 (6)38 (7)40 (6)43 (6)46 (5)15/15
PySqPen 14 (4)19 (6)21 (4)23 (3)24 (4)28 (4)30 (5)15/15

Δ fopt
f3, 5-D		 1e1
716		 1e0
1622		 1e-1
1637		 1e-2
1642		 1e-3
1646		 1e-5
1650		 1e-7
1654		 #succ
15/15
C 3.1 (3)46 (15)382 (474)381 (265)380 (467)379 (249)379 (332)15/15
Java 1.8 (0.6)49 (19)285 (251)284 (546)284 (571)283 (246)283 (274)15/15
Mat 4.1 (4)39 (41)343 (432)342 (193)341 (426)341 (395)340 (419)15/15
Py 2.1 (3)56 (59)606 (774)604 (606)603 (224)601 (254)600 (798)15/15
PySimple 2.6 (2)55 (42)475 (336)474 (561)473 (395)472 (702)471 (388)15/15
PySqPen 3.2 (3)47 (81)330 (315)329 (312)329 (134)328 (315)327 (220)15/15

Δ fopt
f4, 5-D		 1e1
809		 1e0
1633		 1e-1
1688		 1e-2
1758		 1e-3
1817		 1e-5
1886		 1e-7
1903		 #succ
15/15
C 5.1 (9)469 (501)7871 (6046)7558 (1e4)7312 (2e4)7045 (1e4)6982 (6577)15/15
Java 4.0 (7)995 (1968)7578 (1e4)7277 (8219)7040 (6947)6783 (7417)6723 (7326)15/15
Mat 7.4 (8)794 (1236)1.1e4 (1e4)1.1e4 (1e4)1.0e4 (1e4)9937 (2e4)9849 (1e4)15/15
Py 3.7 (4)509 (349)6732 (1e4)6464 (8971)6254 (9915)6026 (6540)5972 (9309)15/15
PySimple 2.7 (4)311 (372)6404 (1e4)6149 (7125)5950 (7086)5732 (2212)5681 (1e4)15/15
PySqPen 3.2 (3)462 (679)4366 (3779)4193 (3749)4057 (2938)3908 (2539)3874 (4264)15/15

Δ fopt
f5, 5-D		 1e1
10		 1e0
10		 1e-1
10		 1e-2
10		 1e-3
10		 1e-5
10		 1e-7
10		 #succ
15/15
C 26 (6)54 (19)72 (17)91 (16)107 (28)140 (24)172 (29)15/15
Java 38 (10)109 (37)170 (39)217 (43)262 (36)351 (42)435 (39)15/15
Mat 13 (8)37 (18)46 (15)47 (14)47 (22)47 (15)47 (22)15/15
Py 23 (9)46 (7)60 (15)74 (11)90 (15)115 (13)146 (23)15/15
PySimple 10 (9)54 (34)67 (40)86 (60)91 (72)97 (73)97 (43)15/15
PySqPen 9.1 (4)24 (9)32 (16)32 (18)33 (24)33 (9)33 (12)15/15

Δ fopt
f6, 5-D		 1e1
114		 1e0
214		 1e-1
281		 1e-2
404		 1e-3
580		 1e-5
1038		 1e-7
1332		 #succ
15/15
C 3.8 (1)4.3 (1)4.5 (0.4)4.1 (0.7)3.5 (0.2)2.6 (0.3)2.6 (0.3)15/15
Java 2.9 (0.8)3.3 (0.5)3.8 (0.6)3.5 (0.5)3.1 (0.4)2.4 (0.5)2.3 (0.4)15/15
Mat 3.2 (1)3.6 (0.7)4.0 (0.6)3.6 (0.7)3.1 (0.7)2.4 (0.2)2.4 (0.5)15/15
Py 3.6 (2)4.0 (0.8)4.3 (0.8)3.8 (0.6)3.3 (0.4)2.5 (0.2)2.4 (0.3)15/15
PySimple 3.1 (0.9)3.4 (1)3.8 (0.7)3.5 (0.3)3.0 (0.4)2.3 (0.3)2.3 (0.2)15/15
PySqPen 3.5 (2)3.8 (1)4.0 (0.7)3.7 (0.6)3.2 (0.5)2.4 (0.1)2.4 (0.3)15/15

Δ fopt
f7, 5-D		 1e1
24		 1e0
324		 1e-1
1171		 1e-2
1451		 1e-3
1572		 1e-5
1572		 1e-7
1597		 #succ
15/15
C 9.2 (10)4.8 (8)7.6 (10)8.3 (6)13 (16)13 (12)14 (14)15/15
Java 6.4 (3)2.7 (3)5.3 (5)5.7 (3)7.2 (8)7.2 (10)7.1 (8)15/15
Mat 8.7 (6)2.2 (1)6.2 (9)5.3 (7)9.4 (8)9.4 (13)10 (11)15/15
Py 8.7 (6)2.0 (0.6)2.8 (3)2.4 (2)2.8 (2)2.8 (2)2.9 (2)15/15
PySimple 6.5 (4)4.4 (3)8.1 (10)6.9 (8)8.1 (17)8.1 (4)8.3 (12)15/15
PySqPen 8.2 (4)1.5 (2)1.9 (3)2.7 (4)2.9 (1)2.9 (5)3.0 (4)15/15

Δ fopt
f8, 5-D		 1e1
73		 1e0
273		 1e-1
336		 1e-2
372		 1e-3
391		 1e-5
410		 1e-7
422		 #succ
15/15
C 7.8 (2)9.2 (2)11 (2)11 (5)11 (1)12 (5)12 (7)15/15
Java 5.7 (0.9)6.5 (3)8.5 (2)9.1 (2)9.4 (2)10 (2)10 (1)15/15
Mat 6.4 (3)11 (10)11 (7)12 (7)12 (6)12 (4)12 (6)15/15
Py 7.1 (2)12 (21)12 (8)12 (11)12 (11)12 (15)13 (3)15/15
PySimple 7.1 (3)6.7 (2)8.2 (2)8.7 (2)9.0 (2)10 (2)10 (1)15/15
PySqPen 6.2 (4)7.6 (4)8.4 (5)8.5 (2)8.7 (0.6)9.1 (1)9.5 (5)15/15

Δ fopt
f9, 5-D		 1e1
35		 1e0
127		 1e-1
214		 1e-2
263		 1e-3
300		 1e-5
335		 1e-7
369		 #succ
15/15
C 14 (7)14 (5)13 (5)13 (3)12 (4)12 (2)12 (2)15/15
Java 10 (3)15 (9)14 (4)13 (4)13 (3)12 (4)12 (3)15/15
Mat 11 (5)15 (12)13 (4)13 (7)12 (2)12 (6)12 (5)15/15
Py 11 (4)24 (3)18 (9)16 (19)14 (14)14 (9)13 (11)15/15
PySimple 13 (4)17 (5)15 (6)14 (6)13 (5)13 (4)13 (5)15/15
PySqPen 11 (3)14 (3)12 (2)11 (5)11 (1.0)11 (4)10 (1)15/15

Δ fopt
f10, 5-D		 1e1
349		 1e0
500		 1e-1
574		 1e-2
607		 1e-3
626		 1e-5
829		 1e-7
880		 #succ
15/15
C 13 (6)12 (7)11 (4)11 (7)11 (5)8.4 (4)8.3 (4)15/15
Java 6.6 (2)6.4 (1)6.4 (0.7)6.3 (0.6)6.4 (0.9)5.2 (0.4)5.3 (0.6)15/15
Mat 6.4 (3)5.5 (2)5.6 (1)5.5 (0.9)5.7 (1)4.8 (0.7)4.8 (0.6)15/15
Py 6.1 (6)5.4 (3)5.1 (2)5.1 (1)5.2 (3)4.3 (2)4.4 (2)15/15
PySimple 5.4 (2)5.5 (1)5.5 (1)5.6 (1)5.7 (0.8)4.7 (0.3)4.8 (0.6)15/15
PySqPen 3.6 (1)3.5 (0.7)3.4 (0.5)3.5 (0.5)3.6 (0.3)3.1 (0.2)3.3 (0.4)15/15

Δ fopt
f11, 5-D		 1e1
143		 1e0
202		 1e-1
763		 1e-2
977		 1e-3
1177		 1e-5
1467		 1e-7
1673		 #succ
15/15
C 21 (17)18 (4)5.3 (2)4.3 (2)3.8 (0.5)3.2 (1)3.0 (1)15/15
Java 17 (3)15 (2)4.5 (0.7)3.8 (0.3)3.3 (0.2)2.9 (0.2)2.7 (0.2)15/15
Mat 15 (8)14 (1)4.2 (0.6)3.6 (0.2)3.1 (0.2)2.7 (0.2)2.5 (0.1)15/15
Py 14 (8)12 (11)3.4 (3)2.8 (2)2.4 (0.8)2.2 (1)2.1 (1)15/15
PySimple 14 (5)14 (2)4.2 (0.7)3.5 (0.4)3.1 (0.4)2.8 (0.3)2.6 (0.2)15/15
PySqPen 7.3 (1)6.6 (0.7)★2.0 (0.2)★1.7 (0.2)★1.6 (0.2)★1.5 (0.2)★1.5 (0.1)★15/15

Δ fopt
f12, 5-D		 1e1
108		 1e0
268		 1e-1
371		 1e-2
413		 1e-3
461		 1e-5
1303		 1e-7
1494		 #succ
15/15
C 19 (2)15 (5)15 (5)15 (5)16 (12)6.8 (5)6.7 (5)15/15
Java 10 (0.9)9.4 (5)11 (8)12 (8)13 (4)5.7 (4)5.7 (3)15/15
Mat 13 (8)9.0 (8)9.5 (3)10 (6)10 (6)4.2 (3)4.2 (3)15/15
Py 16 (31)15 (17)14 (17)15 (8)15 (13)6.4 (5)6.3 (3)15/15
PySimple 15 (9)10 (9)12 (8)12 (7)13 (6)6.2 (2)6.2 (3)15/15
PySqPen 10 (4)7.3 (4)7.5 (4)7.4 (4)7.7 (6)3.4 (2)3.4 (2)15/15

Δ fopt
f13, 5-D		 1e1
132		 1e0
195		 1e-1
250		 1e-2
319		 1e-3
1310		 1e-5
1752		 1e-7
2255		 #succ
15/15
C 7.1 (2)13 (3)12 (4)12 (3)3.4 (0.8)3.4 (0.8)3.4 (0.5)15/15
Java 6.3 (5)12 (6)14 (3)12 (3)3.4 (1)3.6 (0.9)3.6 (0.4)15/15
Mat 6.3 (4)11 (4)10 (3)10 (5)3.1 (1)3.3 (0.6)3.1 (0.4)15/15
Py 7.4 (2)7.6 (5)8.1 (6)7.6 (0.5)2.1 (1)2.1 (0.7)2.0 (0.2)15/15
PySimple 7.9 (4)10 (2)10 (2)10 (2)3.0 (0.8)3.1 (0.4)2.9 (0.3)15/15
PySqPen 8.6 (16)8.9 (2)9.4 (2)8.6 (1)2.4 (0.2)2.3 (1)2.2 (1)15/15

Δ fopt
f14, 5-D		 1e1
10		 1e0
41		 1e-1
58		 1e-2
90		 1e-3
139		 1e-5
251		 1e-7
476		 #succ
15/15
C 2.3 (0.6)6.6 (2)8.5 (2)8.6 (1)10 (2)11 (0.8)10 (1)15/15
Java 2.0 (1)4.2 (1)6.7 (2)7.4 (1)8.9 (2)12 (2)10 (1)15/15
Mat 1.8 (3)5.2 (3)7.6 (3)8.0 (2)8.6 (2)11 (2)8.3 (0.8)15/15
Py 2.4 (2)5.1 (3)8.4 (2)8.2 (2)7.7 (2)7.0 (0.8)5.1 (0.4)15/15
PySimple 2.5 (2)5.3 (2)7.5 (1)8.4 (1)9.0 (2)11 (1)9.1 (1)15/15
PySqPen 2.3 (2)5.0 (2)6.8 (2)7.3 (2)6.4 (0.9)6.4 (0.8)4.9 (0.8)15/15

Δ fopt
f15, 5-D		 1e1
511		 1e0
9310		 1e-1
19369		 1e-2
19743		 1e-3
20073		 1e-5
20769		 1e-7
21359		 #succ
14/15
C 3.1 (0.6)5.5 (3)22 (34)21 (36)21 (9)20 (29)20 (10)15/15
Java 2.2 (3)6.8 (10)22 (40)21 (18)21 (22)20 (22)20 (27)15/15
Mat 3.1 (1)6.0 (6)48 (87)47 (55)46 (82)44 (24)43 (44)15/15
Py 3.9 (4)8.8 (9)25 (26)24 (27)24 (28)23 (36)22 (36)15/15
PySimple 3.1 (4)8.1 (5)27 (17)26 (26)26 (19)25 (26)24 (26)15/15
PySqPen 4.5 (7)11 (10)38 (62)37 (51)36 (50)35 (48)34 (28)15/15

Δ fopt
f16, 5-D		 1e1
120		 1e0
612		 1e-1
2662		 1e-2
10163		 1e-3
10449		 1e-5
11644		 1e-7
12095		 #succ
15/15
C 9.4 (11)22 (35)23 (21)12 (23)16 (17)24 (31)25 (12)15/15
Java 4.5 (2)2.7 (2)4.1 (2)3.6 (3)5.9 (6)5.7 (8)5.7 (8)15/15
Mat 2.7 (2)5.7 (5)10 (7)4.6 (6)8.4 (13)11 (11)16 (20)15/15
Py 5.0 (4)8.9 (10)10 (9)5.6 (4)11 (27)12 (20)12 (17)15/15
PySimple 4.2 (3)3.8 (4)3.0 (2)2.0 (2)2.5 (2)2.5 (3)2.7 (4)15/15
PySqPen 2.4 (2)17 (17)10 (7)5.0 (3)6.9 (8)8.2 (7)7.9 (6)15/15

Δ fopt
f17, 5-D		 1e1
5.0		 1e0
215		 1e-1
899		 1e-2
2861		 1e-3
3669		 1e-5
6351		 1e-7
7934		 #succ
15/15
C 3.4 (2)4.6 (1)3.7 (4)3.2 (4)5.1 (4)20 (13)39 (52)15/15
Java 3.2 (3)1.6 (0.9)2.0 (0.2)2.0 (3)2.4 (3)7.2 (5)22 (17)15/15
Mat 3.8 (3)2.3 (3)3.6 (3)1.4 (2)1.9 (2)13 (6)50 (42)15/15
Py 3.5 (4)1.9 (1)0.95 (0.3)1.7 (2)2.1 (2)12 (12)42 (46)15/15
PySimple 4.5 (6)2.2 (0.4)2.4 (1)2.9 (5)3.8 (3)16 (11)40 (61)15/15
PySqPen 3.4 (3)4.2 (10)1.5 (0.2)1.2 (2)1.8 (2)12 (13)59 (102)15/15

Δ fopt
f18, 5-D		 1e1
103		 1e0
378		 1e-1
3968		 1e-2
8451		 1e-3
9280		 1e-5
10905		 1e-7
12469		 #succ
15/15
C 2.9 (3)5.0 (6)2.1 (3)6.2 (8)19 (20)140 (104)440 (311)15/15
Java 1.5 (0.8)1.9 (1.0)3.3 (6)6.0 (8)14 (5)133 (313)501 (659)15/15
Mat 1.9 (0.4)6.9 (16)3.6 (8)7.5 (8)24 (17)245 (325)730 (549)15/15
Py 2.0 (2)2.9 (0.7)1.4 (0.7)2.5 (3)8.2 (10)53 (43)137 (104)15/15
PySimple 2.0 (0.7)3.6 (0.7)2.1 (2)6.0 (6)16 (31)109 (108)265 (182)15/15
PySqPen 2.1 (1)10 (33)2.9 (4)4.5 (4)6.3 (8)40 (66)134 (205)15/15

Δ fopt
f19, 5-D		 1e1
1		 1e0
1		 1e-1
242		 1e-2
1.0e5		 1e-3
1.2e5		 1e-5
1.2e5		 1e-7
1.2e5		 #succ
15/15
C 22 (34)1.2e4 (4e4)4859 (6370)146 (95)360 (340)358 (448)355 (350)13/15
Java 24 (25)9.0e4 (7076)3992 (5155)165 (189)391 (355)389 (306)386 (357)14/15
Mat 2.0 (0)★32.0 (0)★43437 (5301)110 (178)292 (228)290 (144)288 (180)15/15
Py 43 (28)3529 (3518)733 (1124)35 (37)118 (74)117 (34)117 (50)15/15
PySimple 37 (44)3697 (5028)4258 (2753)85 (136)387 (296)384 (272)382 (379)14/15
PySqPen 30 (23)3852 (4922)676 (1426)43 (56)87 (54)86 (67)86 (53)15/15

Δ fopt
f20, 5-D		 1e1
16		 1e0
851		 1e-1
38111		 1e-2
51362		 1e-3
54470		 1e-5
54861		 1e-7
55313		 #succ
14/15
C 11 (7)32 (18)153 (233)113 (75)107 (254)106 (252)105 (71)15/15
Java 4.2 (3)44 (13)88 (69)65 (67)61 (57)61 (59)60 (50)15/15
Mat 7.2 (4)36 (24)147 (132)109 (91)103 (84)102 (120)101 (104)15/15
Py 7.6 (8)26 (39)71 (55)53 (64)50 (87)49 (31)49 (89)15/15
PySimple 6.1 (4)35 (53)71 (72)53 (46)50 (66)49 (60)49 (56)15/15
PySqPen 5.5 (2)12 (28)51 (37)38 (28)36 (45)35 (13)35 (44)15/15

Δ fopt
f21, 5-D		 1e1
41		 1e0
1157		 1e-1
1674		 1e-2
1692		 1e-3
1705		 1e-5
1729		 1e-7
1757		 #succ
14/15
C 2.8 (2)10 (13)16 (18)15 (15)15 (24)15 (20)15 (18)15/15
Java 2.7 (2)8.0 (10)7.1 (7)7.1 (12)7.1 (5)7.1 (5)7.1 (5)15/15
Mat 12 (18)12 (17)12 (8)12 (11)12 (16)12 (12)12 (8)15/15
Py 4.5 (4)13 (10)14 (15)14 (20)14 (19)14 (4)14 (21)15/15
PySimple 3.1 (1)11 (7)13 (22)13 (23)13 (18)13 (15)13 (16)15/15
PySqPen 6.9 (16)14 (19)18 (24)18 (24)18 (9)18 (18)18 (20)15/15

Δ fopt
f22, 5-D		 1e1
71		 1e0
386		 1e-1
938		 1e-2
980		 1e-3
1008		 1e-5
1040		 1e-7
1068		 #succ
14/15
C 6.1 (20)9.5 (12)43 (33)41 (34)40 (66)39 (31)38 (62)15/15
Java 2.3 (2)24 (50)42 (55)50 (78)48 (59)47 (78)46 (65)15/15
Mat 5.4 (11)25 (26)61 (62)59 (48)57 (32)56 (47)54 (55)15/15
Py 14 (22)11 (8)64 (89)62 (126)60 (121)59 (33)57 (68)15/15
PySimple 2.3 (0.8)15 (20)38 (39)36 (29)35 (27)35 (28)34 (30)15/15
PySqPen 10 (19)11 (9)47 (37)45 (101)44 (34)43 (136)42 (92)15/15

Δ fopt
f23, 5-D		 1e1
3.0		 1e0
518		 1e-1
14249		 1e-2
27890		 1e-3
31654		 1e-5
33030		 1e-7
34256		 #succ
15/15
C 5.0 (7)47 (49)27 (50)46 (77)53 (80)50 (91)49 (79)15/15
Java 4.1 (7)17 (14)5.2 (6)5.0 (6)5.2 (5)5.0 (3)4.8 (3)15/15
Mat 7.1 (5)29 (21)10 (15)12 (7)18 (34)17 (36)16 (13)15/15
Py 5.9 (7)18 (20)10 (7)7.8 (6)6.9 (7)6.6 (8)6.4 (6)15/15
PySimple 4.4 (3)13 (12)5.4 (4)7.1 (12)6.3 (4)6.0 (4)5.8 (2)15/15
PySqPen 5.2 (4)12 (14)6.5 (7)7.3 (6)8.1 (11)7.7 (12)7.5 (11)15/15

Δ fopt
f24, 5-D		 1e1
1622		 1e0
2.2e5		 1e-1
6.4e6		 1e-2
9.6e6		 1e-3
9.6e6		 1e-5
1.3e7		 1e-7
1.3e7		 #succ
3/15
C 6.0 (5)14 (14)56 (57)∞∞∞∞5e70/15
Java 4.4 (5)10 (12)56 (57)∞∞∞∞5e70/15
Mat 6.1 (5)5.8 (6)122 (320)81 (108)80 (49)60 (60)60 (60)1/15
Py 5.7 (6)10 (18)40 (39)83 (86)83 (91)62 (44)62 (56)1/15
PySimple 6.3 (7)15 (16)124 (110)∞∞∞∞5e70/15
PySqPen 5.0 (3)8.0 (7)57 (128)∞∞∞∞5e70/15

Average runtime (aRT in number of function evaluations) divided by the respective best aRT measured during BBOB-2009 in different dimensions. The aRT and in braces, as dispersion measure, the half difference between 10 and 90%-tile of bootstrapped run lengths appear for each algorithm and target, the corresponding reference aRT  in the first row. The different target ∆f-values are shown in the top row. #succ is the number of trials that reached the (final) target fopt+ 10−8. The median number of conducted function evaluations is additionally given in italics, if the target in the last column was never reached. Entries, succeeded by a star, are statistically significantly better (according to the rank-sum test) when compared to all other algorithms of the table, with p = 0.05 or p = 10−k when the number k following the star is larger than 1, with Bonferroni correction by the number of functions (24). A ↓ indicates the same tested against the best algorithm from BBOB 2009. Best results are printed in bold.
Data produced with COCO v0.0.0