You are viewing a plain text version of this content. The canonical link for it is here.
Posted to dev@harmony.apache.org by Mark Hindess <ma...@googlemail.com> on 2010/02/01 16:30:54 UTC
[performance] The DaCapo benchmark suite
I decided to have a play with the dacapo-9.12-bach benchmark suite.
I've appended some preliminary results below.
I attempted to run all the benchmarks 10 times on the linux/x86_64
milestone releases. For this run I used:
java -Xms128M -Xmx1024M -showversion -jar $DACAPO_JAR $BENCHMARK
That is, I used the default arguments to dacapo.
The results only include those benchmarks which ran successfully. I
include the number of runs in the table as some benchmark/milestone
combinations were unstable. If a benchmark/milestone combination is not
listed then that is because it did not complete successfully at all.
The tomcat benchmark is missing because it hung on early milestones so I
stopped running it completely in order to make progress. If any other
benchmark has no table then it didn't run correctly on any milestone
release.
It is worth noting that M12a is missing from the eclipse benchmark
results as it fails to run. This is a regression so we'd better fix
that for M13.
The recently added benchmarks are described at:
http://www.dacapobench.org/RELEASE_NOTES.txt
and the more mature benchmarks are listed at:
http://www.dacapobench.org/benchmarks.html
I'm doing an indentical run on linux/x86 to see if that is similar (and
because we released more milestones on this platform). I'll probably
also do a longer run with some warmup iterations to see how much that
affects the results.
I also plan to do some runs with the lock-free data structures as found
in several open JIRA to see what affect they might have.
Comments and suggestions welcome.
Regards,
Mark.
Key
---
JRE is the identifier for the JRE executing the benchmark.
Runs is the number of test runs that passed (low numbers => instability?).
The % field is a percentage slow down compared to the fastest result. That
is:
100 * (average execution time for test jre)
-------------------------------------
(average execution time for fastest jre)
The result is a simple graph of average execution time normalized based
on the slowest result. That is:
'#' x 50 * (average execution time for test jre)
-------------------------------------
(average execution time for slowest jre)
avrora
JRE | Runs | % | Result (normalized, smaller is better)
1 | 10 | 105.33 | #################################################
4 | 10 | 100.00 | ##############################################
5 | 10 | 100.20 | ##############################################
6 | 10 | 106.09 | #################################################
7 | 10 | 106.00 | #################################################
8 | 10 | 106.38 | #################################################
9 | 10 | 107.35 | #################################################
10 | 10 | 107.43 | ##################################################
11 | 10 | 105.72 | #################################################
12a | 10 | 104.74 | ################################################
eclipse
JRE | Runs | % | Result (normalized, smaller is better)
4 | 8 | 100.00 | #########################################
5 | 10 | 105.57 | ###########################################
6 | 10 | 121.82 | ##################################################
7 | 10 | 121.14 | #################################################
8 | 9 | 114.81 | ###############################################
9 | 10 | 117.91 | ################################################
10 | 10 | 120.62 | #################################################
11 | 10 | 120.75 | #################################################
h2
JRE | Runs | % | Result (normalized, smaller is better)
1 | 10 | 465.09 | ###################################
4 | 10 | 452.09 | ##################################
5 | 10 | 542.44 | #########################################
6 | 10 | 659.49 | #################################################
7 | 10 | 660.54 | ##################################################
8 | 10 | 106.57 | ########
9 | 9 | 104.79 | #######
10 | 10 | 102.68 | #######
11 | 10 | 104.59 | #######
12a | 10 | 100.00 | #######
jython
JRE | Runs | % | Result (normalized, smaller is better)
1 | 3 | 132.51 | ##################################################
4 | 10 | 106.80 | ########################################
5 | 10 | 101.26 | ######################################
6 | 10 | 114.75 | ###########################################
7 | 10 | 110.02 | #########################################
8 | 10 | 111.64 | ##########################################
9 | 10 | 113.61 | ##########################################
10 | 10 | 105.72 | #######################################
11 | 10 | 100.00 | #####################################
12a | 10 | 101.84 | ######################################
luindex
JRE | Runs | % | Result (normalized, smaller is better)
1 | 10 | 119.61 | ####################################
4 | 10 | 100.00 | ##############################
5 | 10 | 131.18 | #######################################
6 | 10 | 163.73 | #################################################
7 | 10 | 162.09 | #################################################
8 | 10 | 161.77 | #################################################
9 | 10 | 164.58 | ##################################################
10 | 10 | 149.63 | #############################################
11 | 10 | 126.35 | ######################################
12a | 10 | 121.90 | #####################################
lusearch
JRE | Runs | % | Result (normalized, smaller is better)
1 | 10 | 104.11 | #############################################
4 | 10 | 100.22 | ###########################################
5 | 10 | 100.00 | ###########################################
6 | 10 | 110.02 | ###############################################
7 | 10 | 111.72 | ################################################
8 | 10 | 112.95 | #################################################
9 | 10 | 110.91 | ################################################
10 | 10 | 113.52 | #################################################
11 | 10 | 112.63 | ################################################
12a | 10 | 115.06 | ##################################################
pmd
JRE | Runs | % | Result (normalized, smaller is better)
1 | 10 | 128.18 | ##################################################
4 | 10 | 100.00 | #######################################
5 | 10 | 100.53 | #######################################
6 | 10 | 110.18 | ##########################################
7 | 10 | 109.56 | ##########################################
8 | 10 | 109.22 | ##########################################
9 | 10 | 111.14 | ###########################################
10 | 10 | 109.39 | ##########################################
11 | 10 | 110.12 | ##########################################
12a | 10 | 112.53 | ###########################################
sunflow
JRE | Runs | % | Result (normalized, smaller is better)
4 | 10 | 100.00 | ################################################
5 | 10 | 103.23 | #################################################
6 | 10 | 103.86 | #################################################
8 | 10 | 102.61 | #################################################
9 | 10 | 103.43 | #################################################
10 | 10 | 103.86 | ##################################################
11 | 10 | 102.99 | #################################################
12a | 10 | 102.38 | #################################################
xalan
JRE | Runs | % | Result (normalized, smaller is better)
1 | 10 | 189.74 | ##################################################
4 | 10 | 100.00 | ##########################
5 | 10 | 101.77 | ##########################
6 | 10 | 114.44 | ##############################
7 | 10 | 119.99 | ###############################
8 | 10 | 113.32 | #############################
9 | 10 | 114.40 | ##############################
10 | 10 | 114.26 | ##############################
11 | 10 | 115.82 | ##############################
12a | 10 | 118.19 | ###############################
Re: [performance] The DaCapo benchmark suite
Posted by Mark Hindess <ma...@googlemail.com>.
These are the linux/x86 runs using the -C option runs several iterations
until the times for the benchmark are stable.
I've included these results twice. The first is a simple set of tables
as before, the second is a combined table that also includes the old
results (from my message dated "Tue, 02 Feb 2010 20:42:42") prefixed by
'-' and the new results prefixed by '+'.
Now I've kicked off a run with -n 20 to try to produce the results Robin
suggested.
Questions and comments welcome.
Regards,
Mark.
-------------------------------------------------------------------------
avrora
JRE | Runs | % | Result (normalized, smaller is better)
M12a | 10 | 141.46 | ##################################################
head | 10 | 138.23 | ################################################
s50 | 10 | 101.53 | ###################################
s60 | 10 | 100.00 | ###################################
h2
JRE | Runs | % | Result (normalized, smaller is better)
M12a | 10 | 243.14 | ##################################################
head | 10 | 239.64 | #################################################
s50 | 10 | 100.00 | ####################
s60 | 10 | 109.94 | ######################
jython
JRE | Runs | % | Result (normalized, smaller is better)
M12a | 10 | 374.61 | ##################################################
head | 10 | 361.12 | ################################################
s50 | 10 | 120.91 | ################
s60 | 10 | 100.00 | #############
luindex
JRE | Runs | % | Result (normalized, smaller is better)
M12a | 10 | 136.08 | ##################################################
head | 9 | 135.88 | #################################################
s50 | 10 | 100.00 | ####################################
s60 | 10 | 103.45 | ######################################
lusearch
JRE | Runs | % | Result (normalized, smaller is better)
M12a | 10 | 172.12 | ##################################################
head | 10 | 170.81 | #################################################
s50 | 10 | 119.96 | ##################################
s60 | 10 | 100.00 | #############################
pmd
JRE | Runs | % | Result (normalized, smaller is better)
M12a | 10 | 110.91 | #########################################
head | 10 | 109.09 | ########################################
s50 | 10 | 133.50 | ##################################################
s60 | 10 | 100.00 | #####################################
sunflow
JRE | Runs | % | Result (normalized, smaller is better)
M12a | 10 | 168.70 | ##################################################
head | 10 | 168.07 | #################################################
s50 | 10 | 108.27 | ################################
s60 | 10 | 100.00 | #############################
xalan
JRE | Runs | % | Result (normalized, smaller is better)
M12a | 10 | 185.41 | ##################################################
head | 10 | 183.97 | #################################################
s50 | 10 | 134.20 | ####################################
s60 | 10 | 100.00 | ##########################
-------------------------------------------------------------------------
avrora
JRE | Runs | % | Result (normalized, smaller is better)
+M12a| 10 | 141.46 | ##########################################
-M12a| 10 | 168.21 | ##################################################
+head| 10 | 138.23 | #########################################
-head| 10 | 165.62 | #################################################
+s50 | 10 | 101.53 | ##############################
-s50 | 10 | 133.41 | #######################################
+s60 | 10 | 100.00 | #############################
-s60 | 10 | 129.76 | ######################################
h2
JRE | Runs | % | Result (normalized, smaller is better)
+M12a| 10 | 243.14 | ############################################
-M12a| 10 | 261.35 | ###############################################
+head| 10 | 239.64 | ###########################################
-head| 10 | 272.77 | ##################################################
+s50 | 10 | 100.00 | ##################
-s50 | 10 | 141.85 | ##########################
+s60 | 10 | 109.94 | ####################
-s60 | 10 | 143.27 | ##########################
jython
JRE | Runs | % | Result (normalized, smaller is better)
+M12a| 10 | 374.61 | ######################
-M12a| 10 | 843.49 | #################################################
+head| 10 | 361.12 | #####################
-head| 10 | 844.77 | ##################################################
+s50 | 10 | 120.91 | #######
-s50 | 10 | 569.52 | #################################
+s60 | 10 | 100.00 | #####
-s60 | 10 | 507.26 | ##############################
luindex
JRE | Runs | % | Result (normalized, smaller is better)
+M12a| 10 | 136.08 | ##################
-M12a| 10 | 341.20 | ##############################################
+head| 9 | 135.88 | ##################
-head| 10 | 336.70 | #############################################
+s50 | 10 | 100.00 | #############
-s50 | 10 | 366.76 | ##################################################
+s60 | 10 | 103.45 | ##############
-s60 | 10 | 296.45 | ########################################
lusearch
JRE | Runs | % | Result (normalized, smaller is better)
+M12a| 10 | 172.12 | #############################
-M12a| 10 | 213.43 | ####################################
+head| 10 | 170.81 | ############################
-head| 10 | 209.18 | ###################################
+s50 | 10 | 119.96 | ####################
-s50 | 10 | 171.96 | #############################
+s60 | 10 | 100.00 | ################
-s60 | 10 | 295.11 | ##################################################
pmd
JRE | Runs | % | Result (normalized, smaller is better)
+M12a| 10 | 110.91 | ###############
-M12a| 10 | 222.87 | ###############################
+head| 10 | 109.09 | ###############
-head| 10 | 217.81 | ###############################
+s50 | 10 | 133.50 | ###################
-s50 | 10 | 348.97 | ##################################################
+s60 | 10 | 100.00 | ##############
-s60 | 10 | 296.96 | ##########################################
sunflow
JRE | Runs | % | Result (normalized, smaller is better)
+M12a| 10 | 168.70 | ############################################
-M12a| 10 | 189.63 | ##################################################
+head| 10 | 168.07 | ############################################
-head| 10 | 189.33 | #################################################
+s50 | 10 | 108.27 | ############################
-s50 | 10 | 125.26 | #################################
+s60 | 10 | 100.00 | ##########################
-s60 | 10 | 118.56 | ###############################
xalan
JRE | Runs | % | Result (normalized, smaller is better)
+M12a| 10 | 185.41 | ##########################
-M12a| 10 | 260.27 | #####################################
+head| 10 | 183.97 | ##########################
-head| 10 | 259.46 | #####################################
+s50 | 10 | 134.20 | ###################
-s50 | 10 | 343.92 | ##################################################
+s60 | 10 | 100.00 | ##############
-s60 | 10 | 263.53 | ######################################
-------------------------------------------------------------------------
Re: [performance] The DaCapo benchmark suite
Posted by Mark Hindess <ma...@googlemail.com>.
In message <4B...@anu.edu.au>, Robin Garner writes:
>
> Mark Hindess wrote:
>
> > I decided to have a play with the dacapo-9.12-bach benchmark suite.
> > I've appended some preliminary results below.
> >
> > I attempted to run all the benchmarks 10 times on the linux/x86_64
> > milestone releases. For this run I used:
> >
> > java -Xms128M -Xmx1024M -showversion -jar $DACAPO_JAR $BENCHMARK
> >
> > That is, I used the default arguments to dacapo.
>
> Another statistic that might be of particular interest is to time
> the nth iteration of the benchmark (eg with the dacapo argument "-n
> 3" or "-n 10"). The performance of the first iteration includes a
> large contribution from the compiler - later iterations more directly
> compare the generated code.
After posting the last set of results, I started another run with
5.0M12a, trunk, RI 5.0 and RI 6.0 using the '-C' option[0] to try to get
a set of results with the compiler overhead reduced. I assumed that
was a better approach than trying to guess a suitable value for the -n
option.
> If you do time later iterations, beware that some benchmarks on some
> JVMs are performance-unstable - there can be performance fluctuations
> between subsequent runs, and the best strategy might be to run 20
> iterations, take the best time of the last 10 iterations, and report
> the mean of 10 invocations.
>
> I'd be very interested (as a member of the dacapo group) if you see
> performance instability with drlvm.
Hopefully there isn't so much variation that my current run doesn't
complete. Assuming it does (or when I kill it), I will re-run it
recording the timings as you suggest and report the results.
Many thanks for your input.
Regards,
Mark.
[0] For those not familiar with the options:
-C,--converge Allow benchmark times to converge before timing
-n,--iterations <iter> Run the benchmark <iter> times
Re: [performance] The DaCapo benchmark suite
Posted by Robin Garner <ro...@anu.edu.au>.
Mark Hindess wrote:
> I decided to have a play with the dacapo-9.12-bach benchmark suite.
> I've appended some preliminary results below.
>
> I attempted to run all the benchmarks 10 times on the linux/x86_64
> milestone releases. For this run I used:
>
> java -Xms128M -Xmx1024M -showversion -jar $DACAPO_JAR $BENCHMARK
>
> That is, I used the default arguments to dacapo.
Another statistic that might be of particular interest is to time the
nth iteration of the benchmark (eg with the dacapo argument "-n 3" or
"-n 10"). The performance of the first iteration includes a large
contribution from the compiler - later iterations more directly compare
the generated code.
If you do time later iterations, beware that some benchmarks on some
JVMs are performance-unstable - there can be performance fluctuations
between subsequent runs, and the best strategy might be to run 20
iterations, take the best time of the last 10 iterations, and report the
mean of 10 invocations.
I'd be very interested (as a member of the dacapo group) if you see
performance instability with drlvm.
Robin
Re: [performance] The DaCapo benchmark suite
Posted by Mark Hindess <ma...@googlemail.com>.
Results for linux/x86 appended below.
-Mark.
avrora
JRE | Runs | % | Result (normalized, smaller is better)
M1 | 10 | 101.13 | ############################################
M2 | 10 | 100.00 | ############################################
M3 | 10 | 109.09 | ################################################
M4 | 10 | 111.89 | #################################################
M6 | 10 | 110.86 | ################################################
M7 | 10 | 111.20 | #################################################
M8 | 9 | 113.22 | ##################################################
M9 | 9 | 111.23 | #################################################
M10 | 10 | 107.53 | ###############################################
M11 | 10 | 108.13 | ###############################################
M12a| 10 | 107.27 | ###############################################
eclipse
JRE | Runs | % | Result (normalized, smaller is better)
M1 | 10 | 100.00 | #########################################
M2 | 10 | 112.42 | ##############################################
M3 | 10 | 120.32 | ##################################################
M4 | 10 | 106.29 | ############################################
M6 | 9 | 110.54 | #############################################
M7 | 10 | 110.38 | #############################################
M8 | 9 | 105.42 | ###########################################
M9 | 9 | 106.74 | ############################################
M10 | 10 | 107.73 | ############################################
M11 | 10 | 106.68 | ############################################
h2
JRE | Runs | % | Result (normalized, smaller is better)
M1 | 10 | 457.99 | #####################################
M2 | 10 | 368.51 | #############################
M3 | 10 | 366.06 | #############################
M4 | 10 | 533.33 | ###########################################
M6 | 9 | 613.74 | #################################################
M7 | 9 | 615.81 | ##################################################
M8 | 9 | 105.07 | ########
M9 | 9 | 100.00 | ########
M10 | 10 | 101.18 | ########
M11 | 10 | 102.79 | ########
M12a| 10 | 100.10 | ########
jython
JRE | Runs | % | Result (normalized, smaller is better)
M1 | 10 | 102.76 | #######################################
M2 | 10 | 108.22 | ##########################################
M3 | 10 | 128.70 | ##################################################
M4 | 10 | 126.09 | ################################################
M6 | 10 | 115.09 | ############################################
M7 | 9 | 110.04 | ##########################################
M8 | 9 | 107.72 | #########################################
M9 | 9 | 108.61 | ##########################################
M10 | 9 | 102.84 | #######################################
M11 | 10 | 100.00 | ######################################
M12a| 10 | 100.19 | ######################################
luindex
JRE | Runs | % | Result (normalized, smaller is better)
M1 | 10 | 100.00 | ##############################
M3 | 10 | 136.02 | ########################################
M4 | 10 | 115.79 | ##################################
M6 | 10 | 161.68 | ################################################
M7 | 9 | 160.47 | ################################################
M8 | 9 | 162.24 | ################################################
M9 | 9 | 166.29 | ##################################################
M10 | 10 | 147.72 | ############################################
M11 | 10 | 122.53 | ####################################
M12a| 10 | 120.44 | ####################################
lusearch
JRE | Runs | % | Result (normalized, smaller is better)
M1 | 9 | 118.04 | ############################
M2 | 10 | 207.00 | ##################################################
M3 | 10 | 198.16 | ###############################################
M4 | 10 | 147.77 | ###################################
M6 | 10 | 101.77 | ########################
M7 | 8 | 100.00 | ########################
M8 | 9 | 103.35 | ########################
M9 | 9 | 102.98 | ########################
M10 | 10 | 103.11 | ########################
M11 | 10 | 100.97 | ########################
M12a| 10 | 101.92 | ########################
pmd
JRE | Runs | % | Result (normalized, smaller is better)
M1 | 10 | 100.00 | #######################################
M2 | 10 | 104.98 | #########################################
M3 | 10 | 122.04 | ################################################
M4 | 10 | 119.17 | ##############################################
M6 | 10 | 124.50 | #################################################
M7 | 9 | 127.04 | ##################################################
M8 | 9 | 125.83 | #################################################
M9 | 9 | 125.04 | #################################################
M10 | 10 | 125.02 | #################################################
M11 | 10 | 122.69 | ################################################
M12a| 10 | 122.53 | ################################################
sunflow
JRE | Runs | % | Result (normalized, smaller is better)
M1 | 10 | 183.34 | ##################################
M2 | 10 | 229.25 | ##########################################
M3 | 10 | 268.91 | ##################################################
M4 | 10 | 267.11 | #################################################
M6 | 10 | 104.47 | ###################
M8 | 9 | 103.17 | ###################
M9 | 9 | 102.65 | ###################
M10 | 10 | 102.90 | ###################
M11 | 10 | 103.44 | ###################
M12a| 10 | 100.00 | ##################
xalan
JRE | Runs | % | Result (normalized, smaller is better)
M1 | 10 | 182.60 | ##################################################
M2 | 10 | 101.14 | ###########################
M3 | 10 | 103.09 | ############################
M4 | 10 | 100.00 | ###########################
M6 | 10 | 101.17 | ###########################
M7 | 9 | 100.27 | ###########################
M8 | 9 | 100.86 | ###########################
M9 | 9 | 101.46 | ###########################
M10 | 10 | 101.31 | ###########################
M11 | 10 | 101.41 | ###########################
M12a| 10 | 101.91 | ###########################
Re: [performance] The DaCapo benchmark suite
Posted by Mark Hindess <ma...@googlemail.com>.
In message <c3...@mail.gmail.com>,
Alexei Fedotov writes:
>
> Mark,
> Thanks for a nice result. I wonder how others (e.g. Sun) perform in
> respect to M12a.
I was really interested in how our performance was changing with respect
to time. But I will perform that comparison when the machine is free
after the linux/x86 run that is grinding away now.
On notable observation is that for quite a few benchmarks the fastest
JRE is M4. My gut feeling is that it is "text"-based benchmarks suffer
most from this. I wonder why and whether there is anything to address
this.
Regards,
Mark.
Re: [performance] The DaCapo benchmark suite
Posted by Alexei Fedotov <al...@gmail.com>.
Mark, thank you. This is very interesting data indeed.
On Tue, Feb 2, 2010 at 11:42 PM, Mark Hindess
<ma...@googlemail.com> wrote:
>
> In message <c3...@mail.gmail.com>,
> Alexei Fedotov writes:
>>
>> Mark,
>> Thanks for a nice result. I wonder how others (e.g. Sun) perform in
>> respect to M12a.
>
> Alexei,
>
> Here is the data for linux/x86 running 5.0M12a, trunk, RI/Sun 50 and
> RI/Sun 60. (I removed the tables where the benchmarks only succeeded on
> Sun since that seemed off-topic.)
>
> Regards,
> -Mark.
>
> avrora
>
> JRE | Runs | % | Result (normalized, smaller is better)
> M12a| 10 | 129.63 | ##################################################
> head| 10 | 127.64 | #################################################
> ri50| 10 | 102.81 | #######################################
> ri60| 10 | 100.00 | ######################################
>
>
> h2
>
> JRE | Runs | % | Result (normalized, smaller is better)
> M12a| 10 | 184.24 | ###############################################
> head| 10 | 192.29 | ##################################################
> ri50| 10 | 100.00 | ##########################
> ri60| 10 | 101.00 | ##########################
>
>
> jython
>
> JRE | Runs | % | Result (normalized, smaller is better)
> M12a| 10 | 166.29 | #################################################
> head| 10 | 166.54 | ##################################################
> ri50| 10 | 112.27 | #################################
> ri60| 10 | 100.00 | ##############################
>
>
> luindex
>
> JRE | Runs | % | Result (normalized, smaller is better)
> M12a| 10 | 115.09 | ##############################################
> head| 10 | 113.58 | #############################################
> ri50| 10 | 123.72 | ##################################################
> ri60| 10 | 100.00 | ########################################
>
>
> lusearch
>
> JRE | Runs | % | Result (normalized, smaller is better)
> M12a| 10 | 124.11 | ####################################
> head| 10 | 121.65 | ###################################
> ri50| 10 | 100.00 | #############################
> ri60| 10 | 171.62 | ##################################################
>
>
> pmd
>
> JRE | Runs | % | Result (normalized, smaller is better)
> M12a| 10 | 102.32 | ###############################
> head| 10 | 100.00 | ###############################
> ri50| 10 | 160.22 | ##################################################
> ri60| 10 | 136.34 | ##########################################
>
>
> sunflow
>
> JRE | Runs | % | Result (normalized, smaller is better)
> M12a| 10 | 159.95 | ##################################################
> head| 10 | 159.70 | #################################################
> ri50| 10 | 105.65 | #################################
> ri60| 10 | 100.00 | ###############################
>
>
> xalan
>
> JRE | Runs | % | Result (normalized, smaller is better)
> M12a| 10 | 100.31 | #####################################
> head| 10 | 100.00 | #####################################
> ri50| 10 | 132.55 | ##################################################
> ri60| 10 | 101.57 | ######################################
>
>
>
--
With best regards / с наилучшими пожеланиями,
Alexei Fedotov / Алексей Федотов,
http://www.telecom-express.ru/
http://harmony.apache.org/
http://www.expressaas.com/
http://openmeetings.googlecode.com/
Re: [performance] The DaCapo benchmark suite
Posted by Mark Hindess <ma...@googlemail.com>.
In message <c3...@mail.gmail.com>,
Alexei Fedotov writes:
>
> Mark,
> Thanks for a nice result. I wonder how others (e.g. Sun) perform in
> respect to M12a.
Alexei,
Here is the data for linux/x86 running 5.0M12a, trunk, RI/Sun 50 and
RI/Sun 60. (I removed the tables where the benchmarks only succeeded on
Sun since that seemed off-topic.)
Regards,
-Mark.
avrora
JRE | Runs | % | Result (normalized, smaller is better)
M12a| 10 | 129.63 | ##################################################
head| 10 | 127.64 | #################################################
ri50| 10 | 102.81 | #######################################
ri60| 10 | 100.00 | ######################################
h2
JRE | Runs | % | Result (normalized, smaller is better)
M12a| 10 | 184.24 | ###############################################
head| 10 | 192.29 | ##################################################
ri50| 10 | 100.00 | ##########################
ri60| 10 | 101.00 | ##########################
jython
JRE | Runs | % | Result (normalized, smaller is better)
M12a| 10 | 166.29 | #################################################
head| 10 | 166.54 | ##################################################
ri50| 10 | 112.27 | #################################
ri60| 10 | 100.00 | ##############################
luindex
JRE | Runs | % | Result (normalized, smaller is better)
M12a| 10 | 115.09 | ##############################################
head| 10 | 113.58 | #############################################
ri50| 10 | 123.72 | ##################################################
ri60| 10 | 100.00 | ########################################
lusearch
JRE | Runs | % | Result (normalized, smaller is better)
M12a| 10 | 124.11 | ####################################
head| 10 | 121.65 | ###################################
ri50| 10 | 100.00 | #############################
ri60| 10 | 171.62 | ##################################################
pmd
JRE | Runs | % | Result (normalized, smaller is better)
M12a| 10 | 102.32 | ###############################
head| 10 | 100.00 | ###############################
ri50| 10 | 160.22 | ##################################################
ri60| 10 | 136.34 | ##########################################
sunflow
JRE | Runs | % | Result (normalized, smaller is better)
M12a| 10 | 159.95 | ##################################################
head| 10 | 159.70 | #################################################
ri50| 10 | 105.65 | #################################
ri60| 10 | 100.00 | ###############################
xalan
JRE | Runs | % | Result (normalized, smaller is better)
M12a| 10 | 100.31 | #####################################
head| 10 | 100.00 | #####################################
ri50| 10 | 132.55 | ##################################################
ri60| 10 | 101.57 | ######################################
Re: [performance] The DaCapo benchmark suite
Posted by Alexei Fedotov <al...@gmail.com>.
Mark,
Thanks for a nice result. I wonder how others (e.g. Sun) perform in
respect to M12a.
On Mon, Feb 1, 2010 at 6:30 PM, Mark Hindess
<ma...@googlemail.com> wrote:
>
> I decided to have a play with the dacapo-9.12-bach benchmark suite.
> I've appended some preliminary results below.
>
> I attempted to run all the benchmarks 10 times on the linux/x86_64
> milestone releases. For this run I used:
>
> java -Xms128M -Xmx1024M -showversion -jar $DACAPO_JAR $BENCHMARK
>
> That is, I used the default arguments to dacapo.
>
> The results only include those benchmarks which ran successfully. I
> include the number of runs in the table as some benchmark/milestone
> combinations were unstable. If a benchmark/milestone combination is not
> listed then that is because it did not complete successfully at all.
> The tomcat benchmark is missing because it hung on early milestones so I
> stopped running it completely in order to make progress. If any other
> benchmark has no table then it didn't run correctly on any milestone
> release.
>
> It is worth noting that M12a is missing from the eclipse benchmark
> results as it fails to run. This is a regression so we'd better fix
> that for M13.
>
> The recently added benchmarks are described at:
>
> http://www.dacapobench.org/RELEASE_NOTES.txt
>
> and the more mature benchmarks are listed at:
>
> http://www.dacapobench.org/benchmarks.html
>
> I'm doing an indentical run on linux/x86 to see if that is similar (and
> because we released more milestones on this platform). I'll probably
> also do a longer run with some warmup iterations to see how much that
> affects the results.
>
> I also plan to do some runs with the lock-free data structures as found
> in several open JIRA to see what affect they might have.
>
> Comments and suggestions welcome.
>
> Regards,
> Mark.
>
>
> Key
> ---
>
> JRE is the identifier for the JRE executing the benchmark.
>
> Runs is the number of test runs that passed (low numbers => instability?).
>
> The % field is a percentage slow down compared to the fastest result. That
> is:
>
> 100 * (average execution time for test jre)
> -------------------------------------
> (average execution time for fastest jre)
>
> The result is a simple graph of average execution time normalized based
> on the slowest result. That is:
>
> '#' x 50 * (average execution time for test jre)
> -------------------------------------
> (average execution time for slowest jre)
>
>
>
> avrora
>
> JRE | Runs | % | Result (normalized, smaller is better)
> 1 | 10 | 105.33 | #################################################
> 4 | 10 | 100.00 | ##############################################
> 5 | 10 | 100.20 | ##############################################
> 6 | 10 | 106.09 | #################################################
> 7 | 10 | 106.00 | #################################################
> 8 | 10 | 106.38 | #################################################
> 9 | 10 | 107.35 | #################################################
> 10 | 10 | 107.43 | ##################################################
> 11 | 10 | 105.72 | #################################################
> 12a | 10 | 104.74 | ################################################
>
>
> eclipse
>
> JRE | Runs | % | Result (normalized, smaller is better)
> 4 | 8 | 100.00 | #########################################
> 5 | 10 | 105.57 | ###########################################
> 6 | 10 | 121.82 | ##################################################
> 7 | 10 | 121.14 | #################################################
> 8 | 9 | 114.81 | ###############################################
> 9 | 10 | 117.91 | ################################################
> 10 | 10 | 120.62 | #################################################
> 11 | 10 | 120.75 | #################################################
>
>
> h2
>
> JRE | Runs | % | Result (normalized, smaller is better)
> 1 | 10 | 465.09 | ###################################
> 4 | 10 | 452.09 | ##################################
> 5 | 10 | 542.44 | #########################################
> 6 | 10 | 659.49 | #################################################
> 7 | 10 | 660.54 | ##################################################
> 8 | 10 | 106.57 | ########
> 9 | 9 | 104.79 | #######
> 10 | 10 | 102.68 | #######
> 11 | 10 | 104.59 | #######
> 12a | 10 | 100.00 | #######
>
>
> jython
>
> JRE | Runs | % | Result (normalized, smaller is better)
> 1 | 3 | 132.51 | ##################################################
> 4 | 10 | 106.80 | ########################################
> 5 | 10 | 101.26 | ######################################
> 6 | 10 | 114.75 | ###########################################
> 7 | 10 | 110.02 | #########################################
> 8 | 10 | 111.64 | ##########################################
> 9 | 10 | 113.61 | ##########################################
> 10 | 10 | 105.72 | #######################################
> 11 | 10 | 100.00 | #####################################
> 12a | 10 | 101.84 | ######################################
>
>
> luindex
>
> JRE | Runs | % | Result (normalized, smaller is better)
> 1 | 10 | 119.61 | ####################################
> 4 | 10 | 100.00 | ##############################
> 5 | 10 | 131.18 | #######################################
> 6 | 10 | 163.73 | #################################################
> 7 | 10 | 162.09 | #################################################
> 8 | 10 | 161.77 | #################################################
> 9 | 10 | 164.58 | ##################################################
> 10 | 10 | 149.63 | #############################################
> 11 | 10 | 126.35 | ######################################
> 12a | 10 | 121.90 | #####################################
>
>
> lusearch
>
> JRE | Runs | % | Result (normalized, smaller is better)
> 1 | 10 | 104.11 | #############################################
> 4 | 10 | 100.22 | ###########################################
> 5 | 10 | 100.00 | ###########################################
> 6 | 10 | 110.02 | ###############################################
> 7 | 10 | 111.72 | ################################################
> 8 | 10 | 112.95 | #################################################
> 9 | 10 | 110.91 | ################################################
> 10 | 10 | 113.52 | #################################################
> 11 | 10 | 112.63 | ################################################
> 12a | 10 | 115.06 | ##################################################
>
>
> pmd
>
> JRE | Runs | % | Result (normalized, smaller is better)
> 1 | 10 | 128.18 | ##################################################
> 4 | 10 | 100.00 | #######################################
> 5 | 10 | 100.53 | #######################################
> 6 | 10 | 110.18 | ##########################################
> 7 | 10 | 109.56 | ##########################################
> 8 | 10 | 109.22 | ##########################################
> 9 | 10 | 111.14 | ###########################################
> 10 | 10 | 109.39 | ##########################################
> 11 | 10 | 110.12 | ##########################################
> 12a | 10 | 112.53 | ###########################################
>
>
> sunflow
>
> JRE | Runs | % | Result (normalized, smaller is better)
> 4 | 10 | 100.00 | ################################################
> 5 | 10 | 103.23 | #################################################
> 6 | 10 | 103.86 | #################################################
> 8 | 10 | 102.61 | #################################################
> 9 | 10 | 103.43 | #################################################
> 10 | 10 | 103.86 | ##################################################
> 11 | 10 | 102.99 | #################################################
> 12a | 10 | 102.38 | #################################################
>
>
> xalan
>
> JRE | Runs | % | Result (normalized, smaller is better)
> 1 | 10 | 189.74 | ##################################################
> 4 | 10 | 100.00 | ##########################
> 5 | 10 | 101.77 | ##########################
> 6 | 10 | 114.44 | ##############################
> 7 | 10 | 119.99 | ###############################
> 8 | 10 | 113.32 | #############################
> 9 | 10 | 114.40 | ##############################
> 10 | 10 | 114.26 | ##############################
> 11 | 10 | 115.82 | ##############################
> 12a | 10 | 118.19 | ###############################
>
>
>
--
With best regards / с наилучшими пожеланиями,
Alexei Fedotov / Алексей Федотов,
http://www.telecom-express.ru/
http://harmony.apache.org/
http://www.expressaas.com/
http://openmeetings.googlecode.com/