You are viewing a plain text version of this content. The canonical link for it is here.
Posted to github@datafusion.apache.org by "Dandandan (via GitHub)" <gi...@apache.org> on 2026/03/08 08:19:17 UTC
[PR] [bench[ Sort group by hashes [datafusion]
Dandandan opened a new pull request, #20796:
URL: https://github.com/apache/datafusion/pull/20796
## Which issue does this PR close?
<!--
We generally require a GitHub issue to be filed for all bug fixes and enhancements and this helps us generate change logs for our releases. You can link an issue to this PR using the GitHub syntax. For example `Closes #123` indicates that this PR will close issue #123.
-->
- Closes #.
## Rationale for this change
<!--
Why are you proposing this change? If this is already explained clearly in the issue then this section is not needed.
Explaining clearly why changes are proposed helps reviewers understand your changes and offer better suggestions for fixes.
-->
## What changes are included in this PR?
<!--
There is no need to duplicate the description in the issue here but it is sometimes worth providing a summary of the individual changes in this PR.
-->
## Are these changes tested?
<!--
We typically require tests for all PRs in order to:
1. Prevent the code from being accidentally broken by subsequent changes
2. Serve as another way to document the expected behavior of the code
If tests are not included in your PR, please explain why (for example, are they covered by existing tests)?
-->
## Are there any user-facing changes?
<!--
If there are user-facing changes then we may require documentation to be updated before approving the PR.
-->
<!--
If there are any breaking changes to public APIs, please add the `api change` label.
-->
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "Dandandan (via GitHub)" <gi...@apache.org>.
Dandandan commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018650775
run benchmarks
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018968021
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and sort_hashes
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2420.04 ms โ 2473.77 ms โ no change โ
โ QQuery 1 โ 827.91 ms โ 908.14 ms โ 1.10x slower โ
โ QQuery 2 โ 1707.22 ms โ 1865.21 ms โ 1.09x slower โ
โ QQuery 3 โ 1126.75 ms โ 1129.13 ms โ no change โ
โ QQuery 4 โ 2395.98 ms โ 2510.32 ms โ no change โ
โ QQuery 5 โ 27961.69 ms โ 28548.07 ms โ no change โ
โ QQuery 6 โ 4016.57 ms โ 4194.14 ms โ no change โ
โ QQuery 7 โ 2973.37 ms โ 3057.84 ms โ no change โ
โโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 43429.53ms โ
โ Total Time (sort_hashes) โ 44686.62ms โ
โ Average Time (HEAD) โ 5428.69ms โ
โ Average Time (sort_hashes) โ 5585.83ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 2 โ
โ Queries with No Change โ 6 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.60 ms โ 2.64 ms โ no change โ
โ QQuery 1 โ 51.90 ms โ 50.75 ms โ no change โ
โ QQuery 2 โ 158.59 ms โ 162.15 ms โ no change โ
โ QQuery 3 โ 167.84 ms โ 168.52 ms โ no change โ
โ QQuery 4 โ 1103.57 ms โ 1247.04 ms โ 1.13x slower โ
โ QQuery 5 โ 1279.43 ms โ 1375.06 ms โ 1.07x slower โ
โ QQuery 6 โ 7.47 ms โ 6.88 ms โ +1.09x faster โ
โ QQuery 7 โ 56.44 ms โ 55.46 ms โ no change โ
โ QQuery 8 โ 1496.97 ms โ 1600.31 ms โ 1.07x slower โ
โ QQuery 9 โ 1857.99 ms โ 1976.92 ms โ 1.06x slower โ
โ QQuery 10 โ 343.02 ms โ 378.55 ms โ 1.10x slower โ
โ QQuery 11 โ 388.68 ms โ 418.81 ms โ 1.08x slower โ
โ QQuery 12 โ 1192.62 ms โ 1260.89 ms โ 1.06x slower โ
โ QQuery 13 โ 1983.78 ms โ 2159.62 ms โ 1.09x slower โ
โ QQuery 14 โ 1236.58 ms โ 1352.70 ms โ 1.09x slower โ
โ QQuery 15 โ 1232.12 ms โ 1394.62 ms โ 1.13x slower โ
โ QQuery 16 โ 2590.88 ms โ 2857.24 ms โ 1.10x slower โ
โ QQuery 17 โ 2599.86 ms โ 2829.13 ms โ 1.09x slower โ
โ QQuery 18 โ 6086.24 ms โ 5455.81 ms โ +1.12x faster โ
โ QQuery 19 โ 126.48 ms โ 130.50 ms โ no change โ
โ QQuery 20 โ 1867.01 ms โ 1973.00 ms โ 1.06x slower โ
โ QQuery 21 โ 2238.15 ms โ 2238.22 ms โ no change โ
โ QQuery 22 โ 3816.34 ms โ 3915.84 ms โ no change โ
โ QQuery 23 โ 21282.27 ms โ 12510.47 ms โ +1.70x faster โ
โ QQuery 24 โ 192.01 ms โ 199.49 ms โ no change โ
โ QQuery 25 โ 433.49 ms โ 455.04 ms โ no change โ
โ QQuery 26 โ 207.75 ms โ 203.16 ms โ no change โ
โ QQuery 27 โ 2726.25 ms โ 2875.60 ms โ 1.05x slower โ
โ QQuery 28 โ 23296.67 ms โ 24363.53 ms โ no change โ
โ QQuery 29 โ 1037.36 ms โ 1053.85 ms โ no change โ
โ QQuery 30 โ 1285.23 ms โ 1298.22 ms โ no change โ
โ QQuery 31 โ 1419.47 ms โ 1393.13 ms โ no change โ
โ QQuery 32 โ 5220.50 ms โ 4461.39 ms โ +1.17x faster โ
โ QQuery 33 โ 6257.61 ms โ 5743.47 ms โ +1.09x faster โ
โ QQuery 34 โ 6230.76 ms โ 6482.54 ms โ no change โ
โ QQuery 35 โ 1210.23 ms โ 1354.07 ms โ 1.12x slower โ
โ QQuery 36 โ 180.52 ms โ 189.55 ms โ 1.05x slower โ
โ QQuery 37 โ 72.12 ms โ 73.11 ms โ no change โ
โ QQuery 38 โ 110.52 ms โ 113.71 ms โ no change โ
โ QQuery 39 โ 328.38 ms โ 359.44 ms โ 1.09x slower โ
โ QQuery 40 โ 45.10 ms โ 38.90 ms โ +1.16x faster โ
โ QQuery 41 โ 35.47 ms โ 35.21 ms โ no change โ
โ QQuery 42 โ 29.97 ms โ 34.41 ms โ 1.15x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 103486.24ms โ
โ Total Time (sort_hashes) โ 96248.93ms โ
โ Average Time (HEAD) โ 2406.66ms โ
โ Average Time (sort_hashes) โ 2238.35ms โ
โ Queries Faster โ 6 โ
โ Queries Slower โ 18 โ
โ Queries with No Change โ 19 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 128.80 ms โ 128.65 ms โ no change โ
โ QQuery 2 โ 32.37 ms โ 32.79 ms โ no change โ
โ QQuery 3 โ 39.48 ms โ 35.95 ms โ +1.10x faster โ
โ QQuery 4 โ 35.58 ms โ 35.53 ms โ no change โ
โ QQuery 5 โ 92.34 ms โ 93.07 ms โ no change โ
โ QQuery 6 โ 24.52 ms โ 24.38 ms โ no change โ
โ QQuery 7 โ 156.94 ms โ 154.73 ms โ no change โ
โ QQuery 8 โ 40.72 ms โ 40.23 ms โ no change โ
โ QQuery 9 โ 109.25 ms โ 111.61 ms โ no change โ
โ QQuery 10 โ 71.02 ms โ 72.25 ms โ no change โ
โ QQuery 11 โ 19.20 ms โ 19.04 ms โ no change โ
โ QQuery 12 โ 65.66 ms โ 66.23 ms โ no change โ
โ QQuery 13 โ 59.05 ms โ 57.84 ms โ no change โ
โ QQuery 14 โ 15.18 ms โ 16.07 ms โ 1.06x slower โ
โ QQuery 15 โ 33.41 ms โ 34.72 ms โ no change โ
โ QQuery 16 โ 29.98 ms โ 30.56 ms โ no change โ
โ QQuery 17 โ 169.57 ms โ 177.87 ms โ no change โ
โ QQuery 18 โ 298.01 ms โ 314.11 ms โ 1.05x slower โ
โ QQuery 19 โ 49.26 ms โ 51.66 ms โ no change โ
โ QQuery 20 โ 60.30 ms โ 62.84 ms โ no change โ
โ QQuery 21 โ 197.64 ms โ 198.45 ms โ no change โ
โ QQuery 22 โ 22.89 ms โ 24.59 ms โ 1.07x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1751.16ms โ
โ Total Time (sort_hashes) โ 1783.16ms โ
โ Average Time (HEAD) โ 79.60ms โ
โ Average Time (sort_hashes) โ 81.05ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 3 โ
โ Queries with No Change โ 18 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018665073
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing sort_hashes (0e5e2b69e84c528f02d7d93ea6b91f70a461ebd6) to 92078d932df77699496ab226802d3fe50b40fed2 [diff](https://github.com/apache/datafusion/compare/92078d932df77699496ab226802d3fe50b40fed2..0e5e2b69e84c528f02d7d93ea6b91f70a461ebd6) using: tpch_mem clickbench_partitioned clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018805497
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing sort_hashes (2bacf51e9f3dd3cd4ca1135ed00dfe6c26645897) to 92078d932df77699496ab226802d3fe50b40fed2 [diff](https://github.com/apache/datafusion/compare/92078d932df77699496ab226802d3fe50b40fed2..2bacf51e9f3dd3cd4ca1135ed00dfe6c26645897) using: tpch_mem clickbench_partitioned clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018913143
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing sort_hashes (d9326adf2d89dfa417d3c5d40227dd3a7478baf2) to 92078d932df77699496ab226802d3fe50b40fed2 [diff](https://github.com/apache/datafusion/compare/92078d932df77699496ab226802d3fe50b40fed2..d9326adf2d89dfa417d3c5d40227dd3a7478baf2) using: tpch_mem clickbench_partitioned clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018857998
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing sort_hashes (2bacf51e9f3dd3cd4ca1135ed00dfe6c26645897) to 92078d932df77699496ab226802d3fe50b40fed2 [diff](https://github.com/apache/datafusion/compare/92078d932df77699496ab226802d3fe50b40fed2..2bacf51e9f3dd3cd4ca1135ed00dfe6c26645897) using: tpch_mem clickbench_partitioned clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018894686
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and sort_hashes
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2453.15 ms โ 2525.77 ms โ no change โ
โ QQuery 1 โ 833.87 ms โ 838.78 ms โ no change โ
โ QQuery 2 โ 1679.96 ms โ 1707.14 ms โ no change โ
โ QQuery 3 โ 1120.48 ms โ 1196.03 ms โ 1.07x slower โ
โ QQuery 4 โ 2474.33 ms โ 2583.34 ms โ no change โ
โ QQuery 5 โ 28875.66 ms โ 29383.89 ms โ no change โ
โ QQuery 6 โ 3949.48 ms โ 4011.91 ms โ no change โ
โ QQuery 7 โ 3020.25 ms โ 3074.63 ms โ no change โ
โโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 44407.17ms โ
โ Total Time (sort_hashes) โ 45321.48ms โ
โ Average Time (HEAD) โ 5550.90ms โ
โ Average Time (sort_hashes) โ 5665.18ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 1 โ
โ Queries with No Change โ 7 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.56 ms โ 2.54 ms โ no change โ
โ QQuery 1 โ 50.94 ms โ 52.10 ms โ no change โ
โ QQuery 2 โ 163.67 ms โ 164.30 ms โ no change โ
โ QQuery 3 โ 162.55 ms โ 171.35 ms โ 1.05x slower โ
โ QQuery 4 โ 1089.65 ms โ 1312.51 ms โ 1.20x slower โ
โ QQuery 5 โ 1276.54 ms โ 1357.39 ms โ 1.06x slower โ
โ QQuery 6 โ 6.49 ms โ 6.35 ms โ no change โ
โ QQuery 7 โ 53.75 ms โ 57.61 ms โ 1.07x slower โ
โ QQuery 8 โ 1523.59 ms โ 1704.90 ms โ 1.12x slower โ
โ QQuery 9 โ 1838.99 ms โ 2107.63 ms โ 1.15x slower โ
โ QQuery 10 โ 344.02 ms โ 352.92 ms โ no change โ
โ QQuery 11 โ 381.19 ms โ 412.21 ms โ 1.08x slower โ
โ QQuery 12 โ 1213.90 ms โ 1306.06 ms โ 1.08x slower โ
โ QQuery 13 โ 1980.44 ms โ 2211.97 ms โ 1.12x slower โ
โ QQuery 14 โ 1233.50 ms โ 1389.12 ms โ 1.13x slower โ
โ QQuery 15 โ 1278.97 ms โ 1458.69 ms โ 1.14x slower โ
โ QQuery 16 โ 2611.31 ms โ 2911.18 ms โ 1.11x slower โ
โ QQuery 17 โ 2595.21 ms โ 2885.96 ms โ 1.11x slower โ
โ QQuery 18 โ 5905.62 ms โ 5454.43 ms โ +1.08x faster โ
โ QQuery 19 โ 126.72 ms โ 131.53 ms โ no change โ
โ QQuery 20 โ 1909.22 ms โ 1881.43 ms โ no change โ
โ QQuery 21 โ 2192.56 ms โ 2114.76 ms โ no change โ
โ QQuery 22 โ 3796.02 ms โ 3738.91 ms โ no change โ
โ QQuery 23 โ 24690.37 ms โ 11941.07 ms โ +2.07x faster โ
โ QQuery 24 โ 201.89 ms โ 205.51 ms โ no change โ
โ QQuery 25 โ 444.23 ms โ 441.24 ms โ no change โ
โ QQuery 26 โ 217.99 ms โ 193.87 ms โ +1.12x faster โ
โ QQuery 27 โ 2713.77 ms โ 2781.30 ms โ no change โ
โ QQuery 28 โ 23737.40 ms โ 25731.91 ms โ 1.08x slower โ
โ QQuery 29 โ 1038.48 ms โ 1018.41 ms โ no change โ
โ QQuery 30 โ 1291.65 ms โ 1313.96 ms โ no change โ
โ QQuery 31 โ 1368.29 ms โ 1377.90 ms โ no change โ
โ QQuery 32 โ 5320.23 ms โ 5267.39 ms โ no change โ
โ QQuery 33 โ 6110.39 ms โ 6181.91 ms โ no change โ
โ QQuery 34 โ 6427.06 ms โ 6251.39 ms โ no change โ
โ QQuery 35 โ 1231.87 ms โ 1394.91 ms โ 1.13x slower โ
โ QQuery 36 โ 186.28 ms โ 189.02 ms โ no change โ
โ QQuery 37 โ 69.70 ms โ 72.19 ms โ no change โ
โ QQuery 38 โ 116.59 ms โ 112.28 ms โ no change โ
โ QQuery 39 โ 338.25 ms โ 366.20 ms โ 1.08x slower โ
โ QQuery 40 โ 41.46 ms โ 39.38 ms โ +1.05x faster โ
โ QQuery 41 โ 34.76 ms โ 37.08 ms โ 1.07x slower โ
โ QQuery 42 โ 29.84 ms โ 35.77 ms โ 1.20x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 107347.90ms โ
โ Total Time (sort_hashes) โ 98138.53ms โ
โ Average Time (HEAD) โ 2496.46ms โ
โ Average Time (sort_hashes) โ 2282.29ms โ
โ Queries Faster โ 4 โ
โ Queries Slower โ 18 โ
โ Queries with No Change โ 21 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 128.81 ms โ 132.65 ms โ no change โ
โ QQuery 2 โ 32.37 ms โ 32.66 ms โ no change โ
โ QQuery 3 โ 35.92 ms โ 41.03 ms โ 1.14x slower โ
โ QQuery 4 โ 36.91 ms โ 34.46 ms โ +1.07x faster โ
โ QQuery 5 โ 91.86 ms โ 90.65 ms โ no change โ
โ QQuery 6 โ 24.59 ms โ 24.55 ms โ no change โ
โ QQuery 7 โ 157.70 ms โ 157.10 ms โ no change โ
โ QQuery 8 โ 41.15 ms โ 40.56 ms โ no change โ
โ QQuery 9 โ 107.76 ms โ 110.71 ms โ no change โ
โ QQuery 10 โ 71.50 ms โ 76.50 ms โ 1.07x slower โ
โ QQuery 11 โ 18.60 ms โ 19.14 ms โ no change โ
โ QQuery 12 โ 64.25 ms โ 67.58 ms โ 1.05x slower โ
โ QQuery 13 โ 55.49 ms โ 56.04 ms โ no change โ
โ QQuery 14 โ 15.61 ms โ 15.87 ms โ no change โ
โ QQuery 15 โ 35.42 ms โ 34.67 ms โ no change โ
โ QQuery 16 โ 30.18 ms โ 32.65 ms โ 1.08x slower โ
โ QQuery 17 โ 169.56 ms โ 188.05 ms โ 1.11x slower โ
โ QQuery 18 โ 302.81 ms โ 310.49 ms โ no change โ
โ QQuery 19 โ 52.77 ms โ 52.01 ms โ no change โ
โ QQuery 20 โ 62.39 ms โ 64.50 ms โ no change โ
โ QQuery 21 โ 197.41 ms โ 200.58 ms โ no change โ
โ QQuery 22 โ 24.79 ms โ 24.83 ms โ no change โ
โโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1757.88ms โ
โ Total Time (sort_hashes) โ 1807.27ms โ
โ Average Time (HEAD) โ 79.90ms โ
โ Average Time (sort_hashes) โ 82.15ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 5 โ
โ Queries with No Change โ 16 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "Dandandan (via GitHub)" <gi...@apache.org>.
Dandandan commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018765592
run benchmarks
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "Dandandan (via GitHub)" <gi...@apache.org>.
Dandandan commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018787745
run benchmarks
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018857155
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and sort_hashes
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2395.01 ms โ 2445.40 ms โ no change โ
โ QQuery 1 โ 834.01 ms โ 842.43 ms โ no change โ
โ QQuery 2 โ 1705.16 ms โ 1734.78 ms โ no change โ
โ QQuery 3 โ 1077.81 ms โ 1205.21 ms โ 1.12x slower โ
โ QQuery 4 โ 2398.44 ms โ 2474.77 ms โ no change โ
โ QQuery 5 โ 28751.19 ms โ 28824.42 ms โ no change โ
โ QQuery 6 โ 3960.45 ms โ 3946.90 ms โ no change โ
โ QQuery 7 โ 2902.35 ms โ 3077.48 ms โ 1.06x slower โ
โโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 44024.43ms โ
โ Total Time (sort_hashes) โ 44551.39ms โ
โ Average Time (HEAD) โ 5503.05ms โ
โ Average Time (sort_hashes) โ 5568.92ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 2 โ
โ Queries with No Change โ 6 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.55 ms โ 2.67 ms โ no change โ
โ QQuery 1 โ 51.18 ms โ 51.17 ms โ no change โ
โ QQuery 2 โ 160.59 ms โ 165.79 ms โ no change โ
โ QQuery 3 โ 163.38 ms โ 167.94 ms โ no change โ
โ QQuery 4 โ 1070.95 ms โ 1248.33 ms โ 1.17x slower โ
โ QQuery 5 โ 1260.37 ms โ 1320.05 ms โ no change โ
โ QQuery 6 โ 6.87 ms โ 6.49 ms โ +1.06x faster โ
โ QQuery 7 โ 55.05 ms โ 59.75 ms โ 1.09x slower โ
โ QQuery 8 โ 1498.44 ms โ 1672.47 ms โ 1.12x slower โ
โ QQuery 9 โ 1879.82 ms โ 2075.30 ms โ 1.10x slower โ
โ QQuery 10 โ 340.03 ms โ 350.21 ms โ no change โ
โ QQuery 11 โ 398.67 ms โ 406.00 ms โ no change โ
โ QQuery 12 โ 1195.38 ms โ 1258.33 ms โ 1.05x slower โ
โ QQuery 13 โ 1995.75 ms โ 2190.02 ms โ 1.10x slower โ
โ QQuery 14 โ 1205.16 ms โ 1390.21 ms โ 1.15x slower โ
โ QQuery 15 โ 1241.35 ms โ 1396.78 ms โ 1.13x slower โ
โ QQuery 16 โ 2650.01 ms โ 2859.93 ms โ 1.08x slower โ
โ QQuery 17 โ 2558.81 ms โ 2846.39 ms โ 1.11x slower โ
โ QQuery 18 โ 5643.02 ms โ 5663.78 ms โ no change โ
โ QQuery 19 โ 129.60 ms โ 129.83 ms โ no change โ
โ QQuery 20 โ 1881.22 ms โ 1842.40 ms โ no change โ
โ QQuery 21 โ 2142.39 ms โ 2167.24 ms โ no change โ
โ QQuery 22 โ 3684.29 ms โ 3727.09 ms โ no change โ
โ QQuery 23 โ 22129.63 ms โ 11966.09 ms โ +1.85x faster โ
โ QQuery 24 โ 199.64 ms โ 205.20 ms โ no change โ
โ QQuery 25 โ 425.58 ms โ 433.49 ms โ no change โ
โ QQuery 26 โ 204.63 ms โ 202.11 ms โ no change โ
โ QQuery 27 โ 2728.59 ms โ 2809.95 ms โ no change โ
โ QQuery 28 โ 23356.49 ms โ 25701.33 ms โ 1.10x slower โ
โ QQuery 29 โ 1055.22 ms โ 1050.76 ms โ no change โ
โ QQuery 30 โ 1267.68 ms โ 1300.14 ms โ no change โ
โ QQuery 31 โ 1360.97 ms โ 1384.20 ms โ no change โ
โ QQuery 32 โ 5335.44 ms โ 4479.97 ms โ +1.19x faster โ
โ QQuery 33 โ 5998.66 ms โ 5582.71 ms โ +1.07x faster โ
โ QQuery 34 โ 6782.37 ms โ 6540.15 ms โ no change โ
โ QQuery 35 โ 1317.47 ms โ 1349.99 ms โ no change โ
โ QQuery 36 โ 185.42 ms โ 180.85 ms โ no change โ
โ QQuery 37 โ 71.78 ms โ 72.24 ms โ no change โ
โ QQuery 38 โ 108.22 ms โ 110.12 ms โ no change โ
โ QQuery 39 โ 332.77 ms โ 365.06 ms โ 1.10x slower โ
โ QQuery 40 โ 43.08 ms โ 36.84 ms โ +1.17x faster โ
โ QQuery 41 โ 33.77 ms โ 38.82 ms โ 1.15x slower โ
โ QQuery 42 โ 31.37 ms โ 37.02 ms โ 1.18x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 104183.64ms โ
โ Total Time (sort_hashes) โ 96845.23ms โ
โ Average Time (HEAD) โ 2422.88ms โ
โ Average Time (sort_hashes) โ 2252.21ms โ
โ Queries Faster โ 5 โ
โ Queries Slower โ 14 โ
โ Queries with No Change โ 24 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 128.98 ms โ 135.73 ms โ 1.05x slower โ
โ QQuery 2 โ 33.12 ms โ 32.57 ms โ no change โ
โ QQuery 3 โ 38.35 ms โ 39.76 ms โ no change โ
โ QQuery 4 โ 35.33 ms โ 34.65 ms โ no change โ
โ QQuery 5 โ 90.42 ms โ 91.05 ms โ no change โ
โ QQuery 6 โ 24.47 ms โ 24.41 ms โ no change โ
โ QQuery 7 โ 157.22 ms โ 157.47 ms โ no change โ
โ QQuery 8 โ 42.04 ms โ 41.41 ms โ no change โ
โ QQuery 9 โ 109.65 ms โ 113.36 ms โ no change โ
โ QQuery 10 โ 72.38 ms โ 75.49 ms โ no change โ
โ QQuery 11 โ 18.84 ms โ 18.74 ms โ no change โ
โ QQuery 12 โ 67.41 ms โ 66.78 ms โ no change โ
โ QQuery 13 โ 53.31 ms โ 57.75 ms โ 1.08x slower โ
โ QQuery 14 โ 16.51 ms โ 15.77 ms โ no change โ
โ QQuery 15 โ 33.06 ms โ 34.69 ms โ no change โ
โ QQuery 16 โ 30.98 ms โ 33.67 ms โ 1.09x slower โ
โ QQuery 17 โ 175.27 ms โ 183.42 ms โ no change โ
โ QQuery 18 โ 300.48 ms โ 307.06 ms โ no change โ
โ QQuery 19 โ 50.52 ms โ 51.56 ms โ no change โ
โ QQuery 20 โ 63.35 ms โ 64.12 ms โ no change โ
โ QQuery 21 โ 198.74 ms โ 195.22 ms โ no change โ
โ QQuery 22 โ 24.81 ms โ 24.43 ms โ no change โ
โโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1765.22ms โ
โ Total Time (sort_hashes) โ 1799.12ms โ
โ Average Time (HEAD) โ 80.24ms โ
โ Average Time (sort_hashes) โ 81.78ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 3 โ
โ Queries with No Change โ 19 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench[ Sort group by hashes [datafusion]
Posted by "Dandandan (via GitHub)" <gi...@apache.org>.
Dandandan commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018623802
run benchmark
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "Dandandan (via GitHub)" <gi...@apache.org>.
Dandandan commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018913029
run benchmarks
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018777644
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and sort_hashes
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2430.69 ms โ 2425.35 ms โ no change โ
โ QQuery 1 โ 829.70 ms โ 903.37 ms โ 1.09x slower โ
โ QQuery 2 โ 1721.95 ms โ 1872.96 ms โ 1.09x slower โ
โ QQuery 3 โ 1099.57 ms โ 1386.41 ms โ 1.26x slower โ
โ QQuery 4 โ 2398.12 ms โ 2790.12 ms โ 1.16x slower โ
โ QQuery 5 โ 27197.89 ms โ 28110.17 ms โ no change โ
โ QQuery 6 โ 3935.81 ms โ 4191.71 ms โ 1.07x slower โ
โ QQuery 7 โ 2955.94 ms โ 3998.43 ms โ 1.35x slower โ
โโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 42569.67ms โ
โ Total Time (sort_hashes) โ 45678.52ms โ
โ Average Time (HEAD) โ 5321.21ms โ
โ Average Time (sort_hashes) โ 5709.82ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 6 โ
โ Queries with No Change โ 2 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.54 ms โ 2.60 ms โ no change โ
โ QQuery 1 โ 50.49 ms โ 52.75 ms โ no change โ
โ QQuery 2 โ 162.71 ms โ 162.66 ms โ no change โ
โ QQuery 3 โ 170.18 ms โ 173.60 ms โ no change โ
โ QQuery 4 โ 1056.84 ms โ 1927.18 ms โ 1.82x slower โ
โ QQuery 5 โ 1282.32 ms โ 1356.51 ms โ 1.06x slower โ
โ QQuery 6 โ 6.78 ms โ 6.48 ms โ no change โ
โ QQuery 7 โ 55.96 ms โ 57.11 ms โ no change โ
โ QQuery 8 โ 1504.05 ms โ 2262.43 ms โ 1.50x slower โ
โ QQuery 9 โ 1854.21 ms โ 2218.28 ms โ 1.20x slower โ
โ QQuery 10 โ 342.56 ms โ 414.91 ms โ 1.21x slower โ
โ QQuery 11 โ 395.34 ms โ 463.23 ms โ 1.17x slower โ
โ QQuery 12 โ 1213.72 ms โ 1252.62 ms โ no change โ
โ QQuery 13 โ 2008.05 ms โ 2270.88 ms โ 1.13x slower โ
โ QQuery 14 โ 1229.04 ms โ 1485.50 ms โ 1.21x slower โ
โ QQuery 15 โ 1268.34 ms โ 2080.32 ms โ 1.64x slower โ
โ QQuery 16 โ 2616.99 ms โ 3491.86 ms โ 1.33x slower โ
โ QQuery 17 โ 2587.29 ms โ 3473.34 ms โ 1.34x slower โ
โ QQuery 18 โ 5314.07 ms โ 6349.38 ms โ 1.19x slower โ
โ QQuery 19 โ 133.02 ms โ 129.09 ms โ no change โ
โ QQuery 20 โ 1839.78 ms โ 1948.31 ms โ 1.06x slower โ
โ QQuery 21 โ 2127.46 ms โ 2314.75 ms โ 1.09x slower โ
โ QQuery 22 โ 3552.66 ms โ 3913.56 ms โ 1.10x slower โ
โ QQuery 23 โ 24131.57 ms โ 11967.72 ms โ +2.02x faster โ
โ QQuery 24 โ 191.12 ms โ 207.69 ms โ 1.09x slower โ
โ QQuery 25 โ 439.78 ms โ 454.91 ms โ no change โ
โ QQuery 26 โ 202.31 ms โ 206.98 ms โ no change โ
โ QQuery 27 โ 2679.64 ms โ 2923.05 ms โ 1.09x slower โ
โ QQuery 28 โ 22453.52 ms โ 23935.18 ms โ 1.07x slower โ
โ QQuery 29 โ 1056.90 ms โ 1079.06 ms โ no change โ
โ QQuery 30 โ 1285.11 ms โ 1451.32 ms โ 1.13x slower โ
โ QQuery 31 โ 1400.96 ms โ 1530.46 ms โ 1.09x slower โ
โ QQuery 32 โ 5021.76 ms โ 5461.89 ms โ 1.09x slower โ
โ QQuery 33 โ 5843.71 ms โ 5834.81 ms โ no change โ
โ QQuery 34 โ 6227.91 ms โ 6361.79 ms โ no change โ
โ QQuery 35 โ 1201.57 ms โ 1875.75 ms โ 1.56x slower โ
โ QQuery 36 โ 186.31 ms โ 185.53 ms โ no change โ
โ QQuery 37 โ 73.01 ms โ 71.97 ms โ no change โ
โ QQuery 38 โ 110.31 ms โ 112.96 ms โ no change โ
โ QQuery 39 โ 342.15 ms โ 384.51 ms โ 1.12x slower โ
โ QQuery 40 โ 41.47 ms โ 40.90 ms โ no change โ
โ QQuery 41 โ 34.08 ms โ 35.61 ms โ no change โ
โ QQuery 42 โ 30.85 ms โ 53.05 ms โ 1.72x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 103728.46ms โ
โ Total Time (sort_hashes) โ 101982.49ms โ
โ Average Time (HEAD) โ 2412.29ms โ
โ Average Time (sort_hashes) โ 2371.69ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 24 โ
โ Queries with No Change โ 18 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 126.17 ms โ 133.57 ms โ 1.06x slower โ
โ QQuery 2 โ 32.44 ms โ 34.75 ms โ 1.07x slower โ
โ QQuery 3 โ 39.09 ms โ 37.86 ms โ no change โ
โ QQuery 4 โ 35.75 ms โ 34.58 ms โ no change โ
โ QQuery 5 โ 92.24 ms โ 90.57 ms โ no change โ
โ QQuery 6 โ 24.36 ms โ 24.45 ms โ no change โ
โ QQuery 7 โ 158.10 ms โ 148.16 ms โ +1.07x faster โ
โ QQuery 8 โ 40.15 ms โ 39.15 ms โ no change โ
โ QQuery 9 โ 112.41 ms โ 111.40 ms โ no change โ
โ QQuery 10 โ 73.22 ms โ 76.69 ms โ no change โ
โ QQuery 11 โ 18.64 ms โ 19.55 ms โ no change โ
โ QQuery 12 โ 65.48 ms โ 65.24 ms โ no change โ
โ QQuery 13 โ 53.47 ms โ 70.63 ms โ 1.32x slower โ
โ QQuery 14 โ 15.95 ms โ 16.48 ms โ no change โ
โ QQuery 15 โ 33.24 ms โ 39.22 ms โ 1.18x slower โ
โ QQuery 16 โ 30.53 ms โ 35.20 ms โ 1.15x slower โ
โ QQuery 17 โ 169.36 ms โ 234.95 ms โ 1.39x slower โ
โ QQuery 18 โ 303.55 ms โ 364.95 ms โ 1.20x slower โ
โ QQuery 19 โ 51.88 ms โ 54.68 ms โ 1.05x slower โ
โ QQuery 20 โ 64.15 ms โ 74.67 ms โ 1.16x slower โ
โ QQuery 21 โ 202.77 ms โ 198.77 ms โ no change โ
โ QQuery 22 โ 24.52 ms โ 25.06 ms โ no change โ
โโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1767.47ms โ
โ Total Time (sort_hashes) โ 1930.57ms โ
โ Average Time (HEAD) โ 80.34ms โ
โ Average Time (sort_hashes) โ 87.75ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 9 โ
โ Queries with No Change โ 12 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench[ Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018624082
๐ค Hi @Dandandan, thanks for the request (https://github.com/apache/datafusion/pull/20796#issuecomment-4018623802).
[`scrape_comments.py`](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/scrape_comments.py) only supports whitelisted benchmarks.
- Standard: clickbench_1, clickbench_extended, clickbench_partitioned, clickbench_pushdown, external_aggr, tpcds, tpch, tpch10, tpch_mem, tpch_mem10
- Criterion: aggregate_query_sql, aggregate_vectorized, array_set_ops, case_when, character_length, in_list, left, plan_reuse, range_and_generate_series, replace, reset_plan_states, sort, sql_planner, strpos, substr_index, with_hashes
Please choose one or more of these with `run benchmark <name>` or `run benchmark <name1> <name2>...`
You can also set environment variables on subsequent lines:
```
run benchmark tpch_mem
DATAFUSION_RUNTIME_MEMORY_LIMIT=1G
```
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "Dandandan (via GitHub)" <gi...@apache.org>.
Dandandan closed pull request #20796: [bench] Sort group by hashes
URL: https://github.com/apache/datafusion/pull/20796
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018721264
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and sort_hashes
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2407.46 ms โ 2386.01 ms โ no change โ
โ QQuery 1 โ 843.72 ms โ 829.77 ms โ no change โ
โ QQuery 2 โ 1677.95 ms โ 1731.29 ms โ no change โ
โ QQuery 3 โ 1147.16 ms โ 1416.07 ms โ 1.23x slower โ
โ QQuery 4 โ 2404.51 ms โ 2760.97 ms โ 1.15x slower โ
โ QQuery 5 โ 28595.71 ms โ 29137.35 ms โ no change โ
โ QQuery 6 โ 3910.45 ms โ 3938.55 ms โ no change โ
โ QQuery 7 โ 2993.76 ms โ 3727.08 ms โ 1.24x slower โ
โโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 43980.73ms โ
โ Total Time (sort_hashes) โ 45927.09ms โ
โ Average Time (HEAD) โ 5497.59ms โ
โ Average Time (sort_hashes) โ 5740.89ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 3 โ
โ Queries with No Change โ 5 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.60 ms โ 2.64 ms โ no change โ
โ QQuery 1 โ 50.31 ms โ 51.58 ms โ no change โ
โ QQuery 2 โ 163.69 ms โ 159.85 ms โ no change โ
โ QQuery 3 โ 165.40 ms โ 164.77 ms โ no change โ
โ QQuery 4 โ 1110.31 ms โ 1830.77 ms โ 1.65x slower โ
โ QQuery 5 โ 1272.27 ms โ 1308.92 ms โ no change โ
โ QQuery 6 โ 6.74 ms โ 6.69 ms โ no change โ
โ QQuery 7 โ 54.79 ms โ 56.88 ms โ no change โ
โ QQuery 8 โ 1516.44 ms โ 2261.44 ms โ 1.49x slower โ
โ QQuery 9 โ 1883.01 ms โ 2159.43 ms โ 1.15x slower โ
โ QQuery 10 โ 341.33 ms โ 383.94 ms โ 1.12x slower โ
โ QQuery 11 โ 392.16 ms โ 437.85 ms โ 1.12x slower โ
โ QQuery 12 โ 1223.17 ms โ 1269.15 ms โ no change โ
โ QQuery 13 โ 1974.60 ms โ 2282.60 ms โ 1.16x slower โ
โ QQuery 14 โ 1221.21 ms โ 1483.55 ms โ 1.21x slower โ
โ QQuery 15 โ 1244.21 ms โ 2006.81 ms โ 1.61x slower โ
โ QQuery 16 โ 2627.19 ms โ 3485.22 ms โ 1.33x slower โ
โ QQuery 17 โ 2596.39 ms โ 3458.09 ms โ 1.33x slower โ
โ QQuery 18 โ 5676.35 ms โ 6567.34 ms โ 1.16x slower โ
โ QQuery 19 โ 129.27 ms โ 122.74 ms โ +1.05x faster โ
โ QQuery 20 โ 2008.26 ms โ 1857.92 ms โ +1.08x faster โ
โ QQuery 21 โ 2209.31 ms โ 2087.20 ms โ +1.06x faster โ
โ QQuery 22 โ 3657.79 ms โ 3767.54 ms โ no change โ
โ QQuery 23 โ 32827.96 ms โ 11845.57 ms โ +2.77x faster โ
โ QQuery 24 โ 206.50 ms โ 189.61 ms โ +1.09x faster โ
โ QQuery 25 โ 440.17 ms โ 433.61 ms โ no change โ
โ QQuery 26 โ 204.84 ms โ 205.76 ms โ no change โ
โ QQuery 27 โ 2790.68 ms โ 2778.36 ms โ no change โ
โ QQuery 28 โ 23945.13 ms โ 25466.07 ms โ 1.06x slower โ
โ QQuery 29 โ 1037.92 ms โ 1061.59 ms โ no change โ
โ QQuery 30 โ 1263.94 ms โ 1423.60 ms โ 1.13x slower โ
โ QQuery 31 โ 1391.25 ms โ 1498.33 ms โ 1.08x slower โ
โ QQuery 32 โ 4960.29 ms โ 5223.21 ms โ 1.05x slower โ
โ QQuery 33 โ 6148.95 ms โ 5824.48 ms โ +1.06x faster โ
โ QQuery 34 โ 6735.33 ms โ 6314.23 ms โ +1.07x faster โ
โ QQuery 35 โ 1227.87 ms โ 1833.74 ms โ 1.49x slower โ
โ QQuery 36 โ 183.08 ms โ 187.12 ms โ no change โ
โ QQuery 37 โ 73.78 ms โ 70.03 ms โ +1.05x faster โ
โ QQuery 38 โ 109.92 ms โ 110.32 ms โ no change โ
โ QQuery 39 โ 332.88 ms โ 382.03 ms โ 1.15x slower โ
โ QQuery 40 โ 41.44 ms โ 43.57 ms โ 1.05x slower โ
โ QQuery 41 โ 34.99 ms โ 35.58 ms โ no change โ
โ QQuery 42 โ 31.16 ms โ 50.77 ms โ 1.63x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 115514.89ms โ
โ Total Time (sort_hashes) โ 102190.51ms โ
โ Average Time (HEAD) โ 2686.39ms โ
โ Average Time (sort_hashes) โ 2376.52ms โ
โ Queries Faster โ 8 โ
โ Queries Slower โ 19 โ
โ Queries with No Change โ 16 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ sort_hashes โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 130.25 ms โ 134.34 ms โ no change โ
โ QQuery 2 โ 33.62 ms โ 34.15 ms โ no change โ
โ QQuery 3 โ 39.02 ms โ 40.92 ms โ no change โ
โ QQuery 4 โ 35.62 ms โ 35.64 ms โ no change โ
โ QQuery 5 โ 94.87 ms โ 91.36 ms โ no change โ
โ QQuery 6 โ 24.86 ms โ 24.71 ms โ no change โ
โ QQuery 7 โ 158.32 ms โ 159.84 ms โ no change โ
โ QQuery 8 โ 41.48 ms โ 41.62 ms โ no change โ
โ QQuery 9 โ 113.16 ms โ 112.11 ms โ no change โ
โ QQuery 10 โ 71.44 ms โ 77.43 ms โ 1.08x slower โ
โ QQuery 11 โ 19.02 ms โ 19.30 ms โ no change โ
โ QQuery 12 โ 68.32 ms โ 65.51 ms โ no change โ
โ QQuery 13 โ 56.21 ms โ 70.11 ms โ 1.25x slower โ
โ QQuery 14 โ 16.29 ms โ 16.79 ms โ no change โ
โ QQuery 15 โ 33.22 ms โ 40.06 ms โ 1.21x slower โ
โ QQuery 16 โ 29.75 ms โ 36.06 ms โ 1.21x slower โ
โ QQuery 17 โ 175.18 ms โ 241.32 ms โ 1.38x slower โ
โ QQuery 18 โ 304.05 ms โ 363.23 ms โ 1.19x slower โ
โ QQuery 19 โ 53.63 ms โ 50.92 ms โ +1.05x faster โ
โ QQuery 20 โ 64.66 ms โ 73.66 ms โ 1.14x slower โ
โ QQuery 21 โ 193.53 ms โ 200.96 ms โ no change โ
โ QQuery 22 โ 24.60 ms โ 24.94 ms โ no change โ
โโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1781.09ms โ
โ Total Time (sort_hashes) โ 1954.97ms โ
โ Average Time (HEAD) โ 80.96ms โ
โ Average Time (sort_hashes) โ 88.86ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 7 โ
โ Queries with No Change โ 14 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] [bench] Sort group by hashes [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20796:
URL: https://github.com/apache/datafusion/pull/20796#issuecomment-4018721751
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing sort_hashes (af8d99cf46e8c13511f28e69638f8757d9d2c75e) to 92078d932df77699496ab226802d3fe50b40fed2 [diff](https://github.com/apache/datafusion/compare/92078d932df77699496ab226802d3fe50b40fed2..af8d99cf46e8c13511f28e69638f8757d9d2c75e) using: tpch_mem clickbench_partitioned clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org