You are viewing a plain text version of this content. The canonical link for it is here.
Posted to github@datafusion.apache.org by "alamb (via GitHub)" <gi...@apache.org> on 2025/09/17 18:09:14 UTC
[PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
alamb opened a new pull request, #17631:
URL: https://github.com/apache/datafusion/pull/17631
## Which issue does this PR close?
<!--
We generally require a GitHub issue to be filed for all bug fixes and enhancements and this helps us generate change logs for our releases. You can link an issue to this PR using the GitHub syntax. For example `Closes #123` indicates that this PR will close issue #123.
-->
- related to https://github.com/apache/arrow-rs/issues/7836
- builds on https://github.com/apache/datafusion/pull/17275
## Rationale for this change
Let's keep the dependencies up to date
## What changes are included in this PR?
1. Update dependencies
2. Update for API changes
## Are these changes tested?
<!--
We typically require tests for all PRs in order to:
1. Prevent the code from being accidentally broken by subsequent changes
3. Serve as another way to document the expected behavior of the code
If tests are not included in your PR, please explain why (for example, are they covered by existing tests)?
-->
## Are there any user-facing changes?
<!--
If there are user-facing changes then we may require documentation to be updated before approving the PR.
-->
<!--
If there are any breaking changes to public APIs, please add the `api change` label.
-->
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3314887965
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (3c530bf38ec0faf6e0b14caa8c0552e23c04a432) to b9517a1a08c573af2ee0e8814413eb5d96b2e5bd [diff](https://github.com/apache/datafusion/compare/b9517a1a08c573af2ee0e8814413eb5d96b2e5bd..3c530bf38ec0faf6e0b14caa8c0552e23c04a432) using: clickbench_pushdown
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3324105096
> > That clickbench_pushdown benchmark ... 87% faster? damn.
> > ```
> > QQuery 22 โ 7718.47 ms โ 4117.36 ms โ +1.87x faster
> > ```
>
> ๐ค that does seem too good to be true -- I will rerun
I think part of this was due to changes in 56.1.0, rather than changes in 56.2.0.
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3304253466
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (eb0657470e65103b573bb3ae42467adb77a58b3f) to e711f147e41fdb6c5899cd72bf2f4579011dac13 [diff](https://github.com/apache/datafusion/compare/e711f147e41fdb6c5899cd72bf2f4579011dac13..eb0657470e65103b573bb3ae42467adb77a58b3f) using: tpch_topk
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3312869769
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2725.52 ms โ 2722.47 ms โ no change โ
โ QQuery 1 โ 1406.98 ms โ 1417.56 ms โ no change โ
โ QQuery 2 โ 2650.94 ms โ 2747.06 ms โ no change โ
โ QQuery 3 โ 1185.65 ms โ 1173.88 ms โ no change โ
โ QQuery 4 โ 2230.63 ms โ 2227.68 ms โ no change โ
โ QQuery 5 โ 28252.83 ms โ 27261.61 ms โ no change โ
โ QQuery 6 โ 4229.65 ms โ 4215.01 ms โ no change โ
โ QQuery 7 โ 3331.21 ms โ 3304.33 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 46013.41ms โ
โ Total Time (alamb_update_arrow-56) โ 45069.61ms โ
โ Average Time (HEAD) โ 5751.68ms โ
โ Average Time (alamb_update_arrow-56) โ 5633.70ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 8 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.31 ms โ 2.29 ms โ no change โ
โ QQuery 1 โ 50.11 ms โ 51.33 ms โ no change โ
โ QQuery 2 โ 135.10 ms โ 141.28 ms โ no change โ
โ QQuery 3 โ 166.59 ms โ 159.21 ms โ no change โ
โ QQuery 4 โ 1067.23 ms โ 1035.76 ms โ no change โ
โ QQuery 5 โ 1485.15 ms โ 1501.23 ms โ no change โ
โ QQuery 6 โ 2.19 ms โ 2.29 ms โ no change โ
โ QQuery 7 โ 56.12 ms โ 54.93 ms โ no change โ
โ QQuery 8 โ 1483.91 ms โ 1441.23 ms โ no change โ
โ QQuery 9 โ 1803.64 ms โ 1801.71 ms โ no change โ
โ QQuery 10 โ 384.97 ms โ 395.84 ms โ no change โ
โ QQuery 11 โ 432.78 ms โ 447.47 ms โ no change โ
โ QQuery 12 โ 1360.23 ms โ 1362.39 ms โ no change โ
โ QQuery 13 โ 2129.32 ms โ 2155.71 ms โ no change โ
โ QQuery 14 โ 1278.34 ms โ 1273.31 ms โ no change โ
โ QQuery 15 โ 1189.66 ms โ 1181.72 ms โ no change โ
โ QQuery 16 โ 2657.72 ms โ 2643.37 ms โ no change โ
โ QQuery 17 โ 2630.41 ms โ 2625.72 ms โ no change โ
โ QQuery 18 โ 4932.41 ms โ 4910.47 ms โ no change โ
โ QQuery 19 โ 128.59 ms โ 128.36 ms โ no change โ
โ QQuery 20 โ 2032.33 ms โ 1995.95 ms โ no change โ
โ QQuery 21 โ 2368.27 ms โ 2351.20 ms โ no change โ
โ QQuery 22 โ 4001.03 ms โ 3968.62 ms โ no change โ
โ QQuery 23 โ 12654.61 ms โ 12886.01 ms โ no change โ
โ QQuery 24 โ 211.80 ms โ 208.98 ms โ no change โ
โ QQuery 25 โ 502.36 ms โ 513.71 ms โ no change โ
โ QQuery 26 โ 226.36 ms โ 221.15 ms โ no change โ
โ QQuery 27 โ 2957.88 ms โ 2870.61 ms โ no change โ
โ QQuery 28 โ 23026.15 ms โ 23304.34 ms โ no change โ
โ QQuery 29 โ 960.77 ms โ 972.79 ms โ no change โ
โ QQuery 30 โ 1314.94 ms โ 1299.83 ms โ no change โ
โ QQuery 31 โ 1326.74 ms โ 1326.85 ms โ no change โ
โ QQuery 32 โ 4760.86 ms โ 4660.23 ms โ no change โ
โ QQuery 33 โ 5825.69 ms โ 5560.30 ms โ no change โ
โ QQuery 34 โ 6112.07 ms โ 6141.61 ms โ no change โ
โ QQuery 35 โ 2053.31 ms โ 2023.70 ms โ no change โ
โ QQuery 36 โ 125.26 ms โ 118.87 ms โ +1.05x faster โ
โ QQuery 37 โ 55.25 ms โ 54.12 ms โ no change โ
โ QQuery 38 โ 124.99 ms โ 126.17 ms โ no change โ
โ QQuery 39 โ 207.75 ms โ 198.50 ms โ no change โ
โ QQuery 40 โ 43.47 ms โ 44.21 ms โ no change โ
โ QQuery 41 โ 39.64 ms โ 39.27 ms โ no change โ
โ QQuery 42 โ 34.64 ms โ 33.51 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 94342.94ms โ
โ Total Time (alamb_update_arrow-56) โ 94236.15ms โ
โ Average Time (HEAD) โ 2194.02ms โ
โ Average Time (alamb_update_arrow-56) โ 2191.54ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 42 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 171.22 ms โ 162.38 ms โ +1.05x faster โ
โ QQuery 2 โ 27.53 ms โ 26.80 ms โ no change โ
โ QQuery 3 โ 46.73 ms โ 45.10 ms โ no change โ
โ QQuery 4 โ 27.23 ms โ 26.89 ms โ no change โ
โ QQuery 5 โ 75.52 ms โ 74.28 ms โ no change โ
โ QQuery 6 โ 19.44 ms โ 19.72 ms โ no change โ
โ QQuery 7 โ 147.38 ms โ 139.81 ms โ +1.05x faster โ
โ QQuery 8 โ 32.35 ms โ 32.71 ms โ no change โ
โ QQuery 9 โ 84.87 ms โ 87.47 ms โ no change โ
โ QQuery 10 โ 57.51 ms โ 58.08 ms โ no change โ
โ QQuery 11 โ 40.48 ms โ 41.12 ms โ no change โ
โ QQuery 12 โ 52.79 ms โ 50.59 ms โ no change โ
โ QQuery 13 โ 47.24 ms โ 45.65 ms โ no change โ
โ QQuery 14 โ 14.41 ms โ 13.94 ms โ no change โ
โ QQuery 15 โ 24.61 ms โ 23.87 ms โ no change โ
โ QQuery 16 โ 24.08 ms โ 24.13 ms โ no change โ
โ QQuery 17 โ 147.67 ms โ 151.95 ms โ no change โ
โ QQuery 18 โ 334.73 ms โ 320.17 ms โ no change โ
โ QQuery 19 โ 36.76 ms โ 37.97 ms โ no change โ
โ QQuery 20 โ 48.37 ms โ 48.23 ms โ no change โ
โ QQuery 21 โ 233.18 ms โ 226.71 ms โ no change โ
โ QQuery 22 โ 19.63 ms โ 19.89 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1713.73ms โ
โ Total Time (alamb_update_arrow-56) โ 1677.47ms โ
โ Average Time (HEAD) โ 77.90ms โ
โ Average Time (alamb_update_arrow-56) โ 76.25ms โ
โ Queries Faster โ 2 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 20 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3312709022
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (3c530bf38ec0faf6e0b14caa8c0552e23c04a432) to b9517a1a08c573af2ee0e8814413eb5d96b2e5bd [diff](https://github.com/apache/datafusion/compare/b9517a1a08c573af2ee0e8814413eb5d96b2e5bd..3c530bf38ec0faf6e0b14caa8c0552e23c04a432) using: tpch_topk
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3325044153
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3325043993
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: clickbench_partitioned
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3326322116
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1016-gcp #17~24.04.1-Ubuntu SMP Wed Sep 3 01:55:36 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3325043881
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: tpch_topk
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3314894173
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (3c530bf38ec0faf6e0b14caa8c0552e23c04a432) to b9517a1a08c573af2ee0e8814413eb5d96b2e5bd [diff](https://github.com/apache/datafusion/compare/b9517a1a08c573af2ee0e8814413eb5d96b2e5bd..3c530bf38ec0faf6e0b14caa8c0552e23c04a432) using: tpch_mem clickbench_partitioned clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3325043705
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: clickbench_pushdown
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3326337015
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1016-gcp #17~24.04.1-Ubuntu SMP Wed Sep 3 01:55:36 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: tpch_mem
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3330217977
> Thanks @alamb for running so many preps
Thanks! I am just trying to keep the code flowing
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3314905000
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2690.15 ms โ 2701.93 ms โ no change โ
โ QQuery 1 โ 1428.02 ms โ 1414.15 ms โ no change โ
โ QQuery 2 โ 2620.49 ms โ 2677.82 ms โ no change โ
โ QQuery 3 โ 1202.40 ms โ 1153.15 ms โ no change โ
โ QQuery 4 โ 2209.49 ms โ 2232.94 ms โ no change โ
โ QQuery 5 โ 27246.39 ms โ 27345.85 ms โ no change โ
โ QQuery 6 โ 4193.17 ms โ 4189.33 ms โ no change โ
โ QQuery 7 โ 3439.57 ms โ 3286.92 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 45029.69ms โ
โ Total Time (alamb_update_arrow-56) โ 45002.07ms โ
โ Average Time (HEAD) โ 5628.71ms โ
โ Average Time (alamb_update_arrow-56) โ 5625.26ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 8 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.18 ms โ 2.11 ms โ no change โ
โ QQuery 1 โ 52.37 ms โ 49.44 ms โ +1.06x faster โ
โ QQuery 2 โ 136.41 ms โ 135.81 ms โ no change โ
โ QQuery 3 โ 169.46 ms โ 160.75 ms โ +1.05x faster โ
โ QQuery 4 โ 1030.45 ms โ 1044.31 ms โ no change โ
โ QQuery 5 โ 1527.00 ms โ 1512.85 ms โ no change โ
โ QQuery 6 โ 2.18 ms โ 2.19 ms โ no change โ
โ QQuery 7 โ 57.39 ms โ 54.97 ms โ no change โ
โ QQuery 8 โ 1481.23 ms โ 1443.35 ms โ no change โ
โ QQuery 9 โ 1809.14 ms โ 1830.17 ms โ no change โ
โ QQuery 10 โ 382.27 ms โ 393.07 ms โ no change โ
โ QQuery 11 โ 432.29 ms โ 451.19 ms โ no change โ
โ QQuery 12 โ 1372.63 ms โ 1400.18 ms โ no change โ
โ QQuery 13 โ 2102.34 ms โ 2134.63 ms โ no change โ
โ QQuery 14 โ 1246.40 ms โ 1262.90 ms โ no change โ
โ QQuery 15 โ 1204.13 ms โ 1180.25 ms โ no change โ
โ QQuery 16 โ 2615.13 ms โ 2602.85 ms โ no change โ
โ QQuery 17 โ 2629.80 ms โ 2620.93 ms โ no change โ
โ QQuery 18 โ 4919.08 ms โ 5155.61 ms โ no change โ
โ QQuery 19 โ 133.30 ms โ 126.68 ms โ no change โ
โ QQuery 20 โ 2019.87 ms โ 2003.63 ms โ no change โ
โ QQuery 21 โ 2383.27 ms โ 2325.13 ms โ no change โ
โ QQuery 22 โ 4033.23 ms โ 3945.61 ms โ no change โ
โ QQuery 23 โ 12861.99 ms โ 12741.18 ms โ no change โ
โ QQuery 24 โ 231.27 ms โ 213.53 ms โ +1.08x faster โ
โ QQuery 25 โ 500.08 ms โ 514.67 ms โ no change โ
โ QQuery 26 โ 221.27 ms โ 215.14 ms โ no change โ
โ QQuery 27 โ 2906.40 ms โ 2761.34 ms โ no change โ
โ QQuery 28 โ 23137.39 ms โ 23138.56 ms โ no change โ
โ QQuery 29 โ 1001.10 ms โ 957.35 ms โ no change โ
โ QQuery 30 โ 1307.08 ms โ 1322.93 ms โ no change โ
โ QQuery 31 โ 1335.75 ms โ 1318.30 ms โ no change โ
โ QQuery 32 โ 4426.42 ms โ 4504.62 ms โ no change โ
โ QQuery 33 โ 5686.57 ms โ 5591.42 ms โ no change โ
โ QQuery 34 โ 6095.45 ms โ 5721.58 ms โ +1.07x faster โ
โ QQuery 35 โ 2030.76 ms โ 2008.98 ms โ no change โ
โ QQuery 36 โ 122.31 ms โ 122.69 ms โ no change โ
โ QQuery 37 โ 53.88 ms โ 52.83 ms โ no change โ
โ QQuery 38 โ 122.38 ms โ 120.10 ms โ no change โ
โ QQuery 39 โ 206.93 ms โ 194.97 ms โ +1.06x faster โ
โ QQuery 40 โ 45.29 ms โ 41.97 ms โ +1.08x faster โ
โ QQuery 41 โ 38.73 ms โ 39.73 ms โ no change โ
โ QQuery 42 โ 32.11 ms โ 33.49 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 94104.70ms โ
โ Total Time (alamb_update_arrow-56) โ 93453.99ms โ
โ Average Time (HEAD) โ 2188.48ms โ
โ Average Time (alamb_update_arrow-56) โ 2173.35ms โ
โ Queries Faster โ 6 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 37 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 168.33 ms โ 162.89 ms โ no change โ
โ QQuery 2 โ 25.88 ms โ 27.08 ms โ no change โ
โ QQuery 3 โ 44.90 ms โ 47.33 ms โ 1.05x slower โ
โ QQuery 4 โ 27.04 ms โ 26.56 ms โ no change โ
โ QQuery 5 โ 75.21 ms โ 74.97 ms โ no change โ
โ QQuery 6 โ 19.51 ms โ 19.60 ms โ no change โ
โ QQuery 7 โ 152.98 ms โ 156.18 ms โ no change โ
โ QQuery 8 โ 31.86 ms โ 31.79 ms โ no change โ
โ QQuery 9 โ 82.32 ms โ 84.53 ms โ no change โ
โ QQuery 10 โ 58.24 ms โ 58.20 ms โ no change โ
โ QQuery 11 โ 41.45 ms โ 41.17 ms โ no change โ
โ QQuery 12 โ 50.43 ms โ 50.45 ms โ no change โ
โ QQuery 13 โ 45.70 ms โ 46.22 ms โ no change โ
โ QQuery 14 โ 13.83 ms โ 13.60 ms โ no change โ
โ QQuery 15 โ 24.45 ms โ 23.77 ms โ no change โ
โ QQuery 16 โ 24.35 ms โ 24.33 ms โ no change โ
โ QQuery 17 โ 147.20 ms โ 144.20 ms โ no change โ
โ QQuery 18 โ 322.55 ms โ 321.11 ms โ no change โ
โ QQuery 19 โ 36.67 ms โ 36.61 ms โ no change โ
โ QQuery 20 โ 48.82 ms โ 48.47 ms โ no change โ
โ QQuery 21 โ 223.86 ms โ 222.92 ms โ no change โ
โ QQuery 22 โ 19.09 ms โ 20.05 ms โ 1.05x slower โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1684.68ms โ
โ Total Time (alamb_update_arrow-56) โ 1682.03ms โ
โ Average Time (HEAD) โ 76.58ms โ
โ Average Time (alamb_update_arrow-56) โ 76.46ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 2 โ
โ Queries with No Change โ 20 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3326281602
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark clickbench_pushdown.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.25 ms โ 2.19 ms โ no change โ
โ QQuery 1 โ 52.59 ms โ 54.01 ms โ no change โ
โ QQuery 2 โ 135.55 ms โ 139.09 ms โ no change โ
โ QQuery 3 โ 159.42 ms โ 159.30 ms โ no change โ
โ QQuery 4 โ 1037.73 ms โ 1138.78 ms โ 1.10x slower โ
โ QQuery 5 โ 1486.56 ms โ 1501.27 ms โ no change โ
โ QQuery 6 โ 2.18 ms โ 2.17 ms โ no change โ
โ QQuery 7 โ 70.43 ms โ 71.36 ms โ no change โ
โ QQuery 8 โ 1415.70 ms โ 1460.94 ms โ no change โ
โ QQuery 9 โ 1779.92 ms โ 1757.59 ms โ no change โ
โ QQuery 10 โ 477.23 ms โ 507.12 ms โ 1.06x slower โ
โ QQuery 11 โ 554.63 ms โ 577.03 ms โ no change โ
โ QQuery 12 โ 1510.02 ms โ 1639.25 ms โ 1.09x slower โ
โ QQuery 13 โ 2476.48 ms โ 2508.93 ms โ no change โ
โ QQuery 14 โ 1633.87 ms โ 1681.69 ms โ no change โ
โ QQuery 15 โ 1167.20 ms โ 1250.75 ms โ 1.07x slower โ
โ QQuery 16 โ 2639.59 ms โ 2722.11 ms โ no change โ
โ QQuery 17 โ 2597.25 ms โ 2687.88 ms โ no change โ
โ QQuery 18 โ 5065.73 ms โ 4921.21 ms โ no change โ
โ QQuery 19 โ 145.35 ms โ 143.30 ms โ no change โ
โ QQuery 20 โ 1979.92 ms โ 1977.45 ms โ no change โ
โ QQuery 21 โ 2381.91 ms โ 2442.83 ms โ no change โ
โ QQuery 22 โ 4179.75 ms โ 4251.33 ms โ no change โ
โ QQuery 23 โ 1161.04 ms โ 1144.23 ms โ no change โ
โ QQuery 24 โ 259.68 ms โ 248.55 ms โ no change โ
โ QQuery 25 โ 658.80 ms โ 690.96 ms โ no change โ
โ QQuery 26 โ 342.08 ms โ 372.05 ms โ 1.09x slower โ
โ QQuery 27 โ 3078.24 ms โ 3079.65 ms โ no change โ
โ QQuery 28 โ 24275.27 ms โ 25971.82 ms โ 1.07x slower โ
โ QQuery 29 โ 986.60 ms โ 980.69 ms โ no change โ
โ QQuery 30 โ 2078.77 ms โ 2155.10 ms โ no change โ
โ QQuery 31 โ 2052.39 ms โ 2120.62 ms โ no change โ
โ QQuery 32 โ 4601.27 ms โ 4806.13 ms โ no change โ
โ QQuery 33 โ 5678.67 ms โ 5741.13 ms โ no change โ
โ QQuery 34 โ 5885.47 ms โ 6230.49 ms โ 1.06x slower โ
โ QQuery 35 โ 1983.77 ms โ 2008.76 ms โ no change โ
โ QQuery 36 โ 25.81 ms โ 25.47 ms โ no change โ
โ QQuery 37 โ 25.45 ms โ 25.44 ms โ no change โ
โ QQuery 38 โ 25.01 ms โ 25.20 ms โ no change โ
โ QQuery 39 โ 25.60 ms โ 24.70 ms โ no change โ
โ QQuery 40 โ 26.82 ms โ 24.97 ms โ +1.07x faster โ
โ QQuery 41 โ 25.21 ms โ 24.83 ms โ no change โ
โ QQuery 42 โ 24.67 ms โ 24.74 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 86171.86ms โ
โ Total Time (alamb_update_arrow-56) โ 89323.14ms โ
โ Average Time (HEAD) โ 2004.00ms โ
โ Average Time (alamb_update_arrow-56) โ 2077.28ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 7 โ
โ Queries with No Change โ 35 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3326282009
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1016-gcp #17~24.04.1-Ubuntu SMP Wed Sep 3 01:55:36 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: clickbench_partitioned
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3326281724
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1016-gcp #17~24.04.1-Ubuntu SMP Wed Sep 3 01:55:36 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: tpch_topk
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3324149879
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3324149301
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: tpch_topk
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "comphead (via GitHub)" <gi...@apache.org>.
comphead commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3330206951
That was a smooth upgrade
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3304253261
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark clickbench_pushdown.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.14 ms โ 2.30 ms โ 1.08x slower โ
โ QQuery 1 โ 54.86 ms โ 55.03 ms โ no change โ
โ QQuery 2 โ 133.28 ms โ 138.67 ms โ no change โ
โ QQuery 3 โ 166.82 ms โ 166.92 ms โ no change โ
โ QQuery 4 โ 1088.64 ms โ 1069.12 ms โ no change โ
โ QQuery 5 โ 1516.49 ms โ 1533.94 ms โ no change โ
โ QQuery 6 โ 2.18 ms โ 2.21 ms โ no change โ
โ QQuery 7 โ 77.40 ms โ 73.26 ms โ +1.06x faster โ
โ QQuery 8 โ 1477.92 ms โ 1481.65 ms โ no change โ
โ QQuery 9 โ 1889.00 ms โ 1853.32 ms โ no change โ
โ QQuery 10 โ 437.02 ms โ 500.67 ms โ 1.15x slower โ
โ QQuery 11 โ 521.25 ms โ 567.56 ms โ 1.09x slower โ
โ QQuery 12 โ 1825.95 ms โ 1575.50 ms โ +1.16x faster โ
โ QQuery 13 โ 2791.02 ms โ 2545.02 ms โ +1.10x faster โ
โ QQuery 14 โ 1934.92 ms โ 1628.84 ms โ +1.19x faster โ
โ QQuery 15 โ 1221.30 ms โ 1197.34 ms โ no change โ
โ QQuery 16 โ 2690.82 ms โ 2693.55 ms โ no change โ
โ QQuery 17 โ 2673.35 ms โ 2648.19 ms โ no change โ
โ QQuery 18 โ 5265.38 ms โ 4981.51 ms โ +1.06x faster โ
โ QQuery 19 โ 130.17 ms โ 146.72 ms โ 1.13x slower โ
โ QQuery 20 โ 2044.92 ms โ 2024.34 ms โ no change โ
โ QQuery 21 โ 2403.20 ms โ 2403.81 ms โ no change โ
โ QQuery 22 โ 4890.85 ms โ 4084.19 ms โ +1.20x faster โ
โ QQuery 23 โ 1405.35 ms โ 1153.59 ms โ +1.22x faster โ
โ QQuery 24 โ 283.85 ms โ 255.15 ms โ +1.11x faster โ
โ QQuery 25 โ 957.34 ms โ 668.76 ms โ +1.43x faster โ
โ QQuery 26 โ 487.20 ms โ 348.33 ms โ +1.40x faster โ
โ QQuery 27 โ 4066.89 ms โ 2995.09 ms โ +1.36x faster โ
โ QQuery 28 โ 26774.71 ms โ 24349.77 ms โ +1.10x faster โ
โ QQuery 29 โ 995.51 ms โ 968.00 ms โ no change โ
โ QQuery 30 โ 2168.55 ms โ 2153.60 ms โ no change โ
โ QQuery 31 โ 2137.10 ms โ 2093.92 ms โ no change โ
โ QQuery 32 โ 4624.31 ms โ 4442.14 ms โ no change โ
โ QQuery 33 โ 5779.88 ms โ 5636.47 ms โ no change โ
โ QQuery 34 โ 6013.97 ms โ 5922.57 ms โ no change โ
โ QQuery 35 โ 2082.39 ms โ 2060.44 ms โ no change โ
โ QQuery 36 โ 27.43 ms โ 26.56 ms โ no change โ
โ QQuery 37 โ 25.96 ms โ 26.41 ms โ no change โ
โ QQuery 38 โ 26.29 ms โ 25.94 ms โ no change โ
โ QQuery 39 โ 26.15 ms โ 25.81 ms โ no change โ
โ QQuery 40 โ 27.00 ms โ 27.30 ms โ no change โ
โ QQuery 41 โ 26.52 ms โ 25.10 ms โ +1.06x faster โ
โ QQuery 42 โ 27.41 ms โ 25.17 ms โ +1.09x faster โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 93202.68ms โ
โ Total Time (alamb_update_arrow-56) โ 86603.76ms โ
โ Average Time (HEAD) โ 2167.50ms โ
โ Average Time (alamb_update_arrow-56) โ 2014.04ms โ
โ Queries Faster โ 14 โ
โ Queries Slower โ 4 โ
โ Queries with No Change โ 25 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3304253664
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (eb0657470e65103b573bb3ae42467adb77a58b3f) to e711f147e41fdb6c5899cd72bf2f4579011dac13 [diff](https://github.com/apache/datafusion/compare/e711f147e41fdb6c5899cd72bf2f4579011dac13..eb0657470e65103b573bb3ae42467adb77a58b3f) using: tpch_mem clickbench_partitioned clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3312603430
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (3c530bf38ec0faf6e0b14caa8c0552e23c04a432) to b9517a1a08c573af2ee0e8814413eb5d96b2e5bd [diff](https://github.com/apache/datafusion/compare/b9517a1a08c573af2ee0e8814413eb5d96b2e5bd..3c530bf38ec0faf6e0b14caa8c0552e23c04a432) using: clickbench_pushdown
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3326367719
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 181.83 ms โ 174.63 ms โ no change โ
โ QQuery 2 โ 26.84 ms โ 28.24 ms โ 1.05x slower โ
โ QQuery 3 โ 46.62 ms โ 47.83 ms โ no change โ
โ QQuery 4 โ 28.45 ms โ 27.58 ms โ no change โ
โ QQuery 5 โ 74.82 ms โ 76.28 ms โ no change โ
โ QQuery 6 โ 19.43 ms โ 19.58 ms โ no change โ
โ QQuery 7 โ 153.39 ms โ 155.28 ms โ no change โ
โ QQuery 8 โ 33.12 ms โ 32.29 ms โ no change โ
โ QQuery 9 โ 87.52 ms โ 87.31 ms โ no change โ
โ QQuery 10 โ 58.84 ms โ 61.00 ms โ no change โ
โ QQuery 11 โ 42.25 ms โ 42.27 ms โ no change โ
โ QQuery 12 โ 52.29 ms โ 52.39 ms โ no change โ
โ QQuery 13 โ 46.66 ms โ 47.94 ms โ no change โ
โ QQuery 14 โ 13.79 ms โ 13.65 ms โ no change โ
โ QQuery 15 โ 24.51 ms โ 25.06 ms โ no change โ
โ QQuery 16 โ 24.62 ms โ 25.30 ms โ no change โ
โ QQuery 17 โ 147.34 ms โ 146.78 ms โ no change โ
โ QQuery 18 โ 334.14 ms โ 329.23 ms โ no change โ
โ QQuery 19 โ 35.79 ms โ 38.88 ms โ 1.09x slower โ
โ QQuery 20 โ 49.53 ms โ 50.69 ms โ no change โ
โ QQuery 21 โ 232.03 ms โ 230.33 ms โ no change โ
โ QQuery 22 โ 20.53 ms โ 20.02 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1734.35ms โ
โ Total Time (alamb_update_arrow-56) โ 1732.55ms โ
โ Average Time (HEAD) โ 78.83ms โ
โ Average Time (alamb_update_arrow-56) โ 78.75ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 2 โ
โ Queries with No Change โ 20 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3326322009
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.23 ms โ 2.21 ms โ no change โ
โ QQuery 1 โ 49.75 ms โ 49.90 ms โ no change โ
โ QQuery 2 โ 133.28 ms โ 136.71 ms โ no change โ
โ QQuery 3 โ 164.17 ms โ 158.70 ms โ no change โ
โ QQuery 4 โ 1067.35 ms โ 1072.90 ms โ no change โ
โ QQuery 5 โ 1497.99 ms โ 1541.38 ms โ no change โ
โ QQuery 6 โ 2.33 ms โ 2.16 ms โ +1.08x faster โ
โ QQuery 7 โ 53.41 ms โ 54.64 ms โ no change โ
โ QQuery 8 โ 1437.09 ms โ 1440.15 ms โ no change โ
โ QQuery 9 โ 1819.04 ms โ 1804.26 ms โ no change โ
โ QQuery 10 โ 378.93 ms โ 388.87 ms โ no change โ
โ QQuery 11 โ 432.49 ms โ 448.75 ms โ no change โ
โ QQuery 12 โ 1356.10 ms โ 1379.81 ms โ no change โ
โ QQuery 13 โ 2131.44 ms โ 2090.93 ms โ no change โ
โ QQuery 14 โ 1274.89 ms โ 1272.06 ms โ no change โ
โ QQuery 15 โ 1246.19 ms โ 1225.55 ms โ no change โ
โ QQuery 16 โ 2645.79 ms โ 2645.47 ms โ no change โ
โ QQuery 17 โ 2633.58 ms โ 2662.60 ms โ no change โ
โ QQuery 18 โ 4909.04 ms โ 5071.93 ms โ no change โ
โ QQuery 19 โ 128.41 ms โ 128.30 ms โ no change โ
โ QQuery 20 โ 1994.34 ms โ 2013.33 ms โ no change โ
โ QQuery 21 โ 2290.86 ms โ 2296.62 ms โ no change โ
โ QQuery 22 โ 3894.44 ms โ 3948.91 ms โ no change โ
โ QQuery 23 โ 12538.53 ms โ 12723.10 ms โ no change โ
โ QQuery 24 โ 211.88 ms โ 211.74 ms โ no change โ
โ QQuery 25 โ 499.66 ms โ 503.52 ms โ no change โ
โ QQuery 26 โ 210.67 ms โ 236.42 ms โ 1.12x slower โ
โ QQuery 27 โ 2793.07 ms โ 2867.37 ms โ no change โ
โ QQuery 28 โ 22816.81 ms โ 24545.10 ms โ 1.08x slower โ
โ QQuery 29 โ 986.89 ms โ 983.22 ms โ no change โ
โ QQuery 30 โ 1316.54 ms โ 1311.52 ms โ no change โ
โ QQuery 31 โ 1312.21 ms โ 1325.72 ms โ no change โ
โ QQuery 32 โ 4471.70 ms โ 4671.70 ms โ no change โ
โ QQuery 33 โ 5672.69 ms โ 5702.00 ms โ no change โ
โ QQuery 34 โ 5852.44 ms โ 6331.44 ms โ 1.08x slower โ
โ QQuery 35 โ 1981.13 ms โ 1982.79 ms โ no change โ
โ QQuery 36 โ 119.28 ms โ 123.01 ms โ no change โ
โ QQuery 37 โ 51.40 ms โ 54.30 ms โ 1.06x slower โ
โ QQuery 38 โ 120.60 ms โ 122.03 ms โ no change โ
โ QQuery 39 โ 195.36 ms โ 199.16 ms โ no change โ
โ QQuery 40 โ 43.67 ms โ 43.63 ms โ no change โ
โ QQuery 41 โ 38.92 ms โ 38.80 ms โ no change โ
โ QQuery 42 โ 31.15 ms โ 33.92 ms โ 1.09x slower โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 92807.74ms โ
โ Total Time (alamb_update_arrow-56) โ 95846.61ms โ
โ Average Time (HEAD) โ 2158.32ms โ
โ Average Time (alamb_update_arrow-56) โ 2228.99ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 5 โ
โ Queries with No Change โ 37 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "findepi (via GitHub)" <gi...@apache.org>.
findepi commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3335804051
Technically speaking, this fixed:
- https://github.com/apache/datafusion/issues/17533
however, let's get a regression test in too
- https://github.com/apache/datafusion/pull/17535
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3304384787
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2685.83 ms โ 2730.55 ms โ no change โ
โ QQuery 1 โ 1279.31 ms โ 1318.47 ms โ no change โ
โ QQuery 2 โ 2423.20 ms โ 2562.68 ms โ 1.06x slower โ
โ QQuery 3 โ 1189.48 ms โ 1213.12 ms โ no change โ
โ QQuery 4 โ 2272.85 ms โ 2243.60 ms โ no change โ
โ QQuery 5 โ 27048.42 ms โ 27286.45 ms โ no change โ
โ QQuery 6 โ 4240.40 ms โ 4165.88 ms โ no change โ
โ QQuery 7 โ 3549.78 ms โ 3557.64 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 44689.28ms โ
โ Total Time (alamb_update_arrow-56) โ 45078.40ms โ
โ Average Time (HEAD) โ 5586.16ms โ
โ Average Time (alamb_update_arrow-56) โ 5634.80ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 1 โ
โ Queries with No Change โ 7 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.19 ms โ 2.23 ms โ no change โ
โ QQuery 1 โ 52.26 ms โ 50.07 ms โ no change โ
โ QQuery 2 โ 135.88 ms โ 139.56 ms โ no change โ
โ QQuery 3 โ 165.27 ms โ 164.61 ms โ no change โ
โ QQuery 4 โ 1138.14 ms โ 1043.60 ms โ +1.09x faster โ
โ QQuery 5 โ 1623.30 ms โ 1503.68 ms โ +1.08x faster โ
โ QQuery 6 โ 2.18 ms โ 2.25 ms โ no change โ
โ QQuery 7 โ 56.17 ms โ 56.45 ms โ no change โ
โ QQuery 8 โ 1547.54 ms โ 1457.01 ms โ +1.06x faster โ
โ QQuery 9 โ 1901.32 ms โ 1841.18 ms โ no change โ
โ QQuery 10 โ 403.40 ms โ 394.78 ms โ no change โ
โ QQuery 11 โ 461.16 ms โ 442.07 ms โ no change โ
โ QQuery 12 โ 1493.27 ms โ 1365.50 ms โ +1.09x faster โ
โ QQuery 13 โ 2222.74 ms โ 2146.71 ms โ no change โ
โ QQuery 14 โ 1349.90 ms โ 1251.60 ms โ +1.08x faster โ
โ QQuery 15 โ 1268.78 ms โ 1201.30 ms โ +1.06x faster โ
โ QQuery 16 โ 2735.52 ms โ 2670.93 ms โ no change โ
โ QQuery 17 โ 2693.27 ms โ 2638.09 ms โ no change โ
โ QQuery 18 โ 5004.58 ms โ 4980.13 ms โ no change โ
โ QQuery 19 โ 126.91 ms โ 129.16 ms โ no change โ
โ QQuery 20 โ 2020.06 ms โ 2014.59 ms โ no change โ
โ QQuery 21 โ 2342.15 ms โ 2370.59 ms โ no change โ
โ QQuery 22 โ 4022.46 ms โ 3974.15 ms โ no change โ
โ QQuery 23 โ 12987.58 ms โ 12766.67 ms โ no change โ
โ QQuery 24 โ 223.72 ms โ 216.77 ms โ no change โ
โ QQuery 25 โ 530.05 ms โ 515.39 ms โ no change โ
โ QQuery 26 โ 218.28 ms โ 228.24 ms โ no change โ
โ QQuery 27 โ 2848.23 ms โ 2853.79 ms โ no change โ
โ QQuery 28 โ 24589.06 ms โ 23073.46 ms โ +1.07x faster โ
โ QQuery 29 โ 985.28 ms โ 984.18 ms โ no change โ
โ QQuery 30 โ 1378.77 ms โ 1326.54 ms โ no change โ
โ QQuery 31 โ 1358.69 ms โ 1345.74 ms โ no change โ
โ QQuery 32 โ 4866.04 ms โ 4509.12 ms โ +1.08x faster โ
โ QQuery 33 โ 5676.30 ms โ 5641.99 ms โ no change โ
โ QQuery 34 โ 6044.37 ms โ 5850.67 ms โ no change โ
โ QQuery 35 โ 2142.52 ms โ 2027.37 ms โ +1.06x faster โ
โ QQuery 36 โ 125.74 ms โ 119.96 ms โ no change โ
โ QQuery 37 โ 54.69 ms โ 52.47 ms โ no change โ
โ QQuery 38 โ 121.35 ms โ 122.05 ms โ no change โ
โ QQuery 39 โ 203.64 ms โ 195.61 ms โ no change โ
โ QQuery 40 โ 42.31 ms โ 44.21 ms โ no change โ
โ QQuery 41 โ 39.80 ms โ 39.07 ms โ no change โ
โ QQuery 42 โ 32.56 ms โ 32.23 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 97237.43ms โ
โ Total Time (alamb_update_arrow-56) โ 93785.75ms โ
โ Average Time (HEAD) โ 2261.34ms โ
โ Average Time (alamb_update_arrow-56) โ 2181.06ms โ
โ Queries Faster โ 9 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 34 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 170.30 ms โ 164.81 ms โ no change โ
โ QQuery 2 โ 27.88 ms โ 26.32 ms โ +1.06x faster โ
โ QQuery 3 โ 44.68 ms โ 45.71 ms โ no change โ
โ QQuery 4 โ 26.44 ms โ 26.66 ms โ no change โ
โ QQuery 5 โ 73.25 ms โ 75.90 ms โ no change โ
โ QQuery 6 โ 19.44 ms โ 19.62 ms โ no change โ
โ QQuery 7 โ 151.32 ms โ 150.90 ms โ no change โ
โ QQuery 8 โ 34.43 ms โ 34.16 ms โ no change โ
โ QQuery 9 โ 89.12 ms โ 87.60 ms โ no change โ
โ QQuery 10 โ 59.16 ms โ 58.85 ms โ no change โ
โ QQuery 11 โ 42.06 ms โ 42.67 ms โ no change โ
โ QQuery 12 โ 51.48 ms โ 51.83 ms โ no change โ
โ QQuery 13 โ 46.78 ms โ 46.57 ms โ no change โ
โ QQuery 14 โ 13.69 ms โ 14.39 ms โ 1.05x slower โ
โ QQuery 15 โ 24.04 ms โ 24.29 ms โ no change โ
โ QQuery 16 โ 24.11 ms โ 24.27 ms โ no change โ
โ QQuery 17 โ 149.19 ms โ 151.40 ms โ no change โ
โ QQuery 18 โ 332.44 ms โ 328.69 ms โ no change โ
โ QQuery 19 โ 36.16 ms โ 36.52 ms โ no change โ
โ QQuery 20 โ 48.57 ms โ 50.06 ms โ no change โ
โ QQuery 21 โ 236.25 ms โ 228.27 ms โ no change โ
โ QQuery 22 โ 20.16 ms โ 19.54 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1720.95ms โ
โ Total Time (alamb_update_arrow-56) โ 1709.00ms โ
โ Average Time (HEAD) โ 78.22ms โ
โ Average Time (alamb_update_arrow-56) โ 77.68ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 1 โ
โ Queries with No Change โ 20 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3312708824
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark clickbench_pushdown.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.16 ms โ 2.25 ms โ no change โ
โ QQuery 1 โ 54.78 ms โ 53.55 ms โ no change โ
โ QQuery 2 โ 133.94 ms โ 140.31 ms โ no change โ
โ QQuery 3 โ 167.52 ms โ 160.00 ms โ no change โ
โ QQuery 4 โ 1042.92 ms โ 1054.30 ms โ no change โ
โ QQuery 5 โ 1518.45 ms โ 1532.55 ms โ no change โ
โ QQuery 6 โ 2.14 ms โ 2.22 ms โ no change โ
โ QQuery 7 โ 71.80 ms โ 70.99 ms โ no change โ
โ QQuery 8 โ 1506.72 ms โ 1446.42 ms โ no change โ
โ QQuery 9 โ 1848.89 ms โ 1861.86 ms โ no change โ
โ QQuery 10 โ 484.83 ms โ 508.29 ms โ no change โ
โ QQuery 11 โ 558.17 ms โ 579.14 ms โ no change โ
โ QQuery 12 โ 1563.02 ms โ 1572.23 ms โ no change โ
โ QQuery 13 โ 2495.07 ms โ 2506.55 ms โ no change โ
โ QQuery 14 โ 1651.67 ms โ 1649.12 ms โ no change โ
โ QQuery 15 โ 1189.99 ms โ 1206.43 ms โ no change โ
โ QQuery 16 โ 2638.39 ms โ 2654.23 ms โ no change โ
โ QQuery 17 โ 2620.94 ms โ 2645.44 ms โ no change โ
โ QQuery 18 โ 5672.82 ms โ 4891.37 ms โ +1.16x faster โ
โ QQuery 19 โ 149.21 ms โ 145.50 ms โ no change โ
โ QQuery 20 โ 2111.32 ms โ 2009.77 ms โ no change โ
โ QQuery 21 โ 2554.14 ms โ 2397.77 ms โ +1.07x faster โ
โ QQuery 22 โ 7718.47 ms โ 4117.36 ms โ +1.87x faster โ
โ QQuery 23 โ 1170.35 ms โ 1141.92 ms โ no change โ
โ QQuery 24 โ 270.61 ms โ 260.89 ms โ no change โ
โ QQuery 25 โ 671.41 ms โ 673.84 ms โ no change โ
โ QQuery 26 โ 348.31 ms โ 367.61 ms โ 1.06x slower โ
โ QQuery 27 โ 3267.64 ms โ 3056.08 ms โ +1.07x faster โ
โ QQuery 28 โ 25125.91 ms โ 24548.22 ms โ no change โ
โ QQuery 29 โ 995.84 ms โ 964.46 ms โ no change โ
โ QQuery 30 โ 2170.12 ms โ 2150.99 ms โ no change โ
โ QQuery 31 โ 2095.29 ms โ 2070.47 ms โ no change โ
โ QQuery 32 โ 4646.12 ms โ 4266.47 ms โ +1.09x faster โ
โ QQuery 33 โ 5874.27 ms โ 5671.09 ms โ no change โ
โ QQuery 34 โ 5949.47 ms โ 6079.88 ms โ no change โ
โ QQuery 35 โ 2035.70 ms โ 2037.54 ms โ no change โ
โ QQuery 36 โ 25.88 ms โ 26.78 ms โ no change โ
โ QQuery 37 โ 25.92 ms โ 26.63 ms โ no change โ
โ QQuery 38 โ 25.67 ms โ 26.20 ms โ no change โ
โ QQuery 39 โ 25.88 ms โ 25.83 ms โ no change โ
โ QQuery 40 โ 28.54 ms โ 27.46 ms โ no change โ
โ QQuery 41 โ 26.63 ms โ 26.88 ms โ no change โ
โ QQuery 42 โ 26.12 ms โ 25.47 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 92563.02ms โ
โ Total Time (alamb_update_arrow-56) โ 86682.37ms โ
โ Average Time (HEAD) โ 2152.63ms โ
โ Average Time (alamb_update_arrow-56) โ 2015.87ms โ
โ Queries Faster โ 5 โ
โ Queries Slower โ 1 โ
โ Queries with No Change โ 37 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3314894126
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark clickbench_pushdown.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.22 ms โ 2.14 ms โ no change โ
โ QQuery 1 โ 55.08 ms โ 54.83 ms โ no change โ
โ QQuery 2 โ 135.16 ms โ 141.05 ms โ no change โ
โ QQuery 3 โ 166.76 ms โ 158.81 ms โ no change โ
โ QQuery 4 โ 1003.99 ms โ 990.60 ms โ no change โ
โ QQuery 5 โ 1453.68 ms โ 1466.46 ms โ no change โ
โ QQuery 6 โ 2.30 ms โ 2.11 ms โ +1.09x faster โ
โ QQuery 7 โ 71.06 ms โ 74.09 ms โ no change โ
โ QQuery 8 โ 1422.67 ms โ 1411.63 ms โ no change โ
โ QQuery 9 โ 1760.72 ms โ 1811.97 ms โ no change โ
โ QQuery 10 โ 479.29 ms โ 503.05 ms โ no change โ
โ QQuery 11 โ 541.15 ms โ 572.26 ms โ 1.06x slower โ
โ QQuery 12 โ 1499.49 ms โ 1551.04 ms โ no change โ
โ QQuery 13 โ 2388.21 ms โ 2465.22 ms โ no change โ
โ QQuery 14 โ 1614.33 ms โ 1653.23 ms โ no change โ
โ QQuery 15 โ 1152.16 ms โ 1169.62 ms โ no change โ
โ QQuery 16 โ 2559.68 ms โ 2600.36 ms โ no change โ
โ QQuery 17 โ 2539.28 ms โ 2585.74 ms โ no change โ
โ QQuery 18 โ 4901.89 ms โ 4858.58 ms โ no change โ
โ QQuery 19 โ 149.36 ms โ 145.84 ms โ no change โ
โ QQuery 20 โ 2020.79 ms โ 1986.36 ms โ no change โ
โ QQuery 21 โ 2481.69 ms โ 2389.84 ms โ no change โ
โ QQuery 22 โ 4243.47 ms โ 4091.54 ms โ no change โ
โ QQuery 23 โ 1185.90 ms โ 1114.43 ms โ +1.06x faster โ
โ QQuery 24 โ 255.17 ms โ 249.72 ms โ no change โ
โ QQuery 25 โ 668.66 ms โ 669.49 ms โ no change โ
โ QQuery 26 โ 359.41 ms โ 351.00 ms โ no change โ
โ QQuery 27 โ 3174.75 ms โ 3057.32 ms โ no change โ
โ QQuery 28 โ 24350.26 ms โ 24421.59 ms โ no change โ
โ QQuery 29 โ 956.58 ms โ 986.00 ms โ no change โ
โ QQuery 30 โ 2113.66 ms โ 2137.54 ms โ no change โ
โ QQuery 31 โ 2088.97 ms โ 2072.96 ms โ no change โ
โ QQuery 32 โ 5012.30 ms โ 4615.06 ms โ +1.09x faster โ
โ QQuery 33 โ 5811.04 ms โ 5581.83 ms โ no change โ
โ QQuery 34 โ 6107.68 ms โ 5851.20 ms โ no change โ
โ QQuery 35 โ 2025.77 ms โ 1976.87 ms โ no change โ
โ QQuery 36 โ 27.22 ms โ 25.96 ms โ no change โ
โ QQuery 37 โ 26.46 ms โ 26.48 ms โ no change โ
โ QQuery 38 โ 26.65 ms โ 26.31 ms โ no change โ
โ QQuery 39 โ 25.18 ms โ 25.57 ms โ no change โ
โ QQuery 40 โ 26.71 ms โ 26.90 ms โ no change โ
โ QQuery 41 โ 25.70 ms โ 25.58 ms โ no change โ
โ QQuery 42 โ 25.86 ms โ 25.23 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 86938.38ms โ
โ Total Time (alamb_update_arrow-56) โ 85953.44ms โ
โ Average Time (HEAD) โ 2021.82ms โ
โ Average Time (alamb_update_arrow-56) โ 1998.92ms โ
โ Queries Faster โ 3 โ
โ Queries Slower โ 1 โ
โ Queries with No Change โ 39 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3304163850
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (eb0657470e65103b573bb3ae42467adb77a58b3f) to e711f147e41fdb6c5899cd72bf2f4579011dac13 [diff](https://github.com/apache/datafusion/compare/e711f147e41fdb6c5899cd72bf2f4579011dac13..eb0657470e65103b573bb3ae42467adb77a58b3f) using: clickbench_pushdown
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3312709177
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (3c530bf38ec0faf6e0b14caa8c0552e23c04a432) to b9517a1a08c573af2ee0e8814413eb5d96b2e5bd [diff](https://github.com/apache/datafusion/compare/b9517a1a08c573af2ee0e8814413eb5d96b2e5bd..3c530bf38ec0faf6e0b14caa8c0552e23c04a432) using: tpch_mem clickbench_partitioned clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3314887827
> That clickbench_pushdown benchmark ... 87% faster? damn.
>
> ```
> QQuery 22 โ 7718.47 ms โ 4117.36 ms โ +1.87x faster
> ```
๐ค that does seem too good to be true -- I will rerun
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3326234600
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1016-gcp #17~24.04.1-Ubuntu SMP Wed Sep 3 01:55:36 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: clickbench_pushdown
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3324148151
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: clickbench_pushdown
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "Omega359 (via GitHub)" <gi...@apache.org>.
Omega359 commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3313613222
That clickbench_pushdown benchmark ... 87% faster? damn.
```
QQuery 22 โ 7718.47 ms โ 4117.36 ms โ +1.87x faster
```
to
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3325044329
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: tpch_mem
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb merged PR #17631:
URL: https://github.com/apache/datafusion/pull/17631
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3326336971
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_update_arrow-56.2
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_update_arrow-56 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2715.61 ms โ 2644.91 ms โ no change โ
โ QQuery 1 โ 1310.56 ms โ 1215.79 ms โ +1.08x faster โ
โ QQuery 2 โ 2560.32 ms โ 2384.65 ms โ +1.07x faster โ
โ QQuery 3 โ 1158.12 ms โ 1161.57 ms โ no change โ
โ QQuery 4 โ 2244.20 ms โ 2246.62 ms โ no change โ
โ QQuery 5 โ 27549.50 ms โ 27558.29 ms โ no change โ
โ QQuery 6 โ 4230.84 ms โ 4204.29 ms โ no change โ
โ QQuery 7 โ 3581.63 ms โ 3511.52 ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 45350.77ms โ
โ Total Time (alamb_update_arrow-56) โ 44927.64ms โ
โ Average Time (HEAD) โ 5668.85ms โ
โ Average Time (alamb_update_arrow-56) โ 5615.96ms โ
โ Queries Faster โ 2 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 6 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3324149526
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: clickbench_partitioned
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3324150141
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (81b4a56266ad543097d7b04030c76456b891543f) to 432995c676ff2105b8d8f116c378cd06569c30c1 [diff](https://github.com/apache/datafusion/compare/432995c676ff2105b8d8f116c378cd06569c30c1..81b4a56266ad543097d7b04030c76456b891543f) using: tpch_mem
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on code in PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#discussion_r2372436104
##########
Cargo.lock:
##########
@@ -1476,11 +1476,12 @@ checksum = "b05b61dc5112cbb17e4b6cd61790d9845d13888356391624cbe7e41efeac1e75"
[[package]]
name = "comfy-table"
-version = "7.2.1"
Review Comment:
This is b/c comfy table is pinned in arrow-rs due to MSRV changes:
https://github.com/apache/arrow-rs/pull/8318
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Update `arrow` / `parquet` to 56.2.0 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #17631:
URL: https://github.com/apache/datafusion/pull/17631#issuecomment-3314894147
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking/blob/main/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1014-gcp #15~24.04.1-Ubuntu SMP Fri Jul 25 23:26:08 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/update_arrow-56.2 (3c530bf38ec0faf6e0b14caa8c0552e23c04a432) to b9517a1a08c573af2ee0e8814413eb5d96b2e5bd [diff](https://github.com/apache/datafusion/compare/b9517a1a08c573af2ee0e8814413eb5d96b2e5bd..3c530bf38ec0faf6e0b14caa8c0552e23c04a432) using: tpch_topk
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org