You are viewing a plain text version of this content. The canonical link for it is here.
Posted to github@datafusion.apache.org by "alamb (via GitHub)" <gi...@apache.org> on 2026/02/12 14:24:10 UTC
[PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
alamb opened a new pull request, #20318:
URL: https://github.com/apache/datafusion/pull/20318
## Which issue does this PR close?
- related to https://github.com/apache/datafusion/issues/3463
- Follow on to https://github.com/apache/datafusion/pull/19477
## Rationale for this change
I am writing up the current state of DataFusion performance with pushdown enabled, and I want to measure our current status
I don't intend to merge this. I made a PR so I can run benchmarks
## What changes are included in this PR?
1. Include pre-release arrow-58 (which has several performance improvements): https://github.com/apache/datafusion/pull/19477
2. Enable Enable parquet filter pushdown by default #19477
## Are these changes tested?
N/A
## Are there any user-facing changes?
<!--
If there are user-facing changes then we may require documentation to be updated before approving the PR.
-->
<!--
If there are any breaking changes to public APIs, please add the `api change` label.
-->
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891261916
๐ค Hi @alamb, thanks for the request (https://github.com/apache/datafusion/pull/20318#issuecomment-3891260894).
[`scrape_comments.py`](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/scrape_comments.py) only supports whitelisted benchmarks.
- Standard: clickbench_1, clickbench_extended, clickbench_partitioned, clickbench_pushdown, external_aggr, tpcds, tpch, tpch10, tpch_mem, tpch_mem10
- Criterion: aggregate_query_sql, aggregate_vectorized, case_when, character_length, in_list, left, range_and_generate_series, reset_plan_states, sort, sql_planner, strpos, substr_index, with_hashes
Please choose one or more of these with `run benchmark <name>` or `run benchmark <name1> <name2>...`
You can also set environment variables on subsequent lines:
```
run benchmark tpch_mem
DATAFUSION_RUNTIME_MEMORY_LIMIT=1G
```
Unsupported benchmarks: tpch_mem_sf1.
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891257867
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (923c4146acc177894e0847a5aa5bd8939c871050) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..923c4146acc177894e0847a5aa5bd8939c871050) using: clickbench_partitioned
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891611527
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 106.36 ms โ 101.53 ms โ no change โ
โ QQuery 2 โ 33.05 ms โ 31.05 ms โ +1.06x faster โ
โ QQuery 3 โ 37.27 ms โ 35.90 ms โ no change โ
โ QQuery 4 โ 32.24 ms โ 31.09 ms โ no change โ
โ QQuery 5 โ 93.75 ms โ 81.95 ms โ +1.14x faster โ
โ QQuery 6 โ 21.07 ms โ 20.25 ms โ no change โ
โ QQuery 7 โ 159.62 ms โ 146.90 ms โ +1.09x faster โ
โ QQuery 8 โ 42.98 ms โ 39.57 ms โ +1.09x faster โ
โ QQuery 9 โ 111.61 ms โ 100.78 ms โ +1.11x faster โ
โ QQuery 10 โ 67.99 ms โ 63.06 ms โ +1.08x faster โ
โ QQuery 11 โ 18.50 ms โ 18.94 ms โ no change โ
โ QQuery 12 โ 52.30 ms โ 54.00 ms โ no change โ
โ QQuery 13 โ 49.77 ms โ 47.68 ms โ no change โ
โ QQuery 14 โ 14.97 ms โ 14.12 ms โ +1.06x faster โ
โ QQuery 15 โ 30.49 ms โ 29.21 ms โ no change โ
โ QQuery 16 โ 28.87 ms โ 27.64 ms โ no change โ
โ QQuery 17 โ 145.35 ms โ 143.02 ms โ no change โ
โ QQuery 18 โ 289.85 ms โ 269.10 ms โ +1.08x faster โ
โ QQuery 19 โ 40.12 ms โ 49.08 ms โ 1.22x slower โ
โ QQuery 20 โ 56.72 ms โ 57.28 ms โ no change โ
โ QQuery 21 โ 191.17 ms โ 189.19 ms โ no change โ
โ QQuery 22 โ 22.55 ms โ 22.26 ms โ no change โ
โโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1646.59ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 1573.60ms โ
โ Average Time (HEAD) โ 74.84ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 71.53ms โ
โ Queries Faster โ 8 โ
โ Queries Slower โ 1 โ
โ Queries with No Change โ 13 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891607133
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2378.40 ms โ 2201.32 ms โ +1.08x faster โ
โ QQuery 1 โ 898.97 ms โ 840.03 ms โ +1.07x faster โ
โ QQuery 2 โ 1791.06 ms โ 1626.59 ms โ +1.10x faster โ
โ QQuery 3 โ 1056.57 ms โ 1039.49 ms โ no change โ
โ QQuery 4 โ 2230.66 ms โ 2144.57 ms โ no change โ
โ QQuery 5 โ 28615.89 ms โ 26372.62 ms โ +1.09x faster โ
โ QQuery 6 โ 4004.29 ms โ 152.54 ms โ +26.25x faster โ
โ QQuery 7 โ 2720.77 ms โ 2785.82 ms โ no change โ
โโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 43696.61ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 37162.97ms โ
โ Average Time (HEAD) โ 5462.08ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 4645.37ms โ
โ Queries Faster โ 5 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 3 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3902662219
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark tpch_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 181.55 ms โ 187.58 ms โ no change โ
โ QQuery 2 โ 87.08 ms โ 96.47 ms โ 1.11x slower โ
โ QQuery 3 โ 123.00 ms โ 164.79 ms โ 1.34x slower โ
โ QQuery 4 โ 80.34 ms โ 135.09 ms โ 1.68x slower โ
โ QQuery 5 โ 175.70 ms โ 300.27 ms โ 1.71x slower โ
โ QQuery 6 โ 67.23 ms โ 192.49 ms โ 2.86x slower โ
โ QQuery 7 โ 207.56 ms โ 261.05 ms โ 1.26x slower โ
โ QQuery 8 โ 165.72 ms โ 314.26 ms โ 1.90x slower โ
โ QQuery 9 โ 226.75 ms โ 403.08 ms โ 1.78x slower โ
โ QQuery 10 โ 184.89 ms โ 264.31 ms โ 1.43x slower โ
โ QQuery 11 โ 60.23 ms โ 78.92 ms โ 1.31x slower โ
โ QQuery 12 โ 119.86 ms โ 257.45 ms โ 2.15x slower โ
โ QQuery 13 โ 220.63 ms โ 217.14 ms โ no change โ
โ QQuery 14 โ 85.38 ms โ 108.07 ms โ 1.27x slower โ
โ QQuery 15 โ 125.91 ms โ 200.68 ms โ 1.59x slower โ
โ QQuery 16 โ 61.51 ms โ 73.23 ms โ 1.19x slower โ
โ QQuery 17 โ 263.74 ms โ 335.43 ms โ 1.27x slower โ
โ QQuery 18 โ 314.92 ms โ 468.79 ms โ 1.49x slower โ
โ QQuery 19 โ 134.33 ms โ 146.95 ms โ 1.09x slower โ
โ QQuery 20 โ 128.72 ms โ 154.90 ms โ 1.20x slower โ
โ QQuery 21 โ 256.10 ms โ 352.36 ms โ 1.38x slower โ
โ QQuery 22 โ 41.50 ms โ 64.34 ms โ 1.55x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 3312.65ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 4777.66ms โ
โ Average Time (HEAD) โ 150.58ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 217.17ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 20 โ
โ Queries with No Change โ 2 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891259334
run benchmark clickbench_extended
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891438188
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.54 ms โ 2.59 ms โ no change โ
โ QQuery 1 โ 49.67 ms โ 49.78 ms โ no change โ
โ QQuery 2 โ 134.10 ms โ 152.95 ms โ 1.14x slower โ
โ QQuery 3 โ 155.24 ms โ 156.89 ms โ no change โ
โ QQuery 4 โ 1002.02 ms โ 1022.11 ms โ no change โ
โ QQuery 5 โ 1279.70 ms โ 1276.97 ms โ no change โ
โ QQuery 6 โ 6.54 ms โ 21.47 ms โ 3.28x slower โ
โ QQuery 7 โ 55.50 ms โ 65.21 ms โ 1.17x slower โ
โ QQuery 8 โ 1361.66 ms โ 1418.47 ms โ no change โ
โ QQuery 9 โ 1784.07 ms โ 1815.62 ms โ no change โ
โ QQuery 10 โ 333.30 ms โ 447.25 ms โ 1.34x slower โ
โ QQuery 11 โ 392.77 ms โ 494.71 ms โ 1.26x slower โ
โ QQuery 12 โ 1193.25 ms โ 1417.78 ms โ 1.19x slower โ
โ QQuery 13 โ 1901.29 ms โ 2056.60 ms โ 1.08x slower โ
โ QQuery 14 โ 1223.87 ms โ 1420.63 ms โ 1.16x slower โ
โ QQuery 15 โ 1146.25 ms โ 1193.73 ms โ no change โ
โ QQuery 16 โ 2462.82 ms โ 2471.52 ms โ no change โ
โ QQuery 17 โ 2466.41 ms โ 2369.56 ms โ no change โ
โ QQuery 18 โ 4990.28 ms โ 4544.09 ms โ +1.10x faster โ
โ QQuery 19 โ 121.77 ms โ 136.65 ms โ 1.12x slower โ
โ QQuery 20 โ 1924.82 ms โ 1840.60 ms โ no change โ
โ QQuery 21 โ 2206.94 ms โ 2276.71 ms โ no change โ
โ QQuery 22 โ 3699.15 ms โ 3776.51 ms โ no change โ
โ QQuery 23 โ 12166.40 ms โ 1289.23 ms โ +9.44x faster โ
โ QQuery 24 โ 216.43 ms โ 295.62 ms โ 1.37x slower โ
โ QQuery 25 โ 453.43 ms โ 605.15 ms โ 1.33x slower โ
โ QQuery 26 โ 211.98 ms โ 328.95 ms โ 1.55x slower โ
โ QQuery 27 โ 2644.08 ms โ 2909.34 ms โ 1.10x slower โ
โ QQuery 28 โ 23267.40 ms โ 24763.39 ms โ 1.06x slower โ
โ QQuery 29 โ 962.53 ms โ 964.69 ms โ no change โ
โ QQuery 30 โ 1262.47 ms โ 1253.99 ms โ no change โ
โ QQuery 31 โ 1315.46 ms โ 1273.97 ms โ no change โ
โ QQuery 32 โ 4319.41 ms โ 3864.61 ms โ +1.12x faster โ
โ QQuery 33 โ 5401.20 ms โ 4915.16 ms โ +1.10x faster โ
โ QQuery 34 โ 5862.38 ms โ 5446.49 ms โ +1.08x faster โ
โ QQuery 35 โ 1908.26 ms โ 1879.87 ms โ no change โ
โ QQuery 36 โ 189.23 ms โ 185.66 ms โ no change โ
โ QQuery 37 โ 79.13 ms โ 87.01 ms โ 1.10x slower โ
โ QQuery 38 โ 115.09 ms โ 91.86 ms โ +1.25x faster โ
โ QQuery 39 โ 340.85 ms โ 286.45 ms โ +1.19x faster โ
โ QQuery 40 โ 40.20 ms โ 56.08 ms โ 1.40x slower โ
โ QQuery 41 โ 34.76 ms โ 44.99 ms โ 1.29x slower โ
โ QQuery 42 โ 31.70 ms โ 34.01 ms โ 1.07x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 90716.33ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 81004.91ms โ
โ Average Time (HEAD) โ 2109.68ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 1883.84ms โ
โ Queries Faster โ 7 โ
โ Queries Slower โ 18 โ
โ Queries with No Change โ 18 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891569822
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2424.01 ms โ 2264.27 ms โ +1.07x faster โ
โ QQuery 1 โ 896.58 ms โ 890.50 ms โ no change โ
โ QQuery 2 โ 1727.03 ms โ 1713.88 ms โ no change โ
โ QQuery 3 โ 1016.56 ms โ 1040.16 ms โ no change โ
โ QQuery 4 โ 2196.14 ms โ 2198.21 ms โ no change โ
โ QQuery 5 โ 28540.31 ms โ 26699.31 ms โ +1.07x faster โ
โ QQuery 6 โ 3977.38 ms โ 155.90 ms โ +25.51x faster โ
โ QQuery 7 โ 2690.66 ms โ 2795.88 ms โ no change โ
โโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 43468.66ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 37758.10ms โ
โ Average Time (HEAD) โ 5433.58ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 4719.76ms โ
โ Queries Faster โ 3 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 5 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3892413613
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark tpcds_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 75.48 ms โ 73.25 ms โ no change โ
โ QQuery 2 โ 220.15 ms โ 249.00 ms โ 1.13x slower โ
โ QQuery 3 โ 161.55 ms โ 154.56 ms โ no change โ
โ QQuery 4 โ 2040.33 ms โ 2180.72 ms โ 1.07x slower โ
โ QQuery 5 โ 266.35 ms โ 261.51 ms โ no change โ
โ QQuery 6 โ 1433.08 ms โ 1283.80 ms โ +1.12x faster โ
โ QQuery 7 โ 533.58 ms โ 643.40 ms โ 1.21x slower โ
โ QQuery 8 โ 174.58 ms โ 172.05 ms โ no change โ
โ QQuery 9 โ 287.93 ms โ 826.95 ms โ 2.87x slower โ
โ QQuery 10 โ 179.52 ms โ 174.42 ms โ no change โ
โ QQuery 11 โ 1372.61 ms โ 1332.99 ms โ no change โ
โ QQuery 12 โ 69.61 ms โ 68.91 ms โ no change โ
โ QQuery 13 โ 559.77 ms โ 718.46 ms โ 1.28x slower โ
โ QQuery 14 โ 1942.88 ms โ 1913.50 ms โ no change โ
โ QQuery 15 โ 28.61 ms โ 123.53 ms โ 4.32x slower โ
โ QQuery 16 โ 67.86 ms โ 185.61 ms โ 2.74x slower โ
โ QQuery 17 โ 379.03 ms โ 441.14 ms โ 1.16x slower โ
โ QQuery 18 โ 201.62 ms โ 544.48 ms โ 2.70x slower โ
โ QQuery 19 โ 230.32 ms โ 215.25 ms โ +1.07x faster โ
โ QQuery 20 โ 25.65 ms โ 109.41 ms โ 4.27x slower โ
โ QQuery 21 โ 39.73 ms โ 390.74 ms โ 9.84x slower โ
โ QQuery 22 โ 754.07 ms โ 884.68 ms โ 1.17x slower โ
โ QQuery 23 โ 1801.18 ms โ 2218.34 ms โ 1.23x slower โ
โ QQuery 24 โ 709.73 ms โ 655.99 ms โ +1.08x faster โ
โ QQuery 25 โ 536.07 ms โ 509.66 ms โ no change โ
โ QQuery 26 โ 128.12 ms โ 420.94 ms โ 3.29x slower โ
โ QQuery 27 โ 523.23 ms โ 626.60 ms โ 1.20x slower โ
โ QQuery 28 โ 307.77 ms โ 489.98 ms โ 1.59x slower โ
โ QQuery 29 โ 461.58 ms โ 448.08 ms โ no change โ
โ QQuery 30 โ 78.63 ms โ 77.67 ms โ no change โ
โ QQuery 31 โ 316.05 ms โ 323.04 ms โ no change โ
โ QQuery 32 โ 82.84 ms โ 134.17 ms โ 1.62x slower โ
โ QQuery 33 โ 211.28 ms โ 209.26 ms โ no change โ
โ QQuery 34 โ 166.54 ms โ 161.88 ms โ no change โ
โ QQuery 35 โ 191.21 ms โ 234.11 ms โ 1.22x slower โ
โ QQuery 36 โ 286.80 ms โ 305.66 ms โ 1.07x slower โ
โ QQuery 37 โ 263.58 ms โ 924.59 ms โ 3.51x slower โ
โ QQuery 38 โ 158.55 ms โ 236.40 ms โ 1.49x slower โ
โ QQuery 39 โ 207.37 ms โ 1710.40 ms โ 8.25x slower โ
โ QQuery 40 โ 192.86 ms โ 188.71 ms โ no change โ
โ QQuery 41 โ 26.86 ms โ 29.11 ms โ 1.08x slower โ
โ QQuery 42 โ 148.49 ms โ 143.21 ms โ no change โ
โ QQuery 43 โ 133.93 ms โ 126.02 ms โ +1.06x faster โ
โ QQuery 44 โ 30.08 ms โ 28.82 ms โ no change โ
โ QQuery 45 โ 94.48 ms โ 83.31 ms โ +1.13x faster โ
โ QQuery 46 โ 345.83 ms โ 329.55 ms โ no change โ
โ QQuery 47 โ 1148.06 ms โ 1103.69 ms โ no change โ
โ QQuery 48 โ 413.61 ms โ 625.21 ms โ 1.51x slower โ
โ QQuery 49 โ 386.64 ms โ 605.55 ms โ 1.57x slower โ
โ QQuery 50 โ 347.31 ms โ 355.78 ms โ no change โ
โ QQuery 51 โ 306.80 ms โ 306.10 ms โ no change โ
โ QQuery 52 โ 150.80 ms โ 145.22 ms โ no change โ
โ QQuery 53 โ 148.46 ms โ 147.61 ms โ no change โ
โ QQuery 54 โ 210.74 ms โ 229.53 ms โ 1.09x slower โ
โ QQuery 55 โ 150.67 ms โ 143.89 ms โ no change โ
โ QQuery 56 โ 215.86 ms โ 209.39 ms โ no change โ
โ QQuery 57 โ 304.84 ms โ 448.57 ms โ 1.47x slower โ
โ QQuery 58 โ 520.17 ms โ 492.52 ms โ +1.06x faster โ
โ QQuery 59 โ 301.56 ms โ 330.98 ms โ 1.10x slower โ
โ QQuery 60 โ 215.51 ms โ 215.13 ms โ no change โ
โ QQuery 61 โ 258.08 ms โ 250.28 ms โ no change โ
โ QQuery 62 โ 1321.56 ms โ 1424.84 ms โ 1.08x slower โ
โ QQuery 63 โ 149.07 ms โ 147.13 ms โ no change โ
โ QQuery 64 โ 1165.08 ms โ 1201.76 ms โ no change โ
โ QQuery 65 โ 376.03 ms โ 365.59 ms โ no change โ
โ QQuery 66 โ 404.00 ms โ 407.06 ms โ no change โ
โ QQuery 67 โ 555.68 ms โ 788.10 ms โ 1.42x slower โ
โ QQuery 68 โ 386.69 ms โ 384.12 ms โ no change โ
โ QQuery 69 โ 174.36 ms โ 172.45 ms โ no change โ
โ QQuery 70 โ 506.01 ms โ 484.21 ms โ no change โ
โ QQuery 71 โ 193.39 ms โ 190.25 ms โ no change โ
โ QQuery 72 โ 2189.18 ms โ 12242.97 ms โ 5.59x slower โ
โ QQuery 73 โ 164.19 ms โ 155.18 ms โ +1.06x faster โ
โ QQuery 74 โ 867.59 ms โ 840.62 ms โ no change โ
โ QQuery 75 โ 427.76 ms โ 402.18 ms โ +1.06x faster โ
โ QQuery 76 โ 187.90 ms โ 203.95 ms โ 1.09x slower โ
โ QQuery 77 โ 286.60 ms โ 286.43 ms โ no change โ
โ QQuery 78 โ 701.75 ms โ 674.86 ms โ no change โ
โ QQuery 79 โ 343.36 ms โ 337.80 ms โ no change โ
โ QQuery 80 โ 528.11 ms โ 523.12 ms โ no change โ
โ QQuery 81 โ 54.02 ms โ 61.98 ms โ 1.15x slower โ
โ QQuery 82 โ 286.83 ms โ 940.70 ms โ 3.28x slower โ
โ QQuery 83 โ 79.74 ms โ 78.86 ms โ no change โ
โ QQuery 84 โ 69.64 ms โ 76.26 ms โ 1.10x slower โ
โ QQuery 85 โ 219.11 ms โ 323.20 ms โ 1.48x slower โ
โ QQuery 86 โ 60.66 ms โ 66.82 ms โ 1.10x slower โ
โ QQuery 87 โ 163.29 ms โ 228.37 ms โ 1.40x slower โ
โ QQuery 88 โ 271.66 ms โ 253.42 ms โ +1.07x faster โ
โ QQuery 89 โ 172.19 ms โ 161.75 ms โ +1.06x faster โ
โ QQuery 90 โ 47.17 ms โ 43.08 ms โ +1.09x faster โ
โ QQuery 91 โ 97.18 ms โ 157.17 ms โ 1.62x slower โ
โ QQuery 92 โ 82.80 ms โ 80.54 ms โ no change โ
โ QQuery 93 โ 293.95 ms โ 288.55 ms โ no change โ
โ QQuery 94 โ 92.43 ms โ 90.55 ms โ no change โ
โ QQuery 95 โ 250.36 ms โ 247.14 ms โ no change โ
โ QQuery 96 โ 115.64 ms โ 113.96 ms โ no change โ
โ QQuery 97 โ 200.19 ms โ 224.63 ms โ 1.12x slower โ
โ QQuery 98 โ 219.75 ms โ 217.71 ms โ no change โ
โ QQuery 99 โ 14154.38 ms โ 15957.20 ms โ 1.13x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 51385.77ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 70017.81ms โ
โ Average Time (HEAD) โ 519.05ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 707.25ms โ
โ Queries Faster โ 11 โ
โ Queries Slower โ 41 โ
โ Queries with No Change โ 47 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891257090
run benchmark clickbench_partitioned
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3902662271
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (1a62650133c0461d502bd87d57daa2d376ec7c0c) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..1a62650133c0461d502bd87d57daa2d376ec7c0c) using: tpcds
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891259644
run benchmark clickbench_extended
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3902626459
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (1a62650133c0461d502bd87d57daa2d376ec7c0c) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..1a62650133c0461d502bd87d57daa2d376ec7c0c) using: tpch
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891438599
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (923c4146acc177894e0847a5aa5bd8939c871050) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..923c4146acc177894e0847a5aa5bd8939c871050) using: clickbench_partitioned
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891570094
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (923c4146acc177894e0847a5aa5bd8939c871050) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..923c4146acc177894e0847a5aa5bd8939c871050) using: clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891609596
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (923c4146acc177894e0847a5aa5bd8939c871050) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..923c4146acc177894e0847a5aa5bd8939c871050) using: tpch_mem
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891260483
run benchmark tpch_mem_sf1
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891260733
๐ค Hi @alamb, thanks for the request (https://github.com/apache/datafusion/pull/20318#issuecomment-3891260483).
[`scrape_comments.py`](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/scrape_comments.py) only supports whitelisted benchmarks.
- Standard: clickbench_1, clickbench_extended, clickbench_partitioned, clickbench_pushdown, external_aggr, tpcds, tpch, tpch10, tpch_mem, tpch_mem10
- Criterion: aggregate_query_sql, aggregate_vectorized, case_when, character_length, in_list, left, range_and_generate_series, reset_plan_states, sort, sql_planner, strpos, substr_index, with_hashes
Please choose one or more of these with `run benchmark <name>` or `run benchmark <name1> <name2>...`
You can also set environment variables on subsequent lines:
```
run benchmark tpch_mem
DATAFUSION_RUNTIME_MEMORY_LIMIT=1G
```
Unsupported benchmarks: tpch_mem_sf1.
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb closed pull request #20318: (testing) Enable parquet filter pushdown by default + arrow/parquet 58
URL: https://github.com/apache/datafusion/pull/20318
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "Dandandan (via GitHub)" <gi...@apache.org>.
Dandandan commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3902626696
Arun benchmarks
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891257375
run benchmark clickbench_partitioned
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891263654
run benchmark tpch_mem
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891529362
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2.81 ms โ 2.58 ms โ +1.09x faster โ
โ QQuery 1 โ 53.36 ms โ 51.36 ms โ no change โ
โ QQuery 2 โ 138.31 ms โ 146.87 ms โ 1.06x slower โ
โ QQuery 3 โ 154.82 ms โ 153.50 ms โ no change โ
โ QQuery 4 โ 1110.04 ms โ 1077.24 ms โ no change โ
โ QQuery 5 โ 1310.23 ms โ 1272.98 ms โ no change โ
โ QQuery 6 โ 7.76 ms โ 20.61 ms โ 2.66x slower โ
โ QQuery 7 โ 55.67 ms โ 65.31 ms โ 1.17x slower โ
โ QQuery 8 โ 1476.10 ms โ 1420.14 ms โ no change โ
โ QQuery 9 โ 1879.80 ms โ 1805.76 ms โ no change โ
โ QQuery 10 โ 351.06 ms โ 449.23 ms โ 1.28x slower โ
โ QQuery 11 โ 406.80 ms โ 505.24 ms โ 1.24x slower โ
โ QQuery 12 โ 1247.96 ms โ 1439.42 ms โ 1.15x slower โ
โ QQuery 13 โ 1981.93 ms โ 2034.41 ms โ no change โ
โ QQuery 14 โ 1271.07 ms โ 1396.64 ms โ 1.10x slower โ
โ QQuery 15 โ 1223.15 ms โ 1220.46 ms โ no change โ
โ QQuery 16 โ 2523.80 ms โ 2467.70 ms โ no change โ
โ QQuery 17 โ 2544.85 ms โ 2391.66 ms โ +1.06x faster โ
โ QQuery 18 โ 5035.60 ms โ 4898.41 ms โ no change โ
โ QQuery 19 โ 124.82 ms โ 137.42 ms โ 1.10x slower โ
โ QQuery 20 โ 1922.41 ms โ 1907.65 ms โ no change โ
โ QQuery 21 โ 2200.87 ms โ 2356.04 ms โ 1.07x slower โ
โ QQuery 22 โ 3716.51 ms โ 3899.73 ms โ no change โ
โ QQuery 23 โ 12055.96 ms โ 1321.08 ms โ +9.13x faster โ
โ QQuery 24 โ 198.85 ms โ 296.89 ms โ 1.49x slower โ
โ QQuery 25 โ 445.60 ms โ 616.07 ms โ 1.38x slower โ
โ QQuery 26 โ 204.68 ms โ 337.91 ms โ 1.65x slower โ
โ QQuery 27 โ 2650.19 ms โ 3009.02 ms โ 1.14x slower โ
โ QQuery 28 โ 23181.42 ms โ 25091.80 ms โ 1.08x slower โ
โ QQuery 29 โ 980.31 ms โ 960.08 ms โ no change โ
โ QQuery 30 โ 1244.17 ms โ 1282.02 ms โ no change โ
โ QQuery 31 โ 1328.09 ms โ 1286.01 ms โ no change โ
โ QQuery 32 โ 4528.86 ms โ 3926.21 ms โ +1.15x faster โ
โ QQuery 33 โ 5521.76 ms โ 5451.19 ms โ no change โ
โ QQuery 34 โ 6214.27 ms โ 5608.04 ms โ +1.11x faster โ
โ QQuery 35 โ 1957.10 ms โ 1923.73 ms โ no change โ
โ QQuery 36 โ 188.75 ms โ 183.39 ms โ no change โ
โ QQuery 37 โ 75.45 ms โ 89.47 ms โ 1.19x slower โ
โ QQuery 38 โ 115.31 ms โ 90.58 ms โ +1.27x faster โ
โ QQuery 39 โ 354.15 ms โ 304.10 ms โ +1.16x faster โ
โ QQuery 40 โ 38.78 ms โ 58.80 ms โ 1.52x slower โ
โ QQuery 41 โ 35.82 ms โ 45.16 ms โ 1.26x slower โ
โ QQuery 42 โ 30.56 ms โ 35.31 ms โ 1.16x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 92089.81ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 83037.20ms โ
โ Average Time (HEAD) โ 2141.62ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 1931.10ms โ
โ Queries Faster โ 7 โ
โ Queries Slower โ 18 โ
โ Queries with No Change โ 18 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891263455
run benchmark tpch_mem
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891260894
run benchmark tpch_mem_sf1
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891609365
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 104.99 ms โ 100.83 ms โ no change โ
โ QQuery 2 โ 32.95 ms โ 30.83 ms โ +1.07x faster โ
โ QQuery 3 โ 40.60 ms โ 39.16 ms โ no change โ
โ QQuery 4 โ 32.80 ms โ 30.89 ms โ +1.06x faster โ
โ QQuery 5 โ 95.09 ms โ 82.64 ms โ +1.15x faster โ
โ QQuery 6 โ 21.07 ms โ 20.40 ms โ no change โ
โ QQuery 7 โ 168.03 ms โ 149.95 ms โ +1.12x faster โ
โ QQuery 8 โ 42.12 ms โ 40.97 ms โ no change โ
โ QQuery 9 โ 115.70 ms โ 99.18 ms โ +1.17x faster โ
โ QQuery 10 โ 68.88 ms โ 64.35 ms โ +1.07x faster โ
โ QQuery 11 โ 19.61 ms โ 18.59 ms โ +1.05x faster โ
โ QQuery 12 โ 53.31 ms โ 55.25 ms โ no change โ
โ QQuery 13 โ 53.77 ms โ 48.52 ms โ +1.11x faster โ
โ QQuery 14 โ 16.40 ms โ 14.70 ms โ +1.12x faster โ
โ QQuery 15 โ 31.81 ms โ 30.36 ms โ no change โ
โ QQuery 16 โ 30.21 ms โ 27.11 ms โ +1.11x faster โ
โ QQuery 17 โ 149.61 ms โ 145.43 ms โ no change โ
โ QQuery 18 โ 291.95 ms โ 271.26 ms โ +1.08x faster โ
โ QQuery 19 โ 39.49 ms โ 42.83 ms โ 1.08x slower โ
โ QQuery 20 โ 56.84 ms โ 56.33 ms โ no change โ
โ QQuery 21 โ 190.47 ms โ 187.73 ms โ no change โ
โ QQuery 22 โ 23.35 ms โ 22.91 ms โ no change โ
โโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1679.05ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 1580.22ms โ
โ Average Time (HEAD) โ 76.32ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 71.83ms โ
โ Queries Faster โ 11 โ
โ Queries Slower โ 1 โ
โ Queries with No Change โ 10 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891732123
(to be clear, a lot of the performance improvements reported above are due to improvements in arrow 58, not the predicate pushdown)
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "Dandandan (via GitHub)" <gi...@apache.org>.
Dandandan commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3892346381
run benchmark tpch tpcds
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "Dandandan (via GitHub)" <gi...@apache.org>.
Dandandan commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3902626147
run benchmark tpch tpcds
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891607418
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (923c4146acc177894e0847a5aa5bd8939c871050) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..923c4146acc177894e0847a5aa5bd8939c871050) using: tpch_mem
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3891529727
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (923c4146acc177894e0847a5aa5bd8939c871050) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..923c4146acc177894e0847a5aa5bd8939c871050) using: clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3892346722
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (923c4146acc177894e0847a5aa5bd8939c871050) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..923c4146acc177894e0847a5aa5bd8939c871050) using: tpch
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3892350555
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark tpch_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 187.00 ms โ 190.32 ms โ no change โ
โ QQuery 2 โ 89.18 ms โ 84.21 ms โ +1.06x faster โ
โ QQuery 3 โ 124.97 ms โ 162.52 ms โ 1.30x slower โ
โ QQuery 4 โ 80.07 ms โ 136.22 ms โ 1.70x slower โ
โ QQuery 5 โ 177.33 ms โ 210.44 ms โ 1.19x slower โ
โ QQuery 6 โ 69.15 ms โ 109.86 ms โ 1.59x slower โ
โ QQuery 7 โ 209.66 ms โ 220.48 ms โ 1.05x slower โ
โ QQuery 8 โ 171.69 ms โ 216.61 ms โ 1.26x slower โ
โ QQuery 9 โ 223.37 ms โ 222.79 ms โ no change โ
โ QQuery 10 โ 186.81 ms โ 235.06 ms โ 1.26x slower โ
โ QQuery 11 โ 60.92 ms โ 61.68 ms โ no change โ
โ QQuery 12 โ 120.32 ms โ 238.46 ms โ 1.98x slower โ
โ QQuery 13 โ 228.85 ms โ 220.69 ms โ no change โ
โ QQuery 14 โ 86.11 ms โ 99.12 ms โ 1.15x slower โ
โ QQuery 15 โ 125.72 ms โ 185.16 ms โ 1.47x slower โ
โ QQuery 16 โ 60.59 ms โ 69.45 ms โ 1.15x slower โ
โ QQuery 17 โ 258.94 ms โ 260.92 ms โ no change โ
โ QQuery 18 โ 320.51 ms โ 310.79 ms โ no change โ
โ QQuery 19 โ 138.77 ms โ 196.96 ms โ 1.42x slower โ
โ QQuery 20 โ 127.37 ms โ 150.18 ms โ 1.18x slower โ
โ QQuery 21 โ 266.11 ms โ 312.84 ms โ 1.18x slower โ
โ QQuery 22 โ 40.86 ms โ 48.72 ms โ 1.19x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 3354.28ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 3943.49ms โ
โ Average Time (HEAD) โ 152.47ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 179.25ms โ
โ Queries Faster โ 1 โ
โ Queries Slower โ 15 โ
โ Queries with No Change โ 6 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3892350764
๐ค `./gh_compare_branch.sh` [gh_compare_branch.sh](https://github.com/alamb/datafusion-benchmarking/blob/main/scripts/gh_compare_branch.sh) Running
Linux aal-dev 6.14.0-1018-gcp #19~24.04.1-Ubuntu SMP Wed Sep 24 23:23:09 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/pushdown_and_arrow_58 (923c4146acc177894e0847a5aa5bd8939c871050) to ecf3b502cfd8c5baeaabb97737605ef66549c753 [diff](https://github.com/apache/datafusion/compare/ecf3b502cfd8c5baeaabb97737605ef66549c753..923c4146acc177894e0847a5aa5bd8939c871050) using: tpcds
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] (testing) Enable parquet filter pushdown by default + arrow/parquet 58 [datafusion]
Posted by "alamb-ghbot (via GitHub)" <gi...@apache.org>.
alamb-ghbot commented on PR #20318:
URL: https://github.com/apache/datafusion/pull/20318#issuecomment-3902690761
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_pushdown_and_arrow_58
--------------------
Benchmark tpcds_sf1.json
--------------------
โโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_pushdown_and_arrow_58 โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 75.10 ms โ 85.22 ms โ 1.13x slower โ
โ QQuery 2 โ 222.46 ms โ 280.11 ms โ 1.26x slower โ
โ QQuery 3 โ 158.50 ms โ 153.69 ms โ no change โ
โ QQuery 4 โ 2015.64 ms โ 1644.71 ms โ +1.23x faster โ
โ QQuery 5 โ 265.20 ms โ 299.79 ms โ 1.13x slower โ
โ QQuery 6 โ 1454.58 ms โ 414.50 ms โ +3.51x faster โ
โ QQuery 7 โ 519.84 ms โ 505.17 ms โ no change โ
โ QQuery 8 โ 172.98 ms โ 236.57 ms โ 1.37x slower โ
โ QQuery 9 โ 302.27 ms โ 928.08 ms โ 3.07x slower โ
โ QQuery 10 โ 178.84 ms โ 166.60 ms โ +1.07x faster โ
โ QQuery 11 โ 1336.92 ms โ 1073.54 ms โ +1.25x faster โ
โ QQuery 12 โ 70.65 ms โ 55.64 ms โ +1.27x faster โ
โ QQuery 13 โ 549.45 ms โ 866.89 ms โ 1.58x slower โ
โ QQuery 14 โ 1951.95 ms โ 2458.17 ms โ 1.26x slower โ
โ QQuery 15 โ 27.79 ms โ 32.97 ms โ 1.19x slower โ
โ QQuery 16 โ 65.36 ms โ 65.52 ms โ no change โ
โ QQuery 17 โ 369.43 ms โ 298.22 ms โ +1.24x faster โ
โ QQuery 18 โ 197.12 ms โ 587.82 ms โ 2.98x slower โ
โ QQuery 19 โ 224.21 ms โ 189.28 ms โ +1.18x faster โ
โ QQuery 20 โ 25.69 ms โ 27.39 ms โ 1.07x slower โ
โ QQuery 21 โ 38.40 ms โ 48.76 ms โ 1.27x slower โ
โ QQuery 22 โ 727.23 ms โ 769.53 ms โ 1.06x slower โ
โ QQuery 23 โ 1802.97 ms โ 2399.64 ms โ 1.33x slower โ
โ QQuery 24 โ 705.81 ms โ 250.18 ms โ +2.82x faster โ
โ QQuery 25 โ 532.40 ms โ 441.30 ms โ +1.21x faster โ
โ QQuery 26 โ 129.23 ms โ 254.76 ms โ 1.97x slower โ
โ QQuery 27 โ 527.84 ms โ 513.91 ms โ no change โ
โ QQuery 28 โ 306.12 ms โ 494.28 ms โ 1.61x slower โ
โ QQuery 29 โ 461.15 ms โ 383.19 ms โ +1.20x faster โ
โ QQuery 30 โ 79.13 ms โ 88.53 ms โ 1.12x slower โ
โ QQuery 31 โ 307.70 ms โ 292.09 ms โ +1.05x faster โ
โ QQuery 32 โ 82.73 ms โ 75.19 ms โ +1.10x faster โ
โ QQuery 33 โ 208.42 ms โ 202.10 ms โ no change โ
โ QQuery 34 โ 164.66 ms โ 194.46 ms โ 1.18x slower โ
โ QQuery 35 โ 179.90 ms โ 241.63 ms โ 1.34x slower โ
โ QQuery 36 โ 289.75 ms โ 348.78 ms โ 1.20x slower โ
โ QQuery 37 โ 264.54 ms โ 921.22 ms โ 3.48x slower โ
โ QQuery 38 โ 158.08 ms โ 179.47 ms โ 1.14x slower โ
โ QQuery 39 โ 200.39 ms โ 212.70 ms โ 1.06x slower โ
โ QQuery 40 โ 185.73 ms โ 188.76 ms โ no change โ
โ QQuery 41 โ 26.39 ms โ 29.28 ms โ 1.11x slower โ
โ QQuery 42 โ 148.19 ms โ 145.35 ms โ no change โ
โ QQuery 43 โ 132.49 ms โ 168.02 ms โ 1.27x slower โ
โ QQuery 44 โ 28.84 ms โ 29.17 ms โ no change โ
โ QQuery 45 โ 86.55 ms โ 70.38 ms โ +1.23x faster โ
โ QQuery 46 โ 335.49 ms โ 323.58 ms โ no change โ
โ QQuery 47 โ 1115.13 ms โ 1243.92 ms โ 1.12x slower โ
โ QQuery 48 โ 417.75 ms โ 733.36 ms โ 1.76x slower โ
โ QQuery 49 โ 388.59 ms โ 534.83 ms โ 1.38x slower โ
โ QQuery 50 โ 339.13 ms โ 736.95 ms โ 2.17x slower โ
โ QQuery 51 โ 311.83 ms โ 358.84 ms โ 1.15x slower โ
โ QQuery 52 โ 148.97 ms โ 146.85 ms โ no change โ
โ QQuery 53 โ 146.26 ms โ 213.67 ms โ 1.46x slower โ
โ QQuery 54 โ 208.22 ms โ 184.31 ms โ +1.13x faster โ
โ QQuery 55 โ 147.06 ms โ 141.92 ms โ no change โ
โ QQuery 56 โ 210.10 ms โ 192.75 ms โ +1.09x faster โ
โ QQuery 57 โ 296.19 ms โ 316.70 ms โ 1.07x slower โ
โ QQuery 58 โ 497.05 ms โ 591.61 ms โ 1.19x slower โ
โ QQuery 59 โ 299.61 ms โ 396.07 ms โ 1.32x slower โ
โ QQuery 60 โ 215.70 ms โ 202.60 ms โ +1.06x faster โ
โ QQuery 61 โ 248.89 ms โ 272.39 ms โ 1.09x slower โ
โ QQuery 62 โ 1279.78 ms โ 1413.86 ms โ 1.10x slower โ
โ QQuery 63 โ 149.97 ms โ 215.77 ms โ 1.44x slower โ
โ QQuery 64 โ 1194.15 ms โ 31181.42 ms โ 26.11x slower โ
โ QQuery 65 โ 370.76 ms โ 442.73 ms โ 1.19x slower โ
โ QQuery 66 โ 398.30 ms โ 284.72 ms โ +1.40x faster โ
โ QQuery 67 โ 548.34 ms โ 881.14 ms โ 1.61x slower โ
โ QQuery 68 โ 391.96 ms โ 345.02 ms โ +1.14x faster โ
โ QQuery 69 โ 170.03 ms โ 173.57 ms โ no change โ
โ QQuery 70 โ 509.93 ms โ 662.31 ms โ 1.30x slower โ
โ QQuery 71 โ 190.15 ms โ 176.74 ms โ +1.08x faster โ
โ QQuery 72 โ 2175.31 ms โ 1701.82 ms โ +1.28x faster โ
โ QQuery 73 โ 159.49 ms โ 175.82 ms โ 1.10x slower โ
โ QQuery 74 โ 848.92 ms โ 744.12 ms โ +1.14x faster โ
โ QQuery 75 โ 419.72 ms โ 452.01 ms โ 1.08x slower โ
โ QQuery 76 โ 189.48 ms โ 388.61 ms โ 2.05x slower โ
โ QQuery 77 โ 287.58 ms โ 334.25 ms โ 1.16x slower โ
โ QQuery 78 โ 695.30 ms โ 667.96 ms โ no change โ
โ QQuery 79 โ 340.46 ms โ 377.60 ms โ 1.11x slower โ
โ QQuery 80 โ 535.09 ms โ 521.25 ms โ no change โ
โ QQuery 81 โ 52.30 ms โ 56.36 ms โ 1.08x slower โ
โ QQuery 82 โ 288.62 ms โ 236.39 ms โ +1.22x faster โ
โ QQuery 83 โ 78.90 ms โ 103.90 ms โ 1.32x slower โ
โ QQuery 84 โ 71.06 ms โ 96.77 ms โ 1.36x slower โ
โ QQuery 85 โ 215.07 ms โ 417.95 ms โ 1.94x slower โ
โ QQuery 86 โ 60.32 ms โ 70.79 ms โ 1.17x slower โ
โ QQuery 87 โ 156.75 ms โ 173.55 ms โ 1.11x slower โ
โ QQuery 88 โ 272.36 ms โ 321.71 ms โ 1.18x slower โ
โ QQuery 89 โ 169.29 ms โ 241.85 ms โ 1.43x slower โ
โ QQuery 90 โ 47.57 ms โ 48.82 ms โ no change โ
โ QQuery 91 โ 99.52 ms โ 154.72 ms โ 1.55x slower โ
โ QQuery 92 โ 82.81 ms โ 75.09 ms โ +1.10x faster โ
โ QQuery 93 โ 288.36 ms โ 285.39 ms โ no change โ
โ QQuery 94 โ 91.70 ms โ 93.05 ms โ no change โ
โ QQuery 95 โ 255.78 ms โ 310.82 ms โ 1.22x slower โ
โ QQuery 96 โ 120.12 ms โ 127.56 ms โ 1.06x slower โ
โ QQuery 97 โ 199.65 ms โ 238.74 ms โ 1.20x slower โ
โ QQuery 98 โ 220.50 ms โ 161.47 ms โ +1.37x faster โ
โ QQuery 99 โ 14188.44 ms โ 16174.74 ms โ 1.14x slower โ
โโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 51098.43ms โ
โ Total Time (alamb_pushdown_and_arrow_58) โ 86433.33ms โ
โ Average Time (HEAD) โ 516.15ms โ
โ Average Time (alamb_pushdown_and_arrow_58) โ 873.06ms โ
โ Queries Faster โ 24 โ
โ Queries Slower โ 58 โ
โ Queries with No Change โ 17 โ
โ Queries with Failure โ 0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org