You are viewing a plain text version of this content. The canonical link for it is here.
Posted to github@datafusion.apache.org by "alamb (via GitHub)" <gi...@apache.org> on 2025/04/03 19:26:23 UTC
[PR] Run audit CI check on all pushes to main [datafusion]
alamb opened a new pull request, #15572:
URL: https://github.com/apache/datafusion/pull/15572
## Which issue does this PR close?
- Part of https://github.com/apache/datafusion/issues/15571
## Rationale for this change
We should be running the AUDIT check on all PRs to main so we don't see it for the first time on unrelated PRs
## What changes are included in this PR?
Add additional trigger for `audit` CI job on pushes to main
## Are these changes tested?
<!--
We typically require tests for all PRs in order to:
1. Prevent the code from being accidentally broken by subsequent changes
2. Serve as another way to document the expected behavior of the code
If tests are not included in your PR, please explain why (for example, are they covered by existing tests)?
-->
## Are there any user-facing changes?
<!--
If there are user-facing changes then we may require documentation to be updated before approving the PR.
-->
<!--
If there are any breaking changes to public APIs, please add the `api change` label.
-->
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Run audit CI check on all pushes to main [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #15572:
URL: https://github.com/apache/datafusion/pull/15572#issuecomment-2779334855
๐ค: Benchmark completed
<details><summary>Details</summary>
<p>
```
Comparing HEAD and alamb_run_audit
--------------------
Benchmark clickbench_extended.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_run_audit โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 2043.69ms โ 2005.19ms โ no change โ
โ QQuery 1 โ 685.14ms โ 698.97ms โ no change โ
โ QQuery 2 โ 1434.62ms โ 1453.63ms โ no change โ
โ QQuery 3 โ 712.95ms โ 720.18ms โ no change โ
โ QQuery 4 โ 1490.96ms โ 1491.47ms โ no change โ
โ QQuery 5 โ 16989.12ms โ 17116.63ms โ no change โ
โ QQuery 6 โ 6580.71ms โ 6645.22ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 29937.19ms โ
โ Total Time (alamb_run_audit) โ 30131.30ms โ
โ Average Time (HEAD) โ 4276.74ms โ
โ Average Time (alamb_run_audit) โ 4304.47ms โ
โ Queries Faster โ 0 โ
โ Queries Slower โ 0 โ
โ Queries with No Change โ 7 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark clickbench_partitioned.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_run_audit โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 0 โ 1.97ms โ 2.28ms โ 1.16x slower โ
โ QQuery 1 โ 35.60ms โ 34.69ms โ no change โ
โ QQuery 2 โ 91.11ms โ 91.12ms โ no change โ
โ QQuery 3 โ 105.26ms โ 103.43ms โ no change โ
โ QQuery 4 โ 822.73ms โ 746.59ms โ +1.10x faster โ
โ QQuery 5 โ 873.54ms โ 859.47ms โ no change โ
โ QQuery 6 โ 33.58ms โ 34.09ms โ no change โ
โ QQuery 7 โ 39.57ms โ 40.08ms โ no change โ
โ QQuery 8 โ 966.45ms โ 961.07ms โ no change โ
โ QQuery 9 โ 1259.08ms โ 1240.50ms โ no change โ
โ QQuery 10 โ 275.04ms โ 263.91ms โ no change โ
โ QQuery 11 โ 304.16ms โ 310.92ms โ no change โ
โ QQuery 12 โ 983.26ms โ 962.09ms โ no change โ
โ QQuery 13 โ 1422.20ms โ 1453.85ms โ no change โ
โ QQuery 14 โ 883.19ms โ 885.65ms โ no change โ
โ QQuery 15 โ 1086.87ms โ 1074.85ms โ no change โ
โ QQuery 16 โ 1784.18ms โ 1812.66ms โ no change โ
โ QQuery 17 โ 1667.28ms โ 1653.21ms โ no change โ
โ QQuery 18 โ 3177.44ms โ 3174.13ms โ no change โ
โ QQuery 19 โ 86.35ms โ 86.23ms โ no change โ
โ QQuery 20 โ 1153.20ms โ 1134.69ms โ no change โ
โ QQuery 21 โ 1364.11ms โ 1399.94ms โ no change โ
โ QQuery 22 โ 2494.81ms โ 2485.57ms โ no change โ
โ QQuery 23 โ 8655.12ms โ 8649.43ms โ no change โ
โ QQuery 24 โ 484.40ms โ 487.64ms โ no change โ
โ QQuery 25 โ 399.46ms โ 390.43ms โ no change โ
โ QQuery 26 โ 548.36ms โ 549.28ms โ no change โ
โ QQuery 27 โ 1707.05ms โ 1715.99ms โ no change โ
โ QQuery 28 โ 12847.02ms โ 12902.25ms โ no change โ
โ QQuery 29 โ 537.66ms โ 539.92ms โ no change โ
โ QQuery 30 โ 859.14ms โ 853.98ms โ no change โ
โ QQuery 31 โ 912.61ms โ 903.32ms โ no change โ
โ QQuery 32 โ 2760.73ms โ 2809.73ms โ no change โ
โ QQuery 33 โ 3462.10ms โ 3467.83ms โ no change โ
โ QQuery 34 โ 3473.89ms โ 3447.05ms โ no change โ
โ QQuery 35 โ 1346.15ms โ 1350.80ms โ no change โ
โ QQuery 36 โ 223.16ms โ 223.69ms โ no change โ
โ QQuery 37 โ 93.38ms โ 89.49ms โ no change โ
โ QQuery 38 โ 126.26ms โ 126.32ms โ no change โ
โ QQuery 39 โ 434.98ms โ 411.58ms โ +1.06x faster โ
โ QQuery 40 โ 48.47ms โ 51.76ms โ 1.07x slower โ
โ QQuery 41 โ 43.89ms โ 44.20ms โ no change โ
โ QQuery 42 โ 54.08ms โ 54.30ms โ no change โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 59928.86ms โ
โ Total Time (alamb_run_audit) โ 59880.00ms โ
โ Average Time (HEAD) โ 1393.69ms โ
โ Average Time (alamb_run_audit) โ 1392.56ms โ
โ Queries Faster โ 2 โ
โ Queries Slower โ 2 โ
โ Queries with No Change โ 39 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ
--------------------
Benchmark tpch_mem_sf1.json
--------------------
โโโโโโโโโโโโโโโโณโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ
โ Query โ HEAD โ alamb_run_audit โ Change โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ QQuery 1 โ 120.92ms โ 121.40ms โ no change โ
โ QQuery 2 โ 24.62ms โ 24.78ms โ no change โ
โ QQuery 3 โ 35.67ms โ 36.10ms โ no change โ
โ QQuery 4 โ 21.63ms โ 21.46ms โ no change โ
โ QQuery 5 โ 56.32ms โ 56.88ms โ no change โ
โ QQuery 6 โ 8.13ms โ 8.33ms โ no change โ
โ QQuery 7 โ 106.57ms โ 104.35ms โ no change โ
โ QQuery 8 โ 26.68ms โ 26.33ms โ no change โ
โ QQuery 9 โ 62.28ms โ 64.35ms โ no change โ
โ QQuery 10 โ 61.00ms โ 59.34ms โ no change โ
โ QQuery 11 โ 13.39ms โ 12.98ms โ no change โ
โ QQuery 12 โ 39.80ms โ 36.87ms โ +1.08x faster โ
โ QQuery 13 โ 29.82ms โ 30.21ms โ no change โ
โ QQuery 14 โ 10.08ms โ 9.87ms โ no change โ
โ QQuery 15 โ 25.59ms โ 25.80ms โ no change โ
โ QQuery 16 โ 22.78ms โ 22.78ms โ no change โ
โ QQuery 17 โ 96.41ms โ 98.01ms โ no change โ
โ QQuery 18 โ 260.12ms โ 247.75ms โ no change โ
โ QQuery 19 โ 32.03ms โ 28.48ms โ +1.12x faster โ
โ QQuery 20 โ 41.26ms โ 39.90ms โ no change โ
โ QQuery 21 โ 183.12ms โ 182.85ms โ no change โ
โ QQuery 22 โ 16.98ms โ 18.19ms โ 1.07x slower โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ
โ Benchmark Summary โ โ
โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ
โ Total Time (HEAD) โ 1295.20ms โ
โ Total Time (alamb_run_audit) โ 1277.01ms โ
โ Average Time (HEAD) โ 58.87ms โ
โ Average Time (alamb_run_audit) โ 58.05ms โ
โ Queries Faster โ 2 โ
โ Queries Slower โ 1 โ
โ Queries with No Change โ 19 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ
```
</p>
</details>
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Run audit CI check on all pushes to main [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #15572:
URL: https://github.com/apache/datafusion/pull/15572#issuecomment-2779254853
๐ค `./gh_compare_branch.sh` [Benchmark Script](https://github.com/alamb/datafusion-benchmarking) Running
Linux aal-dev 6.8.0-1016-gcp #18-Ubuntu SMP Fri Oct 4 22:16:29 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux
Comparing alamb/run_audit to 0b061bef32bc09345814153d6eb7c737695bea9a using Benchmarks: tpch_mem clickbench_partitioned clickbench_extended
Results will be posted here when complete
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Run audit CI check on all pushes to main [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb commented on PR #15572:
URL: https://github.com/apache/datafusion/pull/15572#issuecomment-2779425096
I ran the benchmark thing to test the benchmarking script, I don't expect this PR to change peformance
I am going to merge this PR even though we haven't fixed https://github.com/apache/datafusion/issues/15571 because otherwise the failure only affects some PRs unfairly. Let's get it fixed for real
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org
Re: [PR] Run audit CI check on all pushes to main [datafusion]
Posted by "alamb (via GitHub)" <gi...@apache.org>.
alamb merged PR #15572:
URL: https://github.com/apache/datafusion/pull/15572
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscribe@datafusion.apache.org
For additional commands, e-mail: github-help@datafusion.apache.org