You are viewing a plain text version of this content. The canonical link for it is here.
Posted to commits@druid.apache.org by GitBox <gi...@apache.org> on 2021/01/29 10:49:41 UTC
[GitHub] [druid] NoahSheep commented on issue #7510: [materialized view] IOException: user supplied segments list did not match with segments list obtained from db
NoahSheep commented on issue #7510:
URL: https://github.com/apache/druid/issues/7510#issuecomment-769730570
> 出于未知原因，最后一个月（`2018-01`）包含来自一月和二月的细分：
>
> ```
> ...
> 2018-02-01T00 | 30 | 21.7 GB
> 2018-01-29T00 | 7 | 3.62 GB
> ...
> ```
>
> ```
> 30 segments (21.7 GB) for 2018-02-01T00 to 2018-03-01T00
>
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_1
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_10
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_11
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_12
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_13
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_14
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_15
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_16
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_17
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_18
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_19
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_2
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_20
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_21
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_22
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_23
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_24
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_25
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_26
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_27
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_28
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_29
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_3
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_4
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_5
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_6
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_7
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_8
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_9
> ```
>
> ```
> 7 segments (3.62 GB) for 2018-01-29T00 to 2018-02-05T00
>
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_1
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_2
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_3
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_4
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_5
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_6
> ```
>
> 因此，我们收到的`segmentsList.size()`是`37`（`30`+ `7`）。
>
> 那个月还有待解决，我会给出结果。谢谢@ zhangxinyu1！
Hi,
> For an unknown reason, the last month (`2018-01`) contains segments from both January and February:
>
> ```
> ...
> 2018-02-01T00 | 30 | 21.7 GB
> 2018-01-29T00 | 7 | 3.62 GB
> ...
> ```
>
> ```
> 30 segments (21.7 GB) for 2018-02-01T00 to 2018-03-01T00
>
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_1
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_10
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_11
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_12
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_13
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_14
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_15
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_16
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_17
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_18
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_19
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_2
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_20
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_21
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_22
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_23
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_24
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_25
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_26
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_27
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_28
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_29
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_3
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_4
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_5
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_6
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_7
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_8
> the-datasource-druid_2018-02-01T00:00:00.000Z_2018-03-01T00:00:00.000Z_2018-09-05T13:21:49.297Z_9
> ```
>
> ```
> 7 segments (3.62 GB) for 2018-01-29T00 to 2018-02-05T00
>
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_1
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_2
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_3
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_4
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_5
> the-datasource-druid_2018-01-29T00:00:00.000Z_2018-02-05T00:00:00.000Z_2018-05-24T09:30:16.545Z_6
> ```
>
> and, because of this, we are receiving that `segmentsList.size()` is `37` (`30` + `7`).
>
> It remains to reingest that month and I'll come with the results. Thank you, @zhangxinyu1!
Has Druid solved this problem yet?
----------------------------------------------------------------
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: commits-unsubscribe@druid.apache.org
For additional commands, e-mail: commits-help@druid.apache.org