You are viewing a plain text version of this content. The canonical link for it is here.
Posted to commits@druid.apache.org by GitBox <gi...@apache.org> on 2019/07/11 08:04:37 UTC
[GitHub] [incubator-druid] mihai-cazacu-adswizz opened a new issue #8063:
The compaction task fails without errors
mihai-cazacu-adswizz opened a new issue #8063: The compaction task fails without errors
URL: https://github.com/apache/incubator-druid/issues/8063
The compaction task fails without errors.
### Affected Version
0.15.0-incubating
### Description
We have a datasource which has 26,074 segments in 336 intervals:
```
2019-03-03T23 34 49.1 MB
2019-03-03T22 40 56.7 MB
2019-03-03T21 47 66.3 MB
2019-03-03T20 50 71.3 MB
2019-03-03T19 53 78.1 MB
2019-03-03T18 59 86.9 MB
2019-03-03T17 61 92.9 MB
2019-03-03T16 59 87 MB
2019-03-03T15 68 100 MB
2019-03-03T14 70 103 MB
2019-03-03T13 82 121 MB
2019-03-03T12 81 122 MB
2019-03-03T11 86 128 MB
2019-03-03T10 83 123 MB
2019-03-03T09 82 116 MB
2019-03-03T08 62 92.3 MB
2019-03-03T07 49 72.4 MB
2019-03-03T06 39 57.8 MB
2019-03-03T05 35 51.2 MB
2019-03-03T04 36 52.9 MB
2019-03-03T03 34 52.6 MB
2019-03-03T02 36 54.6 MB
2019-03-03T01 38 56.1 MB
2019-03-03T00 39 56.8 MB
2019-03-02T23 39 55.4 MB
2019-03-02T22 42 60.4 MB
2019-03-02T21 47 68.5 MB
2019-03-02T20 50 73.8 MB
2019-03-02T19 55 80.6 MB
2019-03-02T18 63 93.9 MB
2019-03-02T17 72 104 MB
2019-03-02T16 76 113 MB
2019-03-02T15 83 120 MB
2019-03-02T14 80 119 MB
2019-03-02T13 83 124 MB
2019-03-02T12 81 121 MB
2019-03-02T11 90 133 MB
2019-03-02T10 88 129 MB
2019-03-02T09 89 131 MB
2019-03-02T08 77 115 MB
2019-03-02T07 59 87.4 MB
2019-03-02T06 49 73.3 MB
2019-03-02T05 41 61.5 MB
2019-03-02T04 44 65.5 MB
2019-03-02T03 48 69.3 MB
2019-03-02T02 46 67.5 MB
2019-03-02T01 50 75.6 MB
2019-03-02T00 52 76.2 MB
2019-03-01T23 52 74.5 MB
2019-03-01T22 56 80.5 MB
2019-03-01T21 58 84.9 MB
2019-03-01T20 68 96.5 MB
2019-03-01T19 72 109 MB
2019-03-01T18 80 123 MB
2019-03-01T17 92 135 MB
2019-03-01T16 99 149 MB
2019-03-01T15 102 156 MB
2019-03-01T14 107 163 MB
2019-03-01T13 106 162 MB
2019-03-01T12 111 163 MB
2019-03-01T11 112 161 MB
2019-03-01T10 100 146 MB
2019-03-01T09 95 137 MB
2019-03-01T08 93 138 MB
2019-03-01T07 80 114 MB
2019-03-01T06 63 93.5 MB
2019-03-01T05 55 80.3 MB
2019-03-01T04 52 74 MB
2019-03-01T03 50 72.5 MB
2019-03-01T02 52 74.2 MB
2019-03-01T01 53 79.6 MB
2019-03-01T00 56 80.8 MB
2019-02-28T23 60 85.3 MB
2019-02-28T22 62 93 MB
2019-02-28T21 71 103 MB
2019-02-28T20 79 115 MB
2019-02-28T19 87 128 MB
2019-02-28T18 94 141 MB
2019-02-28T17 110 158 MB
2019-02-28T16 109 161 MB
2019-02-28T15 114 167 MB
2019-02-28T14 123 179 MB
2019-02-28T13 117 176 MB
2019-02-28T12 115 166 MB
2019-02-28T11 128 187 MB
2019-02-28T10 126 179 MB
2019-02-28T09 105 149 MB
2019-02-28T08 101 144 MB
2019-02-28T07 83 117 MB
2019-02-28T06 69 103 MB
2019-02-28T05 56 83.1 MB
2019-02-28T04 52 77.9 MB
2019-02-28T03 53 78.2 MB
2019-02-28T02 55 81.9 MB
2019-02-28T01 59 87.5 MB
2019-02-28T00 60 90.4 MB
2019-02-27T23 60 85.5 MB
2019-02-27T22 63 92 MB
2019-02-27T21 71 103 MB
2019-02-27T20 77 113 MB
2019-02-27T19 81 119 MB
2019-02-27T18 89 131 MB
2019-02-27T17 92 138 MB
2019-02-27T16 93 140 MB
2019-02-27T15 94 147 MB
2019-02-27T14 100 151 MB
2019-02-27T13 118 173 MB
2019-02-27T12 118 172 MB
2019-02-27T11 120 175 MB
2019-02-27T10 116 164 MB
2019-02-27T09 100 149 MB
2019-02-27T08 94 135 MB
2019-02-27T07 86 126 MB
2019-02-27T06 71 101 MB
2019-02-27T05 59 87.9 MB
2019-02-27T04 53 78.4 MB
2019-02-27T03 55 82.4 MB
2019-02-27T02 56 83.1 MB
2019-02-27T01 56 84.2 MB
2019-02-27T00 55 80.7 MB
2019-02-26T23 55 78.6 MB
2019-02-26T22 65 91.8 MB
2019-02-26T21 73 103 MB
2019-02-26T20 74 110 MB
2019-02-26T19 88 129 MB
2019-02-26T18 89 137 MB
2019-02-26T17 92 140 MB
2019-02-26T16 99 146 MB
2019-02-26T15 107 161 MB
2019-02-26T14 121 175 MB
2019-02-26T13 128 190 MB
2019-02-26T12 128 190 MB
2019-02-26T11 120 175 MB
2019-02-26T10 111 160 MB
2019-02-26T09 110 158 MB
2019-02-26T08 88 131 MB
2019-02-26T07 85 125 MB
2019-02-26T06 69 102 MB
2019-02-26T05 60 90 MB
2019-02-26T04 55 80.1 MB
2019-02-26T03 55 81.9 MB
2019-02-26T02 55 81.5 MB
2019-02-26T01 58 83.8 MB
2019-02-26T00 57 86.7 MB
2019-02-25T23 55 80.2 MB
2019-02-25T22 64 94.8 MB
2019-02-25T21 69 101 MB
2019-02-25T20 72 108 MB
2019-02-25T19 80 119 MB
2019-02-25T18 89 137 MB
2019-02-25T17 101 152 MB
2019-02-25T16 105 161 MB
2019-02-25T15 110 163 MB
2019-02-25T14 122 181 MB
2019-02-25T13 118 176 MB
2019-02-25T12 116 178 MB
2019-02-25T11 119 180 MB
2019-02-25T10 113 163 MB
2019-02-25T09 112 157 MB
2019-02-25T08 89 130 MB
2019-02-25T07 82 120 MB
2019-02-25T06 66 96.3 MB
2019-02-25T05 53 81 MB
2019-02-25T04 49 69.8 MB
2019-02-25T03 45 66.5 MB
2019-02-25T02 45 66.7 MB
2019-02-25T01 43 66 MB
2019-02-25T00 45 67.2 MB
2019-02-24T23 41 58.5 MB
2019-02-24T22 48 68.2 MB
2019-02-24T21 53 75.6 MB
2019-02-24T20 58 85.5 MB
2019-02-24T19 64 93.3 MB
2019-02-24T18 68 98.8 MB
2019-02-24T17 72 109 MB
2019-02-24T16 78 116 MB
2019-02-24T15 81 119 MB
2019-02-24T14 84 128 MB
2019-02-24T13 94 138 MB
2019-02-24T12 93 137 MB
2019-02-24T11 99 142 MB
2019-02-24T10 95 138 MB
2019-02-24T09 98 142 MB
2019-02-24T08 75 112 MB
2019-02-24T07 57 87.6 MB
2019-02-24T06 49 72.6 MB
2019-02-24T05 43 64.5 MB
2019-02-24T04 47 66.2 MB
2019-02-24T03 44 62.8 MB
2019-02-24T02 45 67.1 MB
2019-02-24T01 47 70.3 MB
2019-02-24T00 47 70.6 MB
2019-02-23T23 43 64 MB
2019-02-23T22 45 67.8 MB
2019-02-23T21 55 80.4 MB
2019-02-23T20 61 90.6 MB
2019-02-23T19 67 104 MB
2019-02-23T18 80 119 MB
2019-02-23T17 80 122 MB
2019-02-23T16 93 138 MB
2019-02-23T15 91 137 MB
2019-02-23T14 95 141 MB
2019-02-23T13 101 152 MB
2019-02-23T12 100 150 MB
2019-02-23T11 111 162 MB
2019-02-23T10 111 162 MB
2019-02-23T09 112 160 MB
2019-02-23T08 92 135 MB
2019-02-23T07 67 102 MB
2019-02-23T06 55 81.4 MB
2019-02-23T05 49 73 MB
2019-02-23T04 48 72.2 MB
2019-02-23T03 55 78.8 MB
2019-02-23T02 55 81.5 MB
2019-02-23T01 57 87.2 MB
2019-02-23T00 54 84.8 MB
2019-02-22T23 57 82.6 MB
2019-02-22T22 66 93.9 MB
2019-02-22T21 74 109 MB
2019-02-22T20 76 113 MB
2019-02-22T19 86 131 MB
2019-02-22T18 98 142 MB
2019-02-22T17 104 155 MB
2019-02-22T16 110 166 MB
2019-02-22T15 115 171 MB
2019-02-22T14 119 176 MB
2019-02-22T13 123 179 MB
2019-02-22T12 133 190 MB
2019-02-22T11 137 195 MB
2019-02-22T10 132 183 MB
2019-02-22T09 115 163 MB
2019-02-22T08 98 147 MB
2019-02-22T07 82 122 MB
2019-02-22T06 71 105 MB
2019-02-22T05 56 85.8 MB
2019-02-22T04 57 84.9 MB
2019-02-22T03 58 84.2 MB
2019-02-22T02 57 84.1 MB
2019-02-22T01 61 88.5 MB
2019-02-22T00 56 83.6 MB
2019-02-21T23 57 82 MB
2019-02-21T22 63 91.5 MB
2019-02-21T21 73 105 MB
2019-02-21T20 77 114 MB
2019-02-21T19 85 128 MB
2019-02-21T18 102 148 MB
2019-02-21T17 99 152 MB
2019-02-21T16 107 158 MB
2019-02-21T15 108 162 MB
2019-02-21T14 113 171 MB
2019-02-21T13 131 191 MB
2019-02-21T12 129 192 MB
2019-02-21T11 132 194 MB
2019-02-21T10 122 179 MB
2019-02-21T09 111 160 MB
2019-02-21T08 93 135 MB
2019-02-21T07 82 116 MB
2019-02-21T06 63 93.5 MB
2019-02-21T05 55 81.3 MB
2019-02-21T04 51 76.8 MB
2019-02-21T03 49 73.9 MB
2019-02-21T02 55 80.9 MB
2019-02-21T01 58 84.5 MB
2019-02-21T00 59 87.5 MB
2019-02-20T23 60 82.8 MB
2019-02-20T22 65 95.5 MB
2019-02-20T21 71 103 MB
2019-02-20T20 83 121 MB
2019-02-20T19 84 125 MB
2019-02-20T18 90 133 MB
2019-02-20T17 96 141 MB
2019-02-20T16 112 168 MB
2019-02-20T15 111 167 MB
2019-02-20T14 113 174 MB
2019-02-20T13 122 180 MB
2019-02-20T12 123 182 MB
2019-02-20T11 120 179 MB
2019-02-20T10 130 190 MB
2019-02-20T09 119 169 MB
2019-02-20T08 100 142 MB
2019-02-20T07 85 121 MB
2019-02-20T06 64 97.4 MB
2019-02-20T05 59 87.1 MB
2019-02-20T04 61 85.2 MB
2019-02-20T03 58 84 MB
2019-02-20T02 55 82.8 MB
2019-02-20T01 60 89.3 MB
2019-02-20T00 59 89.1 MB
2019-02-19T23 62 89 MB
2019-02-19T22 71 100 MB
2019-02-19T21 68 100 MB
2019-02-19T20 77 111 MB
2019-02-19T19 86 124 MB
2019-02-19T18 88 130 MB
2019-02-19T17 93 138 MB
2019-02-19T16 92 136 MB
2019-02-19T15 93 137 MB
2019-02-19T14 107 160 MB
2019-02-19T13 111 162 MB
2019-02-19T12 120 174 MB
2019-02-19T11 124 177 MB
2019-02-19T10 113 161 MB
2019-02-19T09 109 152 MB
2019-02-19T08 91 132 MB
2019-02-19T07 73 109 MB
2019-02-19T06 68 97.3 MB
2019-02-19T05 51 77.2 MB
2019-02-19T04 49 71.1 MB
2019-02-19T03 47 68.7 MB
2019-02-19T02 48 69.5 MB
2019-02-19T01 50 73.3 MB
2019-02-19T00 48 71 MB
2019-02-18T23 49 71.1 MB
2019-02-18T22 54 79.1 MB
2019-02-18T21 64 91.5 MB
2019-02-18T20 68 100 MB
2019-02-18T19 74 108 MB
2019-02-18T18 81 119 MB
2019-02-18T17 85 127 MB
2019-02-18T16 89 133 MB
2019-02-18T15 95 140 MB
2019-02-18T14 93 138 MB
2019-02-18T13 84 126 MB
2019-02-18T12 91 138 MB
2019-02-18T11 109 152 MB
2019-02-18T10 108 147 MB
2019-02-18T09 94 131 MB
2019-02-18T08 79 115 MB
2019-02-18T07 71 99.2 MB
2019-02-18T06 60 84.8 MB
2019-02-18T05 47 68.8 MB
2019-02-18T04 43 62.3 MB
2019-02-18T03 43 62.3 MB
2019-02-18T02 40 58 MB
2019-02-18T01 42 59.4 MB
2019-02-18T00 40 59.2 MB
```
The compaction task:
```
{
"type": "compact",
"dataSource": "the-datasource",
"interval": "2019-02-18/2019-03-01",
"keepSegmentGranularity": false,
"segmentGranularity": "week",
"queryGranularity": "day",
"tuningConfig": {
"type": "index",
"targetPartitionSize" : 12000000,
"maxRowsInMemory": 25000,
"maxBytesInMemory": 2147483647,
"forceExtendableShardSpecs": true
}
}
```
fails wihout any exception. Duration: ~30 min.
The last lines in the log file:
```
2019-07-11T07:14:35,260 INFO [task-runner-0-priority-0] org.apache.druid.storage.s3.S3DataSegmentPuller - Pulling index at path[s3://host/devel/druid/druid-dev-1/segments/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/58/index.zip] to outDir[/mnt/druid/persistent/task/compact_the-datasource_2019-07-11T06:33:52.964Z/work/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/58]
2019-07-11T07:14:35,351 INFO [task-runner-0-priority-0] org.apache.druid.storage.s3.S3DataSegmentPuller - Loaded 1448032 bytes from [s3://host/devel/druid/druid-dev-1/segments/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/58/index.zip] to [/mnt/druid/persistent/task/compact_the-datasource_2019-07-11T06:33:52.964Z/work/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/58]
2019-07-11T07:14:35,352 INFO [task-runner-0-priority-0] org.apache.druid.storage.s3.S3DataSegmentPuller - Pulling index at path[s3://host/devel/druid/druid-dev-1/segments/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/59/index.zip] to outDir[/mnt/druid/persistent/task/compact_the-datasource_2019-07-11T06:33:52.964Z/work/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/59]
2019-07-11T07:14:35,444 INFO [task-runner-0-priority-0] org.apache.druid.storage.s3.S3DataSegmentPuller - Loaded 1423122 bytes from [s3://host/devel/druid/druid-dev-1/segments/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/59/index.zip] to [/mnt/druid/persistent/task/compact_the-datasource_2019-07-11T06:33:52.964Z/work/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/59]
```
We have also monitored the Peon and there were no issues regarding the cpu, memory or disk.
----------------------------------------------------------------
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
With regards,
Apache Git Services
---------------------------------------------------------------------
To unsubscribe, e-mail: commits-unsubscribe@druid.apache.org
For additional commands, e-mail: commits-help@druid.apache.org