You are viewing a plain text version of this content. The canonical link for it is here.
Posted to issues@ozone.apache.org by "Gargi Jaiswal (Jira)" <ji...@apache.org> on 2025/07/18 12:00:00 UTC

[jira] [Commented] (HDDS-13458) [rebase] Debug chunk info response have checksum corruption

    [ https://issues.apache.org/jira/browse/HDDS-13458?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=18008042#comment-18008042 ] 

Gargi Jaiswal commented on HDDS-13458:
--------------------------------------

cc: [~ssulav] 
It is found that if *ozone freon* command or command like *if=/dev/zero of=testfile bs=1G count=1*
then it will  produce an endless stream of identical null characters. When a file is created from these, every block is identical, so every checksum is identical.
But if you use this means *{{dd if=/dev/urandom of=file bs=10M count=1}}*
When you create a file from this, every block of data is statistically unique. Then you won't get identical checksums.


Here inside *chunks feild* ,
{code:java}
"len" : 1048576, //1MB
"bytesPerChecksum" : 16384 //16KB{code}
This means that for every 1 MiB chunk of data, Ozone calculates a separate checksum for each 16 KiB block within it.
The total number of checksums for this chunk is: *64 checksums.*
The checksums are all the same because the data in each of the 64 blocks is identical.
*To identity checksum mismatch it is better to have it in smaller segments.*
There in the above sample output given since it contains similar content all 64checksums are similar and not repeated.

There is no checksum corruption or repitation in debug chunk-info command.

> [rebase] Debug chunk info response have checksum corruption
> -----------------------------------------------------------
>
>                 Key: HDDS-13458
>                 URL: https://issues.apache.org/jira/browse/HDDS-13458
>             Project: Apache Ozone
>          Issue Type: Bug
>            Reporter: Gargi Jaiswal
>            Assignee: Gargi Jaiswal
>            Priority: Major
>
> The debug chunk info output is corrupted with checksum values repeated.
> Source file was of size 5mb
> {code:java}
> # ozone debug replicas chunk-info vol/buck/key2
> 25/07/15 07:38:00 INFO Configuration.deprecation: No unit for ozone.client.server-defaults.validity.period.ms(3600000) assuming MILLISECONDS
> 25/07/15 07:38:00 INFO proxy.SCMContainerLocationFailoverProxyProvider: Created fail-over proxy for protocol StorageContainerLocationProtocolPB with 3 nodes: [nodeId=node2,nodeAddress=om1:9860, nodeId=node3,nodeAddress=om2:9860, nodeId=node1,nodeAddress=om3:9860]
> 25/07/15 07:38:00 INFO proxy.SecretKeyProtocolFailoverProxyProvider: Created fail-over proxy for protocol SecretKeyProtocolScmPB with 3 nodes: [nodeId=node2,nodeAddress=om1:9961, nodeId=node3,nodeAddress=om2:9961, nodeId=node1,nodeAddress=om3:9961]
> 25/07/15 07:38:03 WARN impl.MetricsConfig: Cannot locate configuration: tried hadoop-metrics2-xceiverclientmetrics.properties,hadoop-metrics2.properties
> 25/07/15 07:38:03 INFO impl.MetricsSystemImpl: Scheduled Metric snapshot period at 10 second(s).
> 25/07/15 07:38:03 INFO impl.MetricsSystemImpl: XceiverClientMetrics metrics system started
> {
>   "volumeName" : "vol",
>   "bucketName" : "buck",
>   "name" : "key2",
>   "keyLocations" : [ [ {
>     "datanode" : {
>       "hostname" : "node4",
>       "ip" : "x.x.x.x",
>       "uuid" : "3f41f5c7-acef-44d8-8327-22718dd01d54"
>     },
>     "file" : "/hadoop-ozone/datanode/data/hdds/CID-441ca0a8-25fe-4215-b50c-70b67418de3d/current/containerDir0/8/chunks/115816896921608100.block",
>     "blockData" : {
>       "blockID" : {
>         "containerID" : 8,
>         "localID" : 115816896921608100,
>         "blockCommitSequenceId" : 7673
>       },
>       "size" : 5242880,
>       "chunks" : [ {
>         "offset" : 0,
>         "len" : 4194304,
>         "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
>         "checksumType" : "CRC32",
>         "bytesPerChecksum" : 16384
>       }, {
>         "offset" : 4194304,
>         "len" : 1048576,
>         "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
>         "checksumType" : "CRC32",
>         "bytesPerChecksum" : 16384
>       } ]
>     }
>   }, {
>     "datanode" : {
>       "hostname" : "node8",
>       "ip" : "x.x.x.x",
>       "uuid" : "ffb8f798-8c6a-46e2-ade9-240bd49b900a"
>     },
>     "file" : "/hadoop-ozone/datanode/data/hdds/CID-441ca0a8-25fe-4215-b50c-70b67418de3d/current/containerDir0/8/chunks/115816896921608100.block",
>     "blockData" : {
>       "blockID" : {
>         "containerID" : 8,
>         "localID" : 115816896921608100,
>         "blockCommitSequenceId" : 7673
>       },
>       "size" : 5242880,
>       "chunks" : [ {
>         "offset" : 0,
>         "len" : 4194304,
>         "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
>         "checksumType" : "CRC32",
>         "bytesPerChecksum" : 16384
>       }, {
>         "offset" : 4194304,
>         "len" : 1048576,
>         "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
>         "checksumType" : "CRC32",
>         "bytesPerChecksum" : 16384
>       } ]
>     }
>   }, {
>     "datanode" : {
>       "hostname" : "node5",
>       "ip" : "x.x.x.x",
>       "uuid" : "5da62718-bbdf-4607-965d-8c3354e54c70"
>     },
>     "file" : "/hadoop-ozone/datanode/data/hdds/CID-441ca0a8-25fe-4215-b50c-70b67418de3d/current/containerDir0/8/chunks/115816896921608100.block",
>     "blockData" : {
>       "blockID" : {
>         "containerID" : 8,
>         "localID" : 115816896921608100,
>         "blockCommitSequenceId" : 7673
>       },
>       "size" : 5242880,
>       "chunks" : [ {
>         "offset" : 0,
>         "len" : 4194304,
>         "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
>         "checksumType" : "CRC32",
>         "bytesPerChecksum" : 16384
>       }, {
>         "offset" : 4194304,
>         "len" : 1048576,
>         "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
>         "checksumType" : "CRC32",
>         "bytesPerChecksum" : 16384
>       } ]
>     }
>   } ] ]
> }{code}



--
This message was sent by Atlassian Jira
(v8.20.10#820010)

---------------------------------------------------------------------
To unsubscribe, e-mail: issues-unsubscribe@ozone.apache.org
For additional commands, e-mail: issues-help@ozone.apache.org