You are viewing a plain text version of this content. The canonical link for it is here.
Posted to issues@ozone.apache.org by "Gargi Jaiswal (Jira)" <ji...@apache.org> on 2025/07/18 12:00:00 UTC
[jira] [Commented] (HDDS-13458) [rebase] Debug chunk info response have checksum corruption
[ https://issues.apache.org/jira/browse/HDDS-13458?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=18008042#comment-18008042 ]
Gargi Jaiswal commented on HDDS-13458:
--------------------------------------
cc: [~ssulav]
It is found that if *ozone freon* command or command like *if=/dev/zero of=testfile bs=1G count=1*
then it will produce an endless stream of identical null characters. When a file is created from these, every block is identical, so every checksum is identical.
But if you use this means *{{dd if=/dev/urandom of=file bs=10M count=1}}*
When you create a file from this, every block of data is statistically unique. Then you won't get identical checksums.
Here inside *chunks feild* ,
{code:java}
"len" : 1048576, //1MB
"bytesPerChecksum" : 16384 //16KB{code}
This means that for every 1 MiB chunk of data, Ozone calculates a separate checksum for each 16 KiB block within it.
The total number of checksums for this chunk is: *64 checksums.*
The checksums are all the same because the data in each of the 64 blocks is identical.
*To identity checksum mismatch it is better to have it in smaller segments.*
There in the above sample output given since it contains similar content all 64checksums are similar and not repeated.
There is no checksum corruption or repitation in debug chunk-info command.
> [rebase] Debug chunk info response have checksum corruption
> -----------------------------------------------------------
>
> Key: HDDS-13458
> URL: https://issues.apache.org/jira/browse/HDDS-13458
> Project: Apache Ozone
> Issue Type: Bug
> Reporter: Gargi Jaiswal
> Assignee: Gargi Jaiswal
> Priority: Major
>
> The debug chunk info output is corrupted with checksum values repeated.
> Source file was of size 5mb
> {code:java}
> # ozone debug replicas chunk-info vol/buck/key2
> 25/07/15 07:38:00 INFO Configuration.deprecation: No unit for ozone.client.server-defaults.validity.period.ms(3600000) assuming MILLISECONDS
> 25/07/15 07:38:00 INFO proxy.SCMContainerLocationFailoverProxyProvider: Created fail-over proxy for protocol StorageContainerLocationProtocolPB with 3 nodes: [nodeId=node2,nodeAddress=om1:9860, nodeId=node3,nodeAddress=om2:9860, nodeId=node1,nodeAddress=om3:9860]
> 25/07/15 07:38:00 INFO proxy.SecretKeyProtocolFailoverProxyProvider: Created fail-over proxy for protocol SecretKeyProtocolScmPB with 3 nodes: [nodeId=node2,nodeAddress=om1:9961, nodeId=node3,nodeAddress=om2:9961, nodeId=node1,nodeAddress=om3:9961]
> 25/07/15 07:38:03 WARN impl.MetricsConfig: Cannot locate configuration: tried hadoop-metrics2-xceiverclientmetrics.properties,hadoop-metrics2.properties
> 25/07/15 07:38:03 INFO impl.MetricsSystemImpl: Scheduled Metric snapshot period at 10 second(s).
> 25/07/15 07:38:03 INFO impl.MetricsSystemImpl: XceiverClientMetrics metrics system started
> {
> "volumeName" : "vol",
> "bucketName" : "buck",
> "name" : "key2",
> "keyLocations" : [ [ {
> "datanode" : {
> "hostname" : "node4",
> "ip" : "x.x.x.x",
> "uuid" : "3f41f5c7-acef-44d8-8327-22718dd01d54"
> },
> "file" : "/hadoop-ozone/datanode/data/hdds/CID-441ca0a8-25fe-4215-b50c-70b67418de3d/current/containerDir0/8/chunks/115816896921608100.block",
> "blockData" : {
> "blockID" : {
> "containerID" : 8,
> "localID" : 115816896921608100,
> "blockCommitSequenceId" : 7673
> },
> "size" : 5242880,
> "chunks" : [ {
> "offset" : 0,
> "len" : 4194304,
> "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
> "checksumType" : "CRC32",
> "bytesPerChecksum" : 16384
> }, {
> "offset" : 4194304,
> "len" : 1048576,
> "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
> "checksumType" : "CRC32",
> "bytesPerChecksum" : 16384
> } ]
> }
> }, {
> "datanode" : {
> "hostname" : "node8",
> "ip" : "x.x.x.x",
> "uuid" : "ffb8f798-8c6a-46e2-ade9-240bd49b900a"
> },
> "file" : "/hadoop-ozone/datanode/data/hdds/CID-441ca0a8-25fe-4215-b50c-70b67418de3d/current/containerDir0/8/chunks/115816896921608100.block",
> "blockData" : {
> "blockID" : {
> "containerID" : 8,
> "localID" : 115816896921608100,
> "blockCommitSequenceId" : 7673
> },
> "size" : 5242880,
> "chunks" : [ {
> "offset" : 0,
> "len" : 4194304,
> "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
> "checksumType" : "CRC32",
> "bytesPerChecksum" : 16384
> }, {
> "offset" : 4194304,
> "len" : 1048576,
> "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
> "checksumType" : "CRC32",
> "bytesPerChecksum" : 16384
> } ]
> }
> }, {
> "datanode" : {
> "hostname" : "node5",
> "ip" : "x.x.x.x",
> "uuid" : "5da62718-bbdf-4607-965d-8c3354e54c70"
> },
> "file" : "/hadoop-ozone/datanode/data/hdds/CID-441ca0a8-25fe-4215-b50c-70b67418de3d/current/containerDir0/8/chunks/115816896921608100.block",
> "blockData" : {
> "blockID" : {
> "containerID" : 8,
> "localID" : 115816896921608100,
> "blockCommitSequenceId" : 7673
> },
> "size" : 5242880,
> "chunks" : [ {
> "offset" : 0,
> "len" : 4194304,
> "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
> "checksumType" : "CRC32",
> "bytesPerChecksum" : 16384
> }, {
> "offset" : 4194304,
> "len" : 1048576,
> "checksums" : [ "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286", "ab54d286" ],
> "checksumType" : "CRC32",
> "bytesPerChecksum" : 16384
> } ]
> }
> } ] ]
> }{code}
--
This message was sent by Atlassian Jira
(v8.20.10#820010)
---------------------------------------------------------------------
To unsubscribe, e-mail: issues-unsubscribe@ozone.apache.org
For additional commands, e-mail: issues-help@ozone.apache.org