You are viewing a plain text version of this content. The canonical link for it is here.
Posted to common-dev@hadoop.apache.org by "Koji Noguchi (JIRA)" <ji...@apache.org> on 2007/07/17 21:01:13 UTC

[jira] Created: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

dfs -cp infinite loop creating sub-directories
----------------------------------------------

                 Key: HADOOP-1623
                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
             Project: Hadoop
          Issue Type: Bug
          Components: dfs
            Reporter: Koji Noguchi


% hadoop dfs -ls data 
Found 2 items
/user/knoguchi/data/aaaa        <r 1>   14949
/user/knoguchi/data/bbbb        <r 1>   14949

% hadoop dfs -cp data data

[hangs]

CTRL-\

Exception in thread "main" java.lang.NullPointerException
        at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
        at java.io.File.deleteOnExit(File.java:939)
        at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
        at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
        at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
        at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
        at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
        at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
        at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
        at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
        at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
        at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
        at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
        ....

% hadoop dfs -lsr data 
 .
 .
 .
/user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
/user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
/user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
/user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
  .
  . 
  .
[continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur updated HADOOP-1623:
-------------------------------------

    Attachment:     (was: recursiveCp.patch)

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "Doug Cutting (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

Doug Cutting updated HADOOP-1623:
---------------------------------

    Resolution: Fixed
        Status: Resolved  (was: Patch Available)

I just committed this.  Thanks, Dhruba!

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur updated HADOOP-1623:
-------------------------------------

    Status: Patch Available  (was: Open)

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.13.0, 0.12.3
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Commented: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "Raghu Angadi (JIRA)" <ji...@apache.org>.
    [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#action_12514046 ] 

Raghu Angadi commented on HADOOP-1623:
--------------------------------------

+1. You could use Path.SEPARATOR in place of "/".

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch, recursiveCp2.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur updated HADOOP-1623:
-------------------------------------

    Attachment:     (was: recursiveCp.patch)

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp2.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur updated HADOOP-1623:
-------------------------------------

    Attachment: recursiveCp2.patch

Do this check only if the source is a directory.

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch, recursiveCp2.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur updated HADOOP-1623:
-------------------------------------

    Attachment: recursiveCp.patch

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Commented: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
    [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#action_12513453 ] 

dhruba borthakur commented on HADOOP-1623:
------------------------------------------

Hi Koji, will it be possible for you to find out if this is a regression on 0.13 (i.e. this bug wasn't around in earlier releases)? thanks


> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.13.0
>            Reporter: Koji Noguchi
>            Priority: Blocker
>             Fix For: 0.13.0, 0.14.0
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur updated HADOOP-1623:
-------------------------------------

    Attachment: recursiveCp.patch

Incorporated review comments from Raghu. use Path.separator instead of "/".

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "Koji Noguchi (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

Koji Noguchi updated HADOOP-1623:
---------------------------------

    Affects Version/s: 0.12.3

It's there in 0.12.3 too. 

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Priority: Blocker
>             Fix For: 0.13.0, 0.14.0
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur updated HADOOP-1623:
-------------------------------------

    Attachment: recursiveCp.patch

Prevent copying a directory into any of its subdirectories.

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Commented: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "Raghu Angadi (JIRA)" <ji...@apache.org>.
    [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#action_12514012 ] 

Raghu Angadi commented on HADOOP-1623:
--------------------------------------

Does this prevent '-cp src src2' ?


> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur updated HADOOP-1623:
-------------------------------------

    Attachment:     (was: recursiveCp2.patch)

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Assigned: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur reassigned HADOOP-1623:
----------------------------------------

    Assignee: dhruba borthakur

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.0, 0.14.0
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "dhruba borthakur (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

dhruba borthakur updated HADOOP-1623:
-------------------------------------

    Fix Version/s:     (was: 0.13.0)
                   0.13.1

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Commented: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "Hadoop QA (JIRA)" <ji...@apache.org>.
    [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#action_12514077 ] 

Hadoop QA commented on HADOOP-1623:
-----------------------------------

-1, build or testing failed

2 attempts failed to build and test the latest attachment http://issues.apache.org/jira/secure/attachment/12362179/recursiveCp.patch against trunk revision r557790.

Test results:   http://lucene.zones.apache.org:8080/hudson/job/Hadoop-Patch/437/testReport/
Console output: http://lucene.zones.apache.org:8080/hudson/job/Hadoop-Patch/437/console

Please note that this message is automatically generated and may represent a problem with the automation system and not the patch.

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.12.3, 0.13.0
>            Reporter: Koji Noguchi
>            Assignee: dhruba borthakur
>            Priority: Blocker
>             Fix For: 0.13.1, 0.14.0
>
>         Attachments: recursiveCp.patch
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.

[jira] Updated: (HADOOP-1623) dfs -cp infinite loop creating sub-directories

Posted by "Nigel Daley (JIRA)" <ji...@apache.org>.
     [ https://issues.apache.org/jira/browse/HADOOP-1623?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

Nigel Daley updated HADOOP-1623:
--------------------------------

        Fix Version/s: 0.13.0
                       0.14.0
             Priority: Blocker  (was: Major)
    Affects Version/s: 0.13.0

> dfs -cp infinite loop creating sub-directories
> ----------------------------------------------
>
>                 Key: HADOOP-1623
>                 URL: https://issues.apache.org/jira/browse/HADOOP-1623
>             Project: Hadoop
>          Issue Type: Bug
>          Components: dfs
>    Affects Versions: 0.13.0
>            Reporter: Koji Noguchi
>            Priority: Blocker
>             Fix For: 0.13.0, 0.14.0
>
>
> % hadoop dfs -ls data 
> Found 2 items
> /user/knoguchi/data/aaaa        <r 1>   14949
> /user/knoguchi/data/bbbb        <r 1>   14949
> % hadoop dfs -cp data data
> [hangs]
> CTRL-\
> Exception in thread "main" java.lang.NullPointerException
>         at java.io.DeleteOnExitHook.add(DeleteOnExitHook.java:33)
>         at java.io.File.deleteOnExit(File.java:939)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.newBackupFile(DFSClient.java:1061)
>         at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:1025)
>         at org.apache.hadoop.dfs.DFSClient.create(DFSClient.java:277)
>         at org.apache.hadoop.dfs.DistributedFileSystem$RawDistributedFileSystem.create(DistributedFileSystem.java:143)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.ChecksumFileSystem$FSOutputSummer.<init>(ChecksumFileSystem.java:371)
>         at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:360)
>         at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:267)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:107)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:101)
>         ....
> % hadoop dfs -lsr data 
>  .
>  .
>  .
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/bbbb   <r 1>   14949
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data   <dir>
> /user/knoguchi/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/data/aaaa      <r 1>   14949
>   .
>   . 
>   .
> [continues]

-- 
This message is automatically generated by JIRA.
-
You can reply to this email to add a comment to the issue online.