Re: Distributing work to local and remote computers

[Ole Tange]

On Mon, Apr 17, 2017 at 11:09 PM, Eric Geoffroy
<eric.geoffroy@pearson.com> wrote:

> I had a working command until I ran into files whose paths exceeded the
> maximum for the shell (or socket).

Which shell, OS and file system are you using?

In Bash on my Ubuntu box with ext4 I can run the below with no problems.

It seems the limit here is 255 per name, 4096 per relative path, and
no upper limit on total path.


/Ole


#/bin/bash

shareddir=`pwd`
server=lo

cd "$shareddir"

doit() {
 mkdir -p xx"$(perl -e 'print " "x253')"
 cd xx*
 pwd > yy"$(perl -e 'print " "x253')"
}

# Make dir 100 levels deep
(doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;
doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;
doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;
doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;
doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;
doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;
doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;
doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;
doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;
doit;doit;doit;doit;doit;doit;doit;doit;doit;doit;)

ls */*/*/*/*/*/*/*/*/*/*/*/*/*/*/yy* |wc
parallel cat ::: */*/*/*/*/*/*/*/*/*/*/*/*/*/*/yy* |wc
parallel --wd . -S $server cat ::: */*/*/*/*/*/*/*/*/*/*/*/*/*/*/yy* |wc