43 个 Bash 编程易错总结大全
Bash Pitfalls[1] 文章介绍了 40 多条日常 Bash 编程中,老手和新手都容易忽略的错误编程习惯。每条作者在给出错误的范例上,详细分析与解释错误的原因,同时给出正确的改写建议。文中有不少引用的文章,也值得大家仔细阅读。仔细阅读了这篇文章后,收获很多,不感独享,把这篇文章以半翻译半笔记的形式分享给大家。
- for i in $(ls *.mp3)
Bash 写循环代码的时候,确实比较容易犯下面的错误:
for i in $(ls *.mp3); do # 错误!
some command $i # 错误!
done
for i in $(ls) # 错误!
for i in ls
# 错误!
for i in $(find . -type f) # 错误!
for i in find . -type f
# 错误!
files=($(find . -type f)) # 错误!
for i in ${files[@]} # 错误!
这里主要两个问题:
使用命令展开时不带引号,其执行结果会使用 IFS 作为分隔符,拆分成参数传递给 for 循环处理;
不应该让脚本去解析 ls 命令的结果[2];
我们不能避免某些文件名中包含空格,Shell 会对 $(ls *.mp3) 展开的结果会被做单词拆分 (WordSplitting[3]) 的处理。假设有一个文件,名字为 01 - Don't Eat the Yellow Snow.mp3,for 循环处理的时候,会今次遍历文件名中的每个单词:01, -, Don't, Eat 等等:
for i in (ls *.mp3); do echo $i; done
01
Don't
Eat
the
Yellow
Snow.mp3
比这更差的情况是,上面命令展开的结果可能被 Shell 进一步处理,比如文件名展开[4]。比如,ls 执行的结果中包含*号,按照通配符的规则 , * 号会被展开成当前目录下的所有文件 :
$ touch "1*.mp3" "1.mp3" "11.mp3" "12.mp3"
for i in (ls .mp3); do echo $i; done
1.mp3 1.mp3 11.mp3 12.mp3
1.mp3
11.mp3
12.mp3
1.mp3
11.mp3
12.mp3
不过,在这种场景下,你即使加上引号,也是无济于事的:
for i in "(ls .mp3)"; do echo --$i--; done
--1.mp3 1.mp3 11.mp3 12.mp3--
加上引号后,ls 执行的结果会被当成一个整体,所以 for 循环只会执行一次,达不到预期的效果。
事实上,这种情况下,根本不需要使用 ls 命令。ls 命令的结果本身就设计成给人读的,而不是给脚本解析的。正确的处理方法是,直接使用文件名展开(通配符)的功能:
$ for i in *.mp3; do
echo "$i"
done
1*.mp3
1.mp3
11.mp3
12.mp3
文件名展开是位于各种展开(花括号展开、变量替换、命令展开等)功能中的最后一个环节,所以不会有之前不带引号的命令展开的副作用。如果你需要递归地处理文件,可以考虑使用 Find 命令[5]。
到这一步,之间的问题看样子已经修复了。但是,如果你进一步思考,假设当前目录上没有文件时会怎么样?没有文件的时候,*.mp3 不会被展开直接传递给 for 循环处理,所以这个时候循环还是会执行一次。这种情况不是我们预期的行为。保险起见,可以在循环处理的时候,检查下文件是否存在:
POSIX
for i in *.mp3; do
[ -e "$i" ] || continue
some command "$i"
done
如果你有使用引号[6]和避免单词拆分[7]的习惯,你完全可以避免很多错误。
注意下循环体内部的 "$i",这里会导致下面我们要说的另外一个比较容易犯的错误。
- cp file target
上面的命令有什么问题呢?如果你提前知道,file 和 target 文件名中不会包含空格或者*号。否则,这行命令执行前在经过单词拆分和文件名展开的时候会出现问题。所以,两次强调,在使用展开的地方切勿忘记使用引号:
cp -- "file" "$target"
如果不带引号,当你执行如下命令时就会出错:
$ file="01 - Don't Eat the Yellow Snow.mp3"
$ target="/tmp"
cp file $target
cp: cannot stat ‘01’: No such file or directory
..
如果带上引号,就不会有上面的问题,除非文件名以 '-' 开头,在这种情况下,cp 会认为你提供的是一个命令行选项,这个错误下面会介绍。
- 文件名中包含短横 '-'
文件名以 '-' 开头会导致许多问题,*.mp3 这种通配符会根据当前的locale[8]展开成一个列表,但在绝大多数环境下,'-' 排序的时候会排在大多数字母前。这个展开的列表传递给有些命令的时候,会错误的将-filename 解析成命令行选项。这里有两种方法来解决这个问题。
第一种方法是在命令和参数之间加上--,这种语法告诉命令不要继续对--之后的内容进行命令行参数 / 选项解析:
cp -- "file" "$target"
这种方法可以解这个问题,但是你需要在每个命令后面都要加上--,而且依赖具体的命令解析的方式,如果一些命令不兼容这种约定俗成的规范,这种做法是无效的。
另外一种方法是,确保文件名都使用相对或者绝对的路径,以目录开头:
for i in ./*.mp3; do
cp "$i" /target
...
done
这种情况下,即使某个文件以-开头,展开后文件名依然是 ./-foo.mp3 这种形式,完全不会有问题。
- [ $foo = "bar" ]
这是一个与第 2 个问题类似的问题,虽然用到了引号,但是放错了位置,对于字符串字面值,除非有特殊符号,否则不大需要用引号括起来。但是,你应该把变量的值用括号括起来,从而避免它们包含空格或能通配符,这一点我们在前面的问题中都解释过。
这个例子在以下情况下会出错:
如果 [中的变量不存在,或者为空,这个时候上面的例子最终解析结果是:
[ = "bar" ] # 错误 !
并且执行会出错:unary operator expected,因为 = 是二元操作符,它需要左右各一个操作数。
如果变量值包含空格,它首先在执行之前进行单词拆分,因此 [命令看到的样子可能是这样的:
[ multiple words here = "bar" ];
正确的做法应该是:
POSIX
[ "$foo" = bar ]
这种写法,在 POSIX 兼容的实现中都不会有问题,即使 $foo 以短横 "-" 开头,因为 POSIX 实现的 test 命令通过传递的参数来确定执行的行为。
只有一些非常古老的 shell 可能会遇到问题,这个时候你可以使用下面的写法来解决(相信你肯定看到过这种写法):
POSIX / Bourne
[ x"$foo" = xbar ]
在 Bash 中,还有另外一种选择是使用[[关键字[9]:
Bash / Ksh
[[ $foo == bar ]]
这里你不需要使用引号,因为在 [[里面参数不会进行展开,当然带上引号也不会有错。
不过有一点要注意的是,[[里的 == 不仅仅是文本比较,它会检查左边的值是否匹配右侧的表达式,== 右侧的值加上引号,会让它成为一个普通的字面量,*? 等通配符会失去特殊含义。
- cd (dirname "f")
这又是一个引号的问题,命令展开的结果会进一步地进行单词拆分或者文件名展开。因此下面的写法才是正确的:
cd "(dirname "f")"
但是,上面引号的写法可能比较怪异,你可能会认为第一、二个引号,第三、四个引号是一组的。
但是事实上,Bash 将命令替换里面的引号当成一组,外面的当成另外一组。如果你是用反引号的写法,引号的行为就不是这样的了,所以[() 写法更加推荐](http://mywiki.wooledge.org/BashFAQ/082 "() 写法更加推荐")。
- [ "foo" = bar && "bar" = foo ]
不要在test 命令[10]内部使用 &&,Bash 解析器会把你的命令分隔成两个命令,在 && 之前和之后。你应该使用下面的写法:
[ bar = "foo" ] && [ foo = "bar" ] # POSIX
[[ foo = bar && bar = foo ]] # Bash / Ksh
尽量避免使用下面的写法,虽然它是正确的,但是这种写法可移植性不好,并且已经在 POSIX-2008 中被废弃:
[ bar = "foo" -a foo = "bar" ]
7. [[ $foo > 7 ]]
原文作者认为算术比较不应该用 [[,而是用 ((,我没弄明白是为什么。
如果有理解的同学,欢迎以评论回复,谢谢。
- grep foo bar | while read -r; do ((count++)); done
这种写法初看没有问题,但是你会发现当执行完后,count 变量并没有变化。原因是管道后面的命令是在一个子 Shell[11]中执行的。
POSIX 规范并没有说明管道的最后一个命令是不是在子 Shell 中执行的。一些 shell,例如 ksh93 或者 Bash>=4.2 可以通过 shopt -s lastpipe 命令,指明管道中的最后一个命令在当前 shell 中执行。由于篇幅限制,在此就不展开,有兴趣的可以看Bash FAQ #24[12]。
- if [grep foo myfile]
初学者会错误地认为,[是 if 语法的一部分,正如 C 语言中的 if ()。但是事实并非如此,if 后面跟着的是一个命令,[是一个命令,它是内置命令 test 的简写形式,只不过它要求最后一个参数必须是]。下面两种写法是一样的:
POSIX
if [ false ]; then echo "HELP"; fi
if test false; then echo "HELP"; fi
两个都是检查参数 "false" 是不是非空的,所以上面两个语句都会输出 HELP。
if 语句的语法是:
if COMMANDS
then
elif # optional
then
else # optional
fi # required
再次强调,[是一个命令,它同其它常规的命令一样接受参数。if 是一个复合命令,它包含其它命令,[并不是 if 语法中的一部分。
如果你想根据 grep 命令的结果来做事情,你不需要把 grep 放到 [里面,只需要在 if 后面紧跟 grep 即可:
if grep -q fooregex myfile; then
...
fi
如果 grep 在 myfile 中找到匹配的行,它的执行结果为 0(true),then 后面的部分就会执行。
-
if [bar="$foo"]; then ...
正如上一个问题中提到的,[是一个命令,它的参数之间必须用空格分隔。 -
if [ [ a = b ] && [ c = d ] ]; then ...
不要用把 [命令看成 C 语言中 if 语句的条件一样,它是一个命令。
如果你想表达一个复合的条件表达式,可以这样写:
if [ a = b ] && [ c = d ]; then ...
注意,if 后面有两个命令,它们用 && 分开。等价于下面的写法:
if test a = b && test c = d; then ...
如果第一个 test(或者 [) 命令返回 false,then 后面的语句不会执行;如果第一个返回 true,第二个 test 命令会执行;只有第二个命令同样返回 true 的情况下,then 后面的语句才会执行。
除此之外,还可以使用 [[关键字,因为它支持 && 的用法:
if [[ a = b && c = d ]]; then ...
12. read $foo
read 命令中你不需要在变量名之前使用 $。如果你想把读入的数据存放到名为 foo 的变量中,下面的写法就够了:
read foo
或者,更加安全地方法:
IFS= read -r foo
read foo 会把一行的内容读入到变量中,该变量的名称存储在 foo 中。所以两者的含义是完全不一样的。
- cat file | sed s/foo/bar/ > file
你不应该在一个管道中,从一个文件读的同时,再往相同的文件里面写,这样的后果是未知的。
你可以为此创建一个临时文件,这种做法比较安全可靠:
sed 's/foo/bar/g' file > tmpfile && mv tmpfile file
或者,如果你用得是 GNU Sed 4.x 以上的版本,可以使用-i 选项即时修改文件的内容:
sed -i 's/foo/bar/g' file
- echo $foo
这种看似无害的命令往往会给初学者千万极大的困扰,他们会怀疑是不是因为 foo 变量的值是错误的。事实却是因为,foo 变量在这里没有使用双引号,所以在解析的时候会进行单词拆分[13]和文件名展开[14],最终导致执行结果与预期大相径庭:
msg="Please enter a file name of the form *.zip"
echo $msg
这里整句话会被拆分成单词,然后其中的通配符会被展开,例如 *.zip。当你的用户看到如下的结果时,他们会怎样想:
Please enter a file name of the form freenfss.zip lw35nfss.zip
再举一个例子(假设当前目录下有以 .zip 结尾的文件):
var="*.zip" # var 包括一个星号,一个点号和 zip
echo "$var" # 输出 *.zip
echo $var # 输出所有以 .zip 结尾的文件
实际上,这里使用 echo 命令并不是绝对的安全。例如,当变量的值包含-n 时,echo 会认为它是一个合法的选项而不是要输出的内容(当然如果你能够保证不会有-n 这种值,可以放心地使用 echo 命令)。
完全可靠的打印变量值的方法是使用 printf:
printf "%s\n" "$foo"
15. $foo=bar
略过
- foo = bar
当赋值时,等号两边是不允许出现空格的,这同 C 语言不一样。当你写下 foo = bar 时,shell 会将该命令解析成三个单词,然后第一个单词 foo 会被认为是一个命令,后面的内容会被当作命令参数。
同样地,下面的写法也是错误的:
foo= bar # WRONG!
foo =bar # WRONG!
$foo = bar; # COMPLETELY WRONG!
正确的写法应该是这样的:
foo=bar # Right. foo="bar" # More Right. 17. echo <&1 >>logfile 这是一个很常见的错误,显然你本来是想将标准输出与标准错误输出都重定向到文件 logfile 中,但是你会惊讶地发现,标准错误依然输出到屏幕中。 这种行为的原因是,重定向[29]在命令执行之前解析,并且是从左往右解析。上面的命令可以翻译成,将标准错误输出重定向到标准输出(此刻是终端),然后将标准输出重定向到文件 logfile 中。所以,到最后,标准错误并没有重定向到文件中,而是依然输出到终端: somecmd >>logfile 2>&1 更加详细的说明见BashFAQ[30]。 43. cmd; (( ! $? )) || die 只有需要捕获上一个命令的执行结果进,才需要记录 $? 的值,否则如果你只需要检查上一个命令是否执行成功,直接检测命令: if cmd; then ... fi 或者使用 case 语句来检测多个或能的返回码: cmd status=$? case $status in 0) echo success >&2 ;; 1) echo 'Must supply a parameter, exiting.' >&2 exit 1 ;; *) echo 'Unknown error, exiting.' >&2 exit $status esac 引用链接 [1] Bash Pitfalls: http://mywiki.wooledge.org/BashPitfalls [2] 不应该让脚本去解析 ls 命令的结果: http://mywiki.wooledge.org/ParsingLs [3] WordSplitting: http://mywiki.wooledge.org/WordSplitting [4] 文件名展开: http://mywiki.wooledge.org/glob [5] 使用 Find 命令: http://mywiki.wooledge.org/UsingFind [6] 使用引号: http://mywiki.wooledge.org/Quotes [7] 单词拆分: http://mywiki.wooledge.org/WordSplitting [8] locale: http://mywiki.wooledge.org/locale [9] [[关键字: http://mywiki.wooledge.org/BashFAQ/031 [10] test 命令: http://mywiki.wooledge.org/BashFAQ/031 [11] 子 Shell: http://mywiki.wooledge.org/SubShell [12] Bash FAQ #24: http://mywiki.wooledge.org/BashFAQ/024 [13] 单词拆分: http://mywiki.wooledge.org/WordSplitting [14] 文件名展开: http://mywiki.wooledge.org/glob [15] here document: http://www.tldp.org/LDP/abs/html/here-docs.html [16] -c 是用于指定 login-class: http://www.openbsd.org/cgi-bin/man.cgi?query=su&sektion=1 [17] command grouping: http://mywiki.wooledge.org/BashGuide/CompoundCommands [18] 反斜杠并没有转义感叹号: https://www.gnu.org/software/bash/manual/html_node/Double-Quotes.html [19] 波浪号展开(Tilde expansion): https://www.gnu.org/software/bash/manual/html_node/Tilde-Expansion.html [20] local: http://tldp.org/LDP/abs/html/localvar.html [21] 命令替换: http://mywiki.wooledge.org/CommandSubstitution [22] Quotes: http://mywiki.wooledge.org/Quotes [23] locale: http://mywiki.wooledge.org/locale [24] ProcessManagement: http://mywiki.wooledge.org/ProcessManagement [25] 命令解释器: http://mywiki.wooledge.org/BashParser [26] 展开大括号: http://mywiki.wooledge.org/BraceExpansion [27] Shell 生成数字序列: https://kodango.com/generate-number-sequence-in-shell [28] Parameter Expansion: http://mywiki.wooledge.org/BashFAQ/073 [29] 重定向: http://wiki.bash-hackers.org/howto/redirection_tutorial [30] BashFAQ: http://mywiki.wooledge.org/BashPitfalls#cat_file_.7C_sed_s.2Ffoo.2Fbar.2F_.3E_file 链接:https://kodango.com/bash-pitfalls-part-1