本章内容概要
- 编程基础
- 脚本基本格式
- 变量
- 运算
- 条件测试
- 配置用户环境
1、编程基础
- 程序:指令+数据
- 程序编程风格:
过程式:以指令为中心,数据服务于指令
对象式:以数据为中心,指令服务于数据 - shell程序:提供了编程能力,解释执行
1.2 程序的执行方式
- 计算机:运行二进制指令
- 编程语言:
低级:汇编
高级:
编译:高级语言-->编译器-->目标代码
如:java,c#
解释:高级语言-->解释器-->机器代码
如:shell,perl,python
1.3 编程基本概念
- 编程逻辑处理方式:
顺序执行
循环执行
选择执行 - shell编程:过程式
编程语言的基本结构:
各种系统命令的组合
数据存储:变量、数组
表达式:a+b
语句:if
2、脚本基本格式
2.1 shell脚本基础
- shell脚本:
包含一些命令或生命,并符合一定格式的文本文件 - 格式要求:首行shebang机制
#!/bin/bash 使用shell编程
#!/bin/bin/python 使用python语言编程
#!/usr/bin/perl 使用perl语言编程
- shell脚本的用途:
自动化常用命令
执行系统管理和故障排除
创建简单的应用程序
处理文本或文件
2.2 创建shell脚本
- 第一步:使用文本编辑器来创建文本文件
第一行必须包括shell声明序列:#!
#!/bin/bash
添加注释
注释以#开头 - 第二步:运行脚本
给予执行权限,在命令行上指定脚本的绝对或相对路径
直接运行解释器,将脚本作为解释器程序的参数运行
2.3 脚本规范
- 脚本代码开头约定
1、第一行一般为调用使用的语言
2、程序名,避免更改文件名为无法找到正确的文件
3、版本号
4、更改后的时间
5、作者相关信息
6、该程序的作用,及注意事项
7、最后是各版本的更新简要说明
2.4 脚本的基本结构
- 脚本的基本结构
结构说明:
#!SHEBANG shebang机制
CONFIGURATION_VARIABLES 配置变量
FUNCTION_DEFINITIONS 函数定义
MAIN_CODE 主要程序代码
示例:
#!/bin/bash
# ------------------------------------------
# Filename: hello.sh
# Revision: 1.1
# Date: 2017/06/01
# Author: wang
# Email: wang@gmail.com
# Website: www.magedu.com
# Description: This is the first script
# ------------------------------------------
# Copyright: 2017 wang
# License: GPL
echo "hello world"
2.5 脚本调试
执行一个脚本
首先要给文件赋予执行(x)权限
其次要把脚本加入PATH变量路径中
或者直接写出脚本的绝对路径或相对路径
或者source(.) /path/to/some_script
- 检测脚本中的语法错误
bash -n /path/to/some_script - 调试执行
bash -x /path/to/some_script
练习:
1、显示hello world
#!/bin/bash
echo "hello world"
调试:
[root@centos7 bin]#bash -n hello.sh
[root@centos7 bin]#bash -x hello.sh
+ echo 'hello world'
hello world
3、变量
- 变量:命名的内存空间
数据存储方式:
字符:
数值:整型,浮点型 - 变量:变量类型
作用:
1、数据存储格式
2、参与的运算
3、表示的数据范围
类型:
字符
数值:整型、浮点型
强类型:变量不经过强制转换,它永远是这个数据类型,不允许隐式的类型转换。一般定义变量时必须指定类型、参与运算必须符合类型要求;调用未声明变量会产生错误
如:java,c#
弱类型:语言的运行时会隐式做数据类型转换。无须指定类型,默认均为字符型;参与运算会自动进行隐式类型转换;变量无须事先定义可直接调用
如:bash 不支持浮点数(即小数),php - 变量命名法则:
1、不能使程序中的保留字:例如if, for
2、只能使用数字、字母及下划线,且不能以数字开头
3、见名知义
4、统一命名规则:驼峰命名法(包括小驼峰和大驼峰)
如:studentName;小驼峰命名,第一个单词首字母不大写,后续单词首字母全部大写
StudentName;大驼峰命名,第一个单词首字母大写,后续单词首字母全部大写
3.1 bash中变量的种类
- 根据变量的生效范围等标准划分下面变量类型:
局部变量:生效范围为当前shell进程;对当前shell之外的其它shell进程,包括当前shell的子shell进程均无效
环境(全局)变量:生效范围为当前shell进程及其子进程
本地变量:生效范围为当前shell进程中某代码片断,通常指函数
只读变量:该变量只读,不能被删除,用于某些重要不能被删除的变量
位置变量:$1, $2, ...来表示,用于让脚本在脚本代码中调用通过命令行传递给它的参数
特殊变量:$?, $0, $*, $@, $#,$$
局部变量
生效范围为当前shell进程;对当前shell之外的其它shell进程,包括当前shell的子shell进程均无效
- 变量赋值:name='value',赋予的值要用''括起来
- 可以使用引用value:
(1) 可以是直接字串; name=“root"
(2) 变量引用:name="$USER"
(3) 命令引用:name=\COMMAND\
name=$(COMMAND)
知识小扩展:
title="ceo";name=$title
echo $name;结果显示为ceo
如果,把title=boss;那么echo $name;结果显示还是ceo
因为把title=boss,就是另外开辟一个内存空间存放boss;
而name仍然指向ceo,因此当title更改赋值内容,name的赋值内容不变
- 变量引用:${name} $name
"":弱引用,其中的变量引用会被替换为变量值
'':强引用,其中的变量引用不会被替换为变量值,而保持原字符串 - 显示已定义的所有变量:set
- 删除变量:unset
练习:
1、显示系统信息(包括操作系统版本、内核版本、cpu型号、内存大小、硬盘大小、ip地址、用户名、主机名)
#!/bin/bash
echo "os version is:^[[1;31m `cat /etc/centos-release`^[[m"
#^[[1;31m ^[[m 是给输出结果添加颜色
echo "kernel version is^[[1;31m `uname -r`^[[m"
echo "cpu type is ^[[1;31m`lscpu |grep -s "Model name"|tr -s " " |cut -d: -f2`^[[m"
echo "^[[1;31m`cat /proc/meminfo |head -n1`^[[m"
echo "Disk:^[[1;31m`lsblk |grep "^sd"|tr -s " "|cut -d" " -f1,4`^[[m"
echo "Network ip: ^[[1;31m`ifconfig ens33 |grep -w "inet"|grep -Eo '([0-9]{1,3}\.){3}[ 0-9]{1,3}'|head -n1`^[[m"
echo "My username is ^[[1;31m$USER^[[m"
echo "My hostname is ^[[1;31m`hostname`^[[m"
2、编写脚本/root/bin/backup.sh,可实现每日将/etc/目录备份到/root/etcYYYY-mm-dd中
#!/bin/bash
cp -a /etc/ /root/etc`date "+%F"`
3、编写脚本/root/bin/disk.sh,显示当前硬盘分区中空间利用率最大的值
#!/bin/bash
df |grep "/dev/sd" |tr -s " " %|cut -d% -f5|sort -nr|head -n1
4、编写脚本/root/bin/links.sh,显示正连接本主机的每个远程主机的IPv4地址和连接数,并按连接数从大到小排序
#!/bin/bash
netstat -nt |tr -s " " :|cut -d: -f6 |sort|uniq -c |sort -nr
环境(全局)变量
生效范围为当前shell进程及其子进程
- 变量声明、赋值:
export name=VAULE
declare -x name=VALUE - 变量引用:$name,${name}
显示所有环境变量:
env
printenv
export
declare -x - 删除变量:unset name
知识小扩展:
使用source . bash /path/to/some_script,可以使脚本立即生效
这三者的区别是:
bash /path/to/some_script
调试脚本时,开启子进程运行脚本,不影响当前进程的环境变量(一般情况下,不使用source命令启用脚本)
source 脚本(相当于. 脚本)
正常运行,在当前进程运行脚本(更改配置文件时,使用该命令),会对当前的变量产生影响。
如果脚本运行完毕以后,对当前运行环境产生影响,这些改变会持续下去,除非手动更改回来,因此一般情况下,不推荐使用source(.)
- bash内建的环境变量:
PATH SHELL USER UID HOME PWD SHLVL LANG MAIL HOSTNAME HISTSIZE -
只读和位置变量
- 只读变量
声明只读变量:
readonly name
declare -r name
查看只读变量:
readonly -p或declare -r - 位置变量
$1, $2, ...:对应第1、第2等参数,shift [n]换位置
$0: 命令本身
$*: 传递给脚本的所有参数,全部参数合为一个字符串
$@: 传递给脚本的所有参数,每个参数为独立字符串
$#: 传递给脚本的参数的个数
$@ $* 只在被双引号包起来的时候才会有差异
set -- 清空所有位置变量
当位置变量参数数量达到10以上$后面的变量需要用{}括起来,否则第10个以后的变量会被当成两个参数,如$10会被当成$1和0
示例:
#!/bin/bash
echo 1st arg is $1
echo 2st arg is $2
echo 3st arg is $3
echo 10st arg is ${10}
echo Allst arg is $*
echo Allst args is $@
echo The args is $#
echo The scriptname is `basename $0`
测试结果:
[root@centos7 bin]#testscript.sh {a..z}
1st arg is a
2st arg is b
3st arg is c
10st arg is j
Allst arg is a b c d e f g h i j k l m n o p q r s t u v w x y z
Allst args is a b c d e f g h i j k l m n o p q r s t u v w x y z
The args is 26
The scriptname is testscript.sh
其中$10显示的结果为a0,
3.2 退出状态
- 进程使用退出状态来报告成功或失败
0代表成功,1-255代表失败
$?保存最近的命令退出状态,使用echo $?查看退出状态值
示例:
ping -c1 -W1 hostdown &> /dev/null
echo $?
练习
1、创建用户 设置初始口令magedu 并且初次登录提醒更改口令
#!/bin/bash
useradd $1
echo magedu |passwd --stdin $1 >> /dev/null
echo "password is changed"
passwd -e $1 >> /dev/null
echo "please change password"
2、创建模板;并且输入什么,就创建以什么为名字的模板,并且给自己加执行权限,进入文件后,光标自动放在最后一行
#!/bin/bash
#Date:2018-08-02
name=yuandangsheng
qq=957464230
cat > $1 <<EOF
#!/bin/bash
#Author: $name
#QQ: $qq
#Date: `date "+%F %T"`
#Filename $1
#URL http://www.magedu.com
EOF
chmod a+x $1
vim + $1
退出状态码
- bash自定义退出状态码
exit [n]:自定义退出状态码
注意:脚本中一旦遇到exit命令,脚本会立即终止;终止退出状态取决于exit命令后面的数字
注意:如果未给脚本指定退出状态码,整个脚本的退出状态码取决于脚本中执行的最后一条命令的状态码
3.3 算术运算
- bash中的算术运算:help let(查看let用法帮助)
+, -, *, /, %取模(取余), **(乘方)
实现算术运算:
(1) let var=算术表达式
(2) var=$[算术表达式]
(3) var=$((算术表达式))
(4) var=$(expr arg1 arg2 arg3 ...)
(5) declare –i var = 数值
(6) echo ‘算术表达式’ | bc - 乘法符号有些场景需要转移,如*
- bash有内建的随机数生成器:$RANDOM(0-32767)
echo $[$RANDOM%50] :0-49之间随机数(50%是指50取余,余数为0-49)
示例:
[root@centos7 ~]#x=10
[root@centos7 ~]#y=20
[root@centos7 ~]#let s=x+y
[root@centos7 ~]#echo $s
30
[root@centos7 ~]#s=$[x+y]
[root@centos7 ~]#echo $s
30
[root@centos7 ~]#s=$((x+y))
[root@centos7 ~]#echo $s
30
[root@centos7 ~]#expr 2 + 3
5
[root@centos7 ~]#expr 2 \* 3
6
[root@centos7 ~]#declare -i n=10
[root@centos7 ~]#declare -i m=20
[root@centos7 ~]#declare -i s=$n+$m
[root@centos7 ~]#echo $s
30
赋值
- 增强型赋值:
+=,-=,*=,/=,%= - let varPOERvalue
例如:let count+=3 自加3后自赋值 - 自增,自减:
let var+=1
let var++
let var-=1
let var--
示例:
[root@centos7 ~]#n=10
[root@centos7 ~]#let n+=1
[root@centos7 ~]#echo $n
11
[root@centos7 ~]#n=10
[root@centos7 ~]#let n++
[root@centos7 ~]#echo $n
11
let var-=1;let var--同理。
练习
1、编写脚本/root/bin/sumid.sh,计算/etc/passwd文件中的第10个用户和第20用户的ID之和
#!/bin/bash
uid10=`cat /etc/passwd |head -n10 |tail -n1|cut -d: -f3`
uid20=`cat /etc/passwd |head -n20 |tail -n1|cut -d: -f3`
echo $[uid10+uid20]
2、编写脚本/root/bin/sumspace.sh,传递两个文件路径作为参数给脚本,计算这两个文件中所有空白行之和
#!/bin/bash
space1=`grep "^[[:space:]]*$" $1 |wc -l`
space2=`grep "^[[:space:]]*$" $2 |wc -l`
echo "sumspace is $[ $space1+$space2 ]"
3、编写脚本/root/bin/sumfile.sh,统计/etc, /var, /usr目录中共有多少个一级子目录和文件
#!/bin/bash
file1=`tree -L 1 $1 | wc -l`
file2=`tree -L 1 $2 | wc -l`
file3=`tree -L 1 $3 | wc -l`
echo "sumfile is $[ $file1+$file2+$file3]"
3.4 逻辑运算
- 真(true) 表达为1
假(false) 表达为0 - 与运算
1 与 1 = 1
1 与 0 = 0
0 与 1 = 0
0 与 0 = 0
总结:(后面的值)和1相与,保留原值;和0相与,结果都为0 - 或运算
1 或 1 = 1
1 或 0 = 1
0 或 1 = 1
0 或 0 = 0
总结:(后面的值)和1相或,结果都为1;和0相或,保留原值 - 非运算
! 1 = 0
! 0 = 1 - 短路运算
短路与
第一个为0,结果必定为0
第一个为1,第二个必须要参与运算
短路或
第一个为1,结果必定为1
第一个为0,第二个必须要参与运算 - 异或
异或的两个值,相同为假,不同为真
abc之间异或
a^b=c
c^a=b
c^b=a
知识扩展:a、b值互换
a=10;b=7;a=$[a^b];b=$[a^b];a=[a^b]
a=$\[a^b\](此时a等于a和b异或的值);
b=$\[a\^b\](此时b等于a\^b的值再和b异或所得到的值,应该为a原本的值
a=$\[a^b\](同理,a的值应该为7)
4、条件测试
4.1 条件测试
- 判断某需求是否满足,需要由测试机制来实现
专用的测试表达式需要由测试命令辅助完成测试过程 - 评估布尔声明,以便用在条件性执行中
若真,则返回0
若假,则返回1 - 测试命令:
test EXPRESSION
[ EXPRESSION ]
[[ EXPRESSION ]]
注意:EXPRESSION前后必须有空白字符
条件性的执行操作符
- 根据退出状态而定,命令可以有条件地运行
&& 代表条件性的AND THEN
|| 代表条件性的OR ELSE
使用短路与和短路或进行条件判断
cmd1 && cmd2 || cmd3
如果cmd1成功,就执行cmd2(假设cmd2总成功)
如果cmd2失败,就执行cmd3
示例:
1、id -u $name &> /dev/null && echo $name is exist || echo $name is not exist
给变量name赋值,用户如果存在,结果为真;如果不存在,结果为假
2、ip=192.168.32.128;ping -c1 $ip &>/dev/null && echo $ip is up || echo $ip is down
ping其他ip地址,变量ip赋值的地址如果能通,则结果为ip地址is up;否则,结果为ip地址 is down
3、name=user2; id $name &> /dev/null && echo $name is exist || ( useradd $name ; echo $name is created )
根据用户是否存在并作出提示
练习:
检查磁盘利用率是否大于80,大于80就报警,低于80不报警(可以吧节点编号也加入检测项)
#!/bin/bash
n=`df | grep "/dev/sd"|tr -s " " %|cut -d% -f5 |sort -nr |head -n1`
Inode=`df -i | grep "/dev/sd"|tr -s " " |cut -d" " -f2 |sort -nr|head -n1`
#把磁盘inode值取出
export m=80
[ $n -gt $m ] && echo `wall disk will be full`
[ $Inode -gt $m ] && echo `wall inode will be full`
#把inode值与80作比较,如果大于80就做出报警
bash的数值测试
- -v VAR
变量VAR是否设置 - 数值测试
-gt 是否大于
-ge 是否大于等于
-eq 是否等于
-ne 是否不等于
-lt 是否小于
-le 是否小于等于
bash的字符串测试
= 是否等于
> ascii码是否大于ascii码
< 是否小于
!= 是否不等于
=~ 左侧字符串是否能够被右侧的PATTERN所匹配
注意: 此表达式一般用于[[ ]]中;扩展的正则表达式
-z "STRING" 字符串是否为空,空为真,不空为假
-n "STRING" 字符串是否不空,不空为真,空为假
注意:用于字符串比较时的用到的操作数都应该使用引号
示例:
[root@centos7 ~]#[ -z "" ] && echo true || echo false
true
[root@centos7 ~]#[ -z "x" ] && echo true || echo false
false
[root@centos7 ~]#[ -n "" ] && echo true || echo false
false
[root@centos7 ~]#[ -n "x" ] && echo true || echo false
true
bash的文件测试
- 存在性测试
-a FILE:同-e
-e FILE: 文件存在性测试,存在为真,否则为假 - 存在性及类别测试
-b FILE:是否存在且为块设备文件
-c FILE:是否存在且为字符设备文件
-d FILE:是否存在且为目录文件
-f FILE:是否存在且为普通文件
-h FILE 或 -L FILE:存在且为符号链接文件
-p FILE:是否存在且为命名管道文件
-S FILE:是否存在且为套接字文件
判断文件状态
要首先判断该文件是否为软链接,然后在判断文件其他类型
如果文件是一个软链接,需要用-h或-L判断,否则会判断软链接指向的文件类型
bash的文件权限测试
- 文件权限测试
-r FILE:是否存在且可读
-w FILE: 是否存在且可写
-x FILE: 是否存在且可执行 - 文件特殊权限测试
-u FILE:是否存在且拥有suid权限
-g FILE:是否存在且拥有sgid权限
-k FILE:是否存在且拥有sticky权限
bash的文件属性测试
- 文件大小测试:
-s FILE:是否存在且非空 - 文件是否打开:
-t fd: fd 文件描述符是否在某终端已经打开
-N FILE:文件自从上一次被读取之后是否被修改过
-O FILE:当前有效用户是否为文件属主
-G FILE:当前有效用户是否为文件属组 - 双目测试:
FILE1 -ef FILE2: FILE1是否是FILE2的硬链接
FILE1 -nt FILE2: FILE1是否新于FILE2(mtime)
FILE1 -ot FILE2: FILE1是否旧于FILE2
bash的组合测试条件
- 第一种方式:
COMMAND1 && COMMAND2 并且
COMMAND1 || COMMAND2 或者
! COMMAND 非
如:[[ -r FILE ]] && [[ -w FILE ]] - 第二种方式
EXPRESSION1 -a EXPRESSION2 并且
-o EXPRESSION2 或者
! EXPRESSION
必须使用测试命令进行
示例:
判断变量HOSTNAME非空或等于localhost.localdomain,如果满足该条件则执行localhost.localdomain命令
[ -z “$HOSTNAME” -o $HOSTNAME "==\"localhost.localdomain" ] && hostname www.magedu.com
判断/bin/cat为普通文件并且有执行权限,如果满足则执行cat /etc/fstab
[ -f /bin/cat -a -x /bin/cat ] && cat /etc/fstab
判断ip地址:如果是ip地址,则输出true,否则为false
ip=331.1.1.1;[[ "$ip" =~ ^(([0-9][1-9]?|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9][1-9]?|1[0-9]{2}|2[0-4][0-9]|25[0-5])$ ]] && echo true ||echo false
练习
1、输入ip地址,如果存在,写入ip.conf;如果不存在,做出提醒
#!/bin/bash
read -p "please input your ipaddr:" ip
[[ "$ip" =~ ^(([1-9]?[0-9]|1[1-9]?[0-9]|2[0-4][0-9]|25[0-5])\.){3}([1-9]?[0-9]|[1-9]?[0-9]|2[0-4][0-9]|25[0-5])$ ]] && echo "IPADDR = $ip" >> ip.txt ||echo "IPADDR is not ok"
2、鸡兔同笼:假设笼中有35个头,94只脚,计算出笼中鸡和兔子各有多少只?
(输入头的数量和脚的数量,可以计算出鸡和兔子的数量)
#!/bin/bash
read -p "please input num of head:" head
[[ ! $head =~ ^[[:digit:]]+$ ]] && { echo "请输入数字";exit; }
#判断输入内容是否为数字
read -p "please input num of feet:" feet
[[ ! $head =~ ^[[:digit:]]+$ ]] && { echo "请输入数字";exit; }
#判断输入内容是否为数字
(( rabbit = $feet/2-$head )) && echo "the num of chook is $rabbit"
(( chook = $head-$rabbit )) && echo "the num of rabbit is $chook"
3、输入yes或no,如果输入的是yes或no,提示答案正确;如果输入不是yes或no,提示输入错误(要求yes可以是y,大小写混用的yes,no可以是n,也可以大小写混用)
#!/bin/bash
read -p "Please input yes or no: " answer
[[ "$answer" =~ ^[Yy]([Ee][Ss])?$ ]] && echo Your answer is YES && exit
[[ "$answer" =~ ^[Nn][Oo]?$ ]] && echo Your answer is NO && exit
echo "Your answer is false,please input yes or no
4.2 使用read命令来接受输入
- 使用read来把输入值分配给一个或多个shell变量
-p 指定要显示的提示
-s 静默输入,一般用于密码
-n N 指定输入的字符长度N
-d ‘字符’ 输入结束符
-t N TIMEOUT为N秒
read 从标准输入中读取值,给每个单词分配一个变量,所有剩余单词都被分配给最后一个变量
注意:-p 输入提示信息,后面要紧跟描述信息,不能跟其他选项
read -t 30 -p "please input your name: " name
输入提示信息,30秒超时断开(name是一个变量,相当于read name中的$name变量)
read不支持管道复制
如:cat f1 |read x y z
可以用<<<对多个变量赋值
如:read x y z <<< "aa bb cc"
5、配置用户环境
5.1 bash的配置文件
- 按生效范围划分,存在两类:
全局配置:
/etc/profile
/etc/profile.d/*.sh
/etc/bashrc
个人配置:
~/.bash_profile
~/.bashrc
shell登录两种方式
-
交互式登录(命令行界面)
(1)直接通过终端输入账号密码登录
(2)使用“su - UserName” 切换的用户
执行顺序:/etc/profile --> /etc/profile.d/*.sh --> ~/.bash_profile --> ~/.bashrc --> /etc/bashrc -
非交互式登录(图形界面)
(1)su UserName
(2)图形界面下打开的终端
(3)执行脚本
(4)任何其它的bash实例
执行顺序: ~/.bashrc --> /etc/bashrc --> /etc/profile.d/*.sh -
按功能划分,存在两类:
profile类和bashrc类
profile类:为交互式登录的shell提供配置
全局:/etc/profile, /etc/profile.d/*.sh
个人:~/.bash_profile
功用:
(1) 用于定义环境变量
(2) 运行命令或脚本
bashrc类:为分交互式和交互式登录的shell提供配置
全局:/etc/bashrc
个人:~/.bashrc
功用:
(1) 定义命令别名和函数
(2) 定义本地变量
编辑配置文件生效
- 修改profile和bashrc文件后需立即生效
两种方法:
1重新启动shell进程
2 . 或source(不推荐使用,全局变量生效会对当前环境产生影响)
例:
. ~/.bashrc
bash退出任务
- 保存在~/.bash_logout文件中
- 在退出登录shell时运行
- 用于:
创建自动备份
清除临时文件
$-变量
h:hashall,打开这个选项后,Shell会将命令所在的路径hash下来,避免每次都要查询。通过set +h将h选项关闭
i:interactive-comments,包含这个选项说明当前的 shell是一个交互式的 shell。所谓的交互式shell,在脚本中,i选项是关闭的。
m:monitor,打开监控模式,就可以通过Job control来控制进程的停止、继续,后台或者前台执行等。
B:braceexpand,大括号扩展
H:history,H选项打开,可以展开历史列表中的命令,可以通过!感叹号来完成,例如“!!”返回上最近的一个历史命令,“!n”返回第 n 个历史命令
文章评论