大数据的就业方向:
大数据应用流程中每个环节相关的技术介绍
大数据常用技术梳理
名称 | 内容 |
---|---|
Linuxl | 基本命令:cd、ll、ls、pwd、cp、 |
shell | 基本命令:cd、ll、ls、pwd、cp、 |
python | 怎么连接数据库,完成基本的增、删、改、查 |
python读取文件和向文件中写数据 | |
shell中怎么调用python、调用python脚本时怎么传递参数 | |
hadoop | hadoop常用命令梳理 |
hadoop fs -ls 等等 | |
hive | shell中怎么调用hive,调用hive传递参数 |
hive常见的建表语句 | |
impala | shell中怎么调用impala,调用impala传递参数 |
sqoop | sqoop工具的使用 |
集群上各种软件安装
软件名称 | 软件版本 | 下载地址 | 安装教程链接地址 |
---|---|---|---|
jdk | 1.8 | ||
mysql | 5.7 | ||
hadoop | 2.7 | ||
hive | |||
sqoop | |||
spark |
一、Shell语言
第一天
Linux基本操作命令
1.Shell语言
Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。
Shell 既是一种命令语言,又是一种程序设计语言。
2.Shell脚本
Shell 脚本(shell script),是一种为 shell 编写的脚本程序,一般文件后缀为 .sh。
业界所说的 shell 通常都是指 shell 脚本,但 shell 和 shell script 是两个不同的概念。
3.Shell环境
4.指定脚本解释器
指定 bash 解释器
5.echo
echo 用于字符串的输出。类似于Java或者python中的print()
6.注释
注释可以说明你的代码是什么作用,以及为什么这样写。
shell 语法中,注释是特殊的语句,会被 shell 解释器忽略。
单行注释 – 以 # 开头,到行尾结束。
多行注释 – 以 :<<EOF 开头,到 EOF 结束。
7.第一个shell脚本
8.shell脚本的执行
在当前目录下执行
在其他路径下执行
9.变量
定义变量时,变量名不加美元符 ($,PHP语言中变量需要)
注意:
变量名和等 之间不能有空格,这可能和你熟悉的所有编程语言都不一样。同时,变量名的命名须遵循如下规则:
命名只能使用英文字母,数字和下划线,首个字符不能以数字开头。
中间不能有空格,可以使用下划线 _。
不能使用标点符 。
不能使用bash里的关键字(可用help命令查看保留关键字)。
除了显式地直接赋值,还可以用语句给变量赋值,如:
以上语句将 /root 下目录的文件名循环出来。
使用变量:
使用一个定义过的变量,只要在变量名前面加美元符 即可,如:
仔细看上面的两种写法:第一种是不加大括 的,第二种是加大括 的
平时是这两种写法都行,除了下面的这种场景
推荐给所有变量加上花括 ,这是个好的编程习惯。
已定义的变量,可以被重新定义,这种写法经常用哈,注意(尤其是在if else语句中)
10.传递参数
我们可以在执行 Shell 脚本时,向脚本传递参数,脚本内获取参数的格式为:$n。n 代表一个数字,0 为执行的文件名(包含文件路径),1 为执行脚本的第一个参数,2 为执行脚本的第二个参数,以此类推……
参数 | 参数说明 | 重要程度 |
---|---|---|
$# | 传递到脚本的参数个数 | 一般 |
$* | 以一个单字符串显示所有向脚本传递的参数。如”$*“用「”」括起来的情况、以”$1 $2 … $n”的形式输出所有参数。 | 一般 |
$$ | 脚本运行的当前进程ID | 重要 |
$! | 后台运行的最后一个进程的ID | 熟悉 |
$@ | 与 相 同 , 但 是 使 用 时 加 引 , 并 在 引 中 返 回 每 个 参 数 。 如 ” *相同,但是使用时加引 ,并在引 中返回每个参数。如” /span>相同,但是使用时加引 ,并在引 中返回每个参数。如“@“用「”」括起来的情况、以”$1″ “ 2 ” … ” 2″ … ” 2“…“n” 的形式输出所有参数。 | 一般 |
$- | 显示Shell使用的当前选项,与set命令功能相同。 | 一般 |
$/td> | 显示最后命令的退出状态。0表示没有错误,其他任何值表明有错误。 | 重要 |
day3.sh脚本代码
error.py脚本的代码
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!