shell 去除utf8文件中bom头的方法

1.去除utf8文件中bom头

首先创建一个utf8带bom头的文件,随便插入些内容,例如test.txt

使用命令xxd查看此文件的16进制编码

可以看到头三个字节的16进制为 xEF xBB xBF

我们可以使用shell的sed命令实现utf8 bom头去除

上面命令表示,把xEFxBBxBF开头的字符替换为空。

执行完成后再使用xxd命令查看文件16进制编码

可以看到utf8 bom头被去除。

2.批量去除文件夹中utf8文件中的bom头

我们可以使用grep来查看哪些文件存在bom头,然后对这些文件执行替换。

-r 在当前目录及其子目录下搜索
-i 忽略大小写的不同,所以大小写视为相同
-l 查询多文件时只输出包含匹配字符的文件名
 
如果不需要递归多层目录,只处理当前目录

注意:mac中的sed命令有些不同,因此建议安装gnu-sed来处理

安装gnu-sed

设置默认路径

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2017年11月19日
下一篇 2017年11月19日

相关推荐