环境变量管理程序bmod使用教程

https://gitee.com/yhli/misc/tree/master/bmod

https://github.com/yhli1016/misc/tree/master/bmod

http://blog.sciencenet.cn/blog-2909108-1267515.html

1. 简介

在UNIX/Linux系统下做计算，不可避免地会接触到各种环境变量。编译程序时，需要通过环境变量指定编译器、编译选项和依赖库的位置。运行程序时，需要通过环境变量来查找可执行文件和动态链接库。若设置不当，便会导致各种错误(详见附录)。因此管理环境变量便成了一件既重要又棘手的事。

最简单的管理环境变量的方法，就是直接在$HOME/.bashrc中添加相应设置。这种方法的缺点也是很明显的：环境变量名易写错，添加或删除设置后要重新登录才能起效，bashrc冗长等等。大型超算中心通常用Environment Modules系统解决这个问题。但目前主流的Environment Modules系统安装和使用都比较复杂，学习成本较高。而个人电脑、自己组装的工作站和小型集群软件环境简单，再用Environment Modules系统牛刀杀鸡之嫌。因此，在这里提供一个环境变量管理程序bmod。程序非常简单，全部由bash语言写成，主体仅有150行左右，但实现了一个Environment Modules系统最基本的功能。下面介绍安装和使用方法。

2. 安装

https://github.com/yhli1016/misc/tree/master/bmod

# Set up environment variables used by bmodexport BMOD_ROOT=$HOME/soft/bmod

 
source $HOME/soft/bmod/init.sh
最后执行命令source $HOME/.bashrc，安装完成。modules目录下面自带了很多例子，在添加自己的脚本之前，记得全部删除。
3. 使用
3.1 通过命令行添加和移除设置
3.1.1 使用预定义的环境变量
与程序编译和运行相关的环境变量众多，不仅难记，还容易拼错。因此，bmod中预定义了常见的环境变量。以安装在$HOME/soft/lib/fftw-3.3.8下面的fftw库为例，为使该库能正常工作，我们需要手动输入如下命令：
fftw_root=$HOME/soft/lib/fftw-3.3.8export PATH=$fftw_root/bin:$PATHexport LIBRARY_PATH=$fftw_root/lib64:$LIBRARY_PATHexport LD_RUN_PATH=$fftw_root/lib64:$LD_RUN_PATHexport LD_LIBRARY_PATH=$fftw_root/lib64:$LD_LIBRARY_PATHexport C_INCLUDE_PATH=$fftw_root/include:$C_INCLUDE_PATHexport CPLUS_INCLUDE_PATH=$fftw_root/include:$CPLUS_INCLUDE_PATHunset fftw_root

而在bmod中，上述设置只需一行命令即可：
set_mod add pkg $HOME/soft/lib/fftw-3.3.8
移除设置只需运行下面命令：
set_mod rm pkg $HOME/soft/lib/fftw-3.3.8
set_mod命令后面参数含义：
第一个参数为add或rm，指定添加还是删除设置；
第二个参数为预定义的环境变量类型；
第三个参数为添加到环境变量中，或从环境变量中删除的设置。当预定义类型为pkg时，第三个参数无需具体到bin、lib64或include等子目录，bmod会自动搜索和添加。
目前bmod中预定义的类型和对应的环境变量为：

当预定义类型为bin、lib、inc、py时，bmod不会自动搜索子目录，所以第三个参数必须具体到bin、lib64或include。上面fftw的例子若用bin、lib、inc等预定义类型改写，对应的命令为：

set_mod add bin $HOME/soft/lib/fftw-3.3.8/binset_mod add lib $HOME/soft/lib/fftw-3.3.8/lib64set_mod add inc $HOME/soft/lib/fftw-3.3.8/include

再看一个xcrysden的例子。程序安装在$
HOME/soft/dft/xcrysden-1.6.2-bin-shared，可执行文件为xcrysden，还有一个动态链接库libTogl.so.2。为使这个程序正常运行，需将$
HOME/soft/dft/xcrysden-1.6.2-bin-shared添加到环境变量PATH和LD_LIBRARY_PATH，对应操作为：
set_mod add bin $HOME/soft/dft/xcrysden-1.6.2-bin-sharedset_mod add lib $HOME/soft/dft/xcrysden-1.6.2-bin-shared
或者简写为set_mod add bin+lib $
HOME/soft/dft/xcrysden-1.6.2-bin-shared。
3.1.2 使用自定义的环境变量
预定义的环境变量可以满足大多数情形。若待修改的环境变量没有预定义，可以用set_env和reset_env命令修改。
假设我们要把$HOME/soft/lib/abc/def添加到环境变量TEST中，对应操作为
set_env add TEST $HOME/soft/lib/abc/def
删除时为
set_env rm TEST $HOME/soft/lib/abc/def
如果我们希望把环境变量重设为一个新的值，而不是把新的值追加到变量中，可以用reset_env命令。例如，要将openmp线程数设置为4，可以输入：
reset_env add OMP_NUM_THREADS 4
若要将其恢复默认值，可以输入：
reset_env rm OMP_NUM_THREADS
3.2 通过脚本添加和移除设置
一般来说，程序在编译和运行过程中会涉及很多库，需要我们输入很多次set_mod和set_env命令。以siesta为例，加载设置时我们需要输入：
siesta=$HOME/soft/dft/siesta-v4.1-b4set_mod add pkg $siesta/Docs/build/flook/0.8.1set_mod add pkg $siesta/Docs/build/hdf5/1.8.21set_mod add pkg $siesta/Docs/build/netcdf/4.7.4set_mod add pkg $siesta/Docs/build/zlib/1.2.11set_mod add bin $siesta/Objunset siestareset_env add OMP_NUM_THREADS 1
移除设置时需要输入：
siesta=$HOME/soft/dft/siesta-v4.1-b4set_mod rm pkg $siesta/Docs/build/flook/0.8.1set_mod rm pkg $siesta/Docs/build/hdf5/1.8.21set_mod rm pkg $siesta/Docs/build/netcdf/4.7.4set_mod rm pkg $siesta/Docs/build/zlib/1.2.11set_mod rm bin $siesta/Objunset siestareset_env rm OMP_NUM_THREADS 1
而这些命令的区别，仅仅是把add换成了rm。这样太麻烦了。在bmod中我们可以通过脚本，用同一套命令完成加载和卸载两种操作。我们在$HOME/soft/bmod/modules下面新建一个bash脚本siesta-v4.1-b4.sh，把上面的命令存进去，并把add或rm换成$1：
siesta=$HOME/soft/dft/siesta-v4.1-b4set_mod $1 pkg $siesta/Docs/build/flook/0.8.1set_mod $1 pkg $siesta/Docs/build/hdf5/1.8.21set_mod $1 pkg $siesta/Docs/build/netcdf/4.7.4set_mod $1 pkg $siesta/Docs/build/zlib/1.2.11set_mod $1 bin $siesta/Objunset siestareset_env $1 OMP_NUM_THREADS 1
加载设置时输入：
bmod add siesta-v4.1-b4
卸载时输入：
bmod rm siesta-v4.1-b4
bmod会自动把$1替换成add或rm。需注意，如果系统中安装了某个库的多个版本，而待运行的程序只能使用特定版本，那么在加载该版本前必须把其它版本卸掉。假设系统中还安装了hdf5-1.10.12，上述设置就要改成：
set_mod rm pkg $HOME/soft/lib/hdf5-1.10.12siesta=$HOME/soft/dft/siesta-v4.1-b4set_mod $1 pkg $siesta/Docs/build/flook/0.8.1set_mod $1 pkg $siesta/Docs/build/hdf5/1.8.21set_mod $1 pkg $siesta/Docs/build/netcdf/4.7.4set_mod $1 pkg $siesta/Docs/build/zlib/1.2.11set_mod $1 bin $siesta/Objunset siestareset_env $1 OMP_NUM_THREADS 1
由于我们希望在加载hdf5-1.8.21之前卸载hdf5-1.10.12，所以set_mod后面的参数必须是rm，不能用$1代替。
除了add/rm外，bmod命令支持如下选项：

modules目录下面中自带了很多用作例子的脚本。下面是bmod av命令的输出结果：

[yhli@linux-h149 ~]$ bmod av---- /home/yhli/soft/bmod/modules ---- 1) bgw-2.1 2) boost-1.75.0 3) fleurMaXR3.1 4) office 5) openmpi-4.0.5 6) qe-6.6 7) siesta-v4.1-b4 8) spex05.00 9) vasp.5.4.4 10) vesta 11) vtst 12) wannier90-2.1.0 13) xcrysden-1.6.2

以及bmod ls命令的输出结果：
[yhli@linux-h149 ~]$ bmod lsCurrently loaded modules:
由于在一开始我们没有加载任何脚本，所以bmod ls输出为空。我们先用bmod add命令加载几个脚本后，再来看有何不同：
[yhli@linux-h149 ~]$ bmod add bgw-2.1 boost vesta[yhli@linux-h149 ~]$ bmod lsCurrently loaded modules: 1) bgw-2.1 2) boost-1.75.0 3) vesta
可以看到这几个脚本已被加载了。如果脚本名字中的版本 和主体以-隔开，可以省略不写。所以bmod add boost是可以的，而bmod add vasp却不行，必须输入全称bmod add vasp.5.4.4。
我们用bmod cl命令卸载已加载的脚本，看下效果：
[yhli@linux-h149 ~]$ bmod lsCurrently loaded modules:
可见所有已加载的脚本都已被卸载。bmod pg有类似效果，就不再展示了。
4. 补充说明
4.1 常见环境变量及 错信息
4.1.1 PATH
系统需要通过这个环境变量查找可执行程序(二进制文件或脚本)。若未正确设置，会 类似如下错误：
[yhli@linux-h149 ~]$ pw.x-bash: pw.x: command not found
4.1.2 LD_RUN_PATH, LIBRARY_PATH
这两个环境变量指定编译程序时，所用到的库文件所在位置。库文件有两种：静态链接库(libxxx.a)和动态链接库(libxxx.so)。若未正确设置，会 类似如下错误：
/usr/lib64/gcc/x86_64-suse-linux/7/../../../../x86_64-suse-linux/bin/ld: cannot find -lboost_python38collect2: error: ld returned 1 exit statusmake: *** [Makefile:65：pyxaid_core.so] Error 1

4.1.3 LD_LIBRARY_PATH
这个环境变量指定运行程序时，所用到的动态链接库所在位置。若未正确设置，会 类似如下错误：
[yhli@linux-h149 doublecmd]$ ./doublecmd./doublecmd: error while loading shared libraries: libQt5Pas.so.1: cannot open shared object file: No such file or directory
4.1.4 C_INCLUDE_PATH, CPLUS_INCLUDE_PATH
这两个环境变量指定编译程序时，所用到的头文件所在位置。若未正确设置，会 类似如下错误：
pyxaid_core.cpp:10:10: fatal error: boost/python.hpp: No such file or directory#include <boost/python.hpp> ^~~~~~~~~~~~~~~~~~compilation terminated.make: *** [Makefile:59：pyxaid_core.o] Error 1

4.2 注意事项
目前bmod缺失对已加载模块检查的功能。以下述命令为例：
[yhli@linux-h149 ~]$ bmod add qe[yhli@linux-h149 ~]$ bmod add fleurMaXR3.1[yhli@linux-h149 ~]$ bmod lsCurrently loaded modules: 1) qe-6.6 2) fleurMaXR3.
当执行第一条命令bmod add qe时，bmod加载了与qe相关的设置。一般来说，这需要卸载冲突库和加载依赖库。当执行第二条命令bmod add fleurMaXR3.1时，bmod同样会执行类似操作。但是，如果fleur依赖的某个库恰巧与qe冲突，或者与fleur有冲突的某个库恰巧是qe的依赖库，那么执行完第二句后，qe的环境变量就被破坏了。也就是说，bmod目前只能“狗熊掰玉米”，保证最后一个加载的程序可用。要解决这个问题，需要复杂的依赖和冲突关系分析。这已经超出了bmod的设计初衷，如有这方面的需求，可以选择功能更强大的Environment Modules系统，或本人开发的Pmod 。

                                                        
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！