群晖Moments重复文件处理（同样适用于Driver）

Moments官方简介：

备份每一个难忘时刻

移动设备的存储空间不会再限制您的想象力。可将日常生活拍到的照片安全备份到 Moments 中，并轻松释放空间。所有照片将以时间线模式显示，使用体验跟智能手机一样。

根据主题对时刻进行分组

Synology NAS 的深度学习算法可将随意拍摄的相片依相似的脸孔、主题与地点自动分类。

回顾记忆

无需在手机屏幕上来回滑动，也能快速找到您要的特定相片。只需简单地将关键词输入搜索字段，所有相关结果便会立即出现。您可以随时随地与家人朋友分享镜头捕捉到的珍贵片刻。

体验过程中遇到的问题

重复文件

重复文件

重复文件

经过大量 络搜索，解决Moments重复文件大致可分为以下几种：

1. 存储空间分析器，官方介绍可以进行MD5比对。但在我的使用过程中，自带的MD5比对有点不靠谱，同时不管我怎么设置，都只能生成不到200条重复数据，对于我这种数据量比较小的也不够用！还要选中每一条再进行删除，我这么懒的就不考虑了；
2. 挂在磁盘到本地，利用duplicate cleaner进行重复文件处理。在测试中，发现duplicate cleaner需要将NAS上所有文件下载文件到本地读取一遍才能完成，也是动辄几小时，等不起呀，pass；
3. 通过群晖上的Pythons自定义脚本，来实现删除相同的文件，脚本叫“delete.py”“deleteemp.py”，可惜怎么也找不到这个脚本……

本人思路

既然NAS上自带Python，何不用Python脚本批量导出Moments文件夹中所有文件名、MD5值、文件大小，然后用Excel筛选出需要删除的文件，再用shell脚本批量删除不就完了吗？虽然有极少部分文件不同但MD5值相同的概率，但是再加上文件大小比对，应该只有极小极小的可能会错误删除吧。

“想象很美好，现实很骨感”，NAS中自带的Python是被阉割的……

安装完整版Python3

参见上一篇 笔记 群晖安装第三方Python3

代码部分

md5.py

import hashlib   import osimport ioimport sys def printUsage():	print ('''Usage: [python] pymd5sum.py ''')def geneMd5(filename):    m = hashlib.md5()    try:        file = io.FileIO(filename,'r')    except PermissionError:        return "error"    bytes = file.read(1024)    while(bytes != b''):        m.update(bytes)        bytes = file.read(1024)     file.close()    return m.hexdigest()def main():    if(len(sys.argv) != 1 and len(sys.argv) != 2):        printUsage()    mat = "{:1}t{:32}t{:1}"    if(len(sys.argv)==1):        path="./"    if(len(sys.argv)==2):        path=sys.argv[1]    for fpathe,dirs,fs in os.walk(path):        for f in fs:            full_file = os.path.join(fpathe,f)            #去除@eadir目录            if "@" in full_file:                continue             print (mat.format(full_file,geneMd5(full_file),os.path.getsize(full_file)))main()

md5.sh

#!/bin/shpython3 ./md5.py > file_info.txt

生成文件夹下所有文件的MD5值和文件大小到file_info.txt

1、上传两个文件到Moments目录下

2、ssh链接NAS，进入Moments目录

cd /var/services/homes/用户名/Drive/Momentsnohup ./md5.sh &

3、等待……

利用Excel筛选要删除的文件

1、将file_info.txt文件内容拷贝到Excel，按MD5值和文件大小进行排序

2、D2单元格输入公式，下拉自动生成

=COUNTIF(B:B,B2&"*")=IF(B2&C2&"*"=B1&C1&"*",D1+1,1)

3、E2单元格输入公式，计算文件名长度

=LEN(MID(A2,FIND("@",SUBSTITUTE(A2,"/","@",LEN(A2)-LEN(SUBSTITUTE(A2,"/",""))))+1,10000))

操作完以上步骤后，将所有公式生成的数据转换为文本，避免再次计算

Ctrl+A、Ctrl+C、右键粘贴为数值。

4、重复文件删除依据：重复文件只保留文件名最短的1份（不分目录），F2单元格输入公式下拉

=IF(B2&C2&"*"=B1&C1&"*",F1+1,1)

对重复文件进行编 ，再次进行排序

筛选编 为1 ，删除掉，这一部分就是最后要保留的

生成shell删除命令

G2 rm

H2 =”‘”&A2&”‘”

下拉填充后复制到记事本

5、生成.sh文件

记事本首行添加 #!/bin/sh ，替换制表符为空格，最后记得

删除操作

最后一步，上传生成的sh文件到Moments目录，执行命令

cd /var/services/homes/用户名/Drive/Momentsnohup ./文件名.sh &

郑重提醒：文件删除有危险，可以小部分测试无误后再大批量删除！！！

此方法同样适用于任何其他目录