buyiyang

回复 30# 77七


    用自带的certutil就可以计算各类哈希值

77七

回复 31# buyiyang


   谢谢大佬指点！重新写了一个。

@echo off
rem http://bbs.bathome.net/redirect.php?goto=findpost&ptid=53343&pid=221896
for /r /d %%d in (*) do (
	pushd "%%d"
	setlocal
	for %%a in (*.jpg) do (
		for /f %%i in ('certutil -hashfile "%%a" MD5 ^| findstr /v "[^0-9a-z]"') do (
			if defined _"%%i" (
				del "%%a"
			) else (
				set _"%%i"=1
			)
		)
	)
	endlocal
	popd
)
pauseCOPY

aloha20200628

对图片/音频/视频去重是个常用操作，尤其是用文件的哈希值（md5）比对去重是个比较高效的方法，但用批处理脚本实现，至少有两个很有用的经验可供参考》
一。应该先对目标目录中的文件按尺寸排序，以便能够忽略其中大部分尺寸相异者，若舍此而去遍历每个文件计算其哈希值，当文件量过千后就有些难受了。例如，5000个文件去重了10个，即可估算前后两种方法所需哈希值计算量的效率之差了。
二。采用纯P的“字典”数据表来对应所有处理对象，比折腾外部数据交换的效率高很多，但会受限于CMD的8k个变量总空间，也就是处理对象/文件数量不要超过此限。好在个人家用较少有单个目录文件量超过此限，因此，单个目录的文件去重，对于纯P是可以驾驭的。

a475012621

回复 29# wanghan519


    链接：https://pan.baidu.com/s/1NK6rIHtoy1QLbsnoMYTRyw?pwd=ixl0
提取码：ixl0
--来自百度网盘超级会员V2的分享

a475012621

回复 32# 77七


    感谢，可以了

Five66

回复 32# 77七

不知为啥，我这边运行时，第7行for in里面那句certutil -hashfile "%%a" MD5 ^| findstr /v "[^0-9a-z]" 结果总是空的

77七

回复 36# Five66


   0字节文件好像不能获取md5

Five66

回复 37# 77七

不是0字节文件，不知道是不是是系统问题，我这里（不是win10系统）输出的md5好像是带有空格的：
输出是这样的：
MD5 hash of file 33.jpg:
71 51 39 e0 db b7 2e f2 89 ce 4a 3c 02 92 7b 50
CertUtil: -hashfile command completed successfully.

77七

回复 38# Five66


  
改为find /v ":"，过滤，可能更好，看了好几个帖子，都用的findstr

Five66

回复 39# 77七

findstr /e "[0-9a-z]" 也能过滤，不过还得处理空格

wanghan519

回复 34# a475012621


    修改了一下powershell代码，一会再试试先比较大小，再算md5，以加快速度

cd 测试
$d=@{};dir -File -Recurse | sort -Descending | % {$m=$_.DirectoryName+"\"+(Get-FileHash $_.FullName -Algorithm MD5).Hash;if($d.ContainsKey($m)){rm $_.FullName}else{$d.Add($m,1)}}COPY

a475012621

回复 41# wanghan519


    谢谢，费心了，应该没问题了

aloha20200628

如此设置 findstr 的匹配参数，还为防止目标文件名出现 “e3 b4 a5.jpg” 的特殊情况...

certutil -hashfile "1.jpg" md5 | findstr /rbc:"[0-9a-z][0-9a-z] "COPY