[文本处理] 批处理删除重复文件咋写？大小一样,名字相似这种

allen2023

如题，删除掉 重复存在的 带（1）的文件，批处理咋写
注意:有的带了（1），但并不重复，不要删除。

aloha20200628

回复 9# allen2023

与楼主分享一个版本》
假设当前目录 c:\a 及其子目录 c:\a\b 中有如下一类重复文件，其源文件例如 c:\a\xxx.pdf，与源文件相同主名和文件大小且以'(n)'结尾文件名的文件均为源文件复制品
   ...
   c:\a\xxx.pdf
   c:\a\xxx(1).pdf
   c:\a\xxx(1)(1).pdf
   ...
   c:\a\b\xxx(2).pdf
   c:\a\b\xxx(2)(1).pdf
   ...
在当前目录下运行如下代码，可保留当前目录中的源文件 c:\a\xxx.pdf，但会删除当前目录及其各子目录中符合上述假设条件的源文件复制品

@echo off &for /f "delims=" %%F in (
   'dir /b/s/a-d "*(*).pdf"^|findstr /ie "([0-9]*).pdf" ') do for /f "delims=(" %%a in ("%%F") do (
   if exist "%%~na.pdf" for %%z in ("%%~na.pdf") do if %%~zz equ %%~zF del /q "%%F"
) 2>nul
pause&exit/b
复制代码

77七

回复 15# allen2023


   http://bbs.bathome.net/redirect.php?goto=findpost&ptid=66982&pid=272644
md5值可能有空格分隔

allen2023

回复 13# hfxiang
测试了，方法确实好。
顺便发现个问题：即便是大小不一样的文件，md5也会一样，事实上确实还是同一本书(内容还不完全一致，如水印)，哪怕是内容有改动。
对md5刷新一下认知。

文件是夸克云盘下载的，客户端不知道为啥会重复下载，所以有个本贴，

文件有点大我上传一部分，选了8个pdf文件供大家研究这种问题
https://www.123684.com/s/Klhmjv-oVKd3?提取码:KrBv
其中：典中点一年级上册语文部编版​教师用书.pdf 两个重名的就是这种情况。

小记：批处理的路径特殊符号太难理解了，
9楼老师从外在路径上解决问题，速度快，想做出通用的，如后缀是“ - 副本”，弄了半天还是失败，见笑。
13楼md5是根本内在的解决，certutil -hashfile 命令 有点耗时，但精准，小问题是，会把带 “副本”“（1）”这种文件留下，删了文件名正常的。
由衷感谢两位大佬的不吝赐教~

czjt1234

回复 13# hfxiang


    这个好

hfxiang

回复 1# allen2023

试试MD5码法，此方法与文件名是否相似无关

@echo off&cd /d "%~dp0"
rem 建议保存为ANSI编码格式
rem 功能：删除当前文件夹（不含子文件夹）中的pdf重复文件（删除前请备份原文档以防意外）
rem 方法：计算pdf文件MD5码，遇到后出现MD5码重复的文件将被直接删除（不提示，无回显，无法恢复）
setlocal enabledelayedexpansion
for /f "delims==" %%a in ('set exist_ 2^>nul') do set "%%a="
for %%a in (*.pdf) do (
	for /f "usebackq" %%z in (`certutil -hashfile "%%~a" MD5^|find /v ":"`) do set "MD5_32=%%z"
	if not defined exist_!MD5_32! (
		call set "exist_!MD5_32!=True"
	) else (
		del /f "%%~a"
	)
)
复制代码

allen2023

回复 10# 77七

11楼发完，才看到10楼的回复。感谢大佬的回复，该问题解决了

allen2023

回复 8# 77七

终于改的目的达成了。%f1!%取不到size，!f1!行了，绕了好久。
现只能操作指定路径下的子目录，本层目录还是没得法，这门学问不容易记忆啊

				if "!filename:~-%%l,1!" equ "(" (				
					set "f1=!filepath!\!filename!%%~xi"
					set "f0=!filepath!\!filename:~0,-%%l!%%~xi"
					for %%A in ("!f1!") do (set "f1Size=%%~zA")
					for %%A in ("!f0!") do (set "f0Size=%%~zA")
					if !f1Size! equ !f0Size! (del "!f1!")						
					REM move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
					move "!f1!" "!f0!"
					set mo=1
				)
复制代码

77七

回复 9# allen2023


  

@echo off
rem 保存为ansi编码
set dirpath=\\sy\Download\
call :1 "%dirpath%"
for /f "delims=" %%d in ('dir /b /s /ad "%dirpath%"') do (
	call :1 "%%d"
)
pause
exit


	:1
	echo 目录[%~1]
	for /f "delims=" %%i in ('2^>nul dir /b /a-d "%~1\*.pdf" ^| findstr /rie /c:".([0-9][0-9]*)\.pdf" /c:".（[0-9][0-9]*）\.pdf"') do (
		set filename=%%~ni
		set filepath=%~1
		for /f "delims=" %%j in ("%~1\%%i") do (
			set filesize=%%~zj
		)
		echo 文件[%%~nxi]
		setlocal enabledelayedexpansion
		for /l %%l in (1,1,5) do (
			if not defined mo (
				set "str=#!filename:~-%%l,1!"
				set "str=!str:(=!"
				set "str=!str:（=!"
				if "!str!" equ "#" (
					for /f "delims=" %%j in ("!filepath!\!filename:~0,-%%l!%%~xi") do (
						if "%%~zj" equ "" (
							echo move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
						) else if "%%~zj" equ "!filesize!" (
							echo move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
						)
					)
					set mo=1
				)
			)
		)
		endlocal
	)
	exit /b
复制代码

0字节文件则覆盖，非0字节文件大小相同覆盖。

allen2023

回复 8# 77七

很强大了。还差一个文件大小的判断，即名字虽相似但这两文件大小不一致不需要操作。

还有，这个代码好像只能操作到子文件夹，首层文件夹文件没得操作，我新建了个子文件夹测试了，已经很好了，这是我没考虑的意外收获，大佬出品的更通用，慢慢学习。

这是再次用ai生成的，始终无法达到要求。供借鉴，
提问词：有一批文件，要删掉其中大小一样 且以 "("+ 数字 +")"  结尾的重复文件，批处理咋写。

@echo off
setlocal enabledelayedexpansion

rem 设置要处理的目录
set "dir=C:\your_directory"

rem 创建临时文件用于存储要保留的文件路径
set "tempFile=temp.txt"

rem 遍历目录下的所有文件
for /r "%dir%" %%F in (*.*) do (
    set "fileName=%%~nF"
    set "fileSize=%%~zF"
    rem 判断文件名是否以“(数字)”结尾
    if "!fileName:~-2!"==")" (
        set "numStart=0"
        for /l %%i in (1,1,20) do (
            set "char=!fileName:~-%%i,1!"
            if "!char!" geq "0" if "!char!" leq "9" (
                set /a numStart=%%i
            ) else (
                goto endLoop
            )
        )
        :endLoop
        if "!fileName:~-numStart,1!"=="(" then (
            rem 查找是否有相同大小且相似文件名但不以“(数字)”结尾的文件
            set "baseFileName=!fileName:~0,-numStart)"
            for /r "%dir%" %%G in ("!baseFileName!*") do (
                if "%%~nG" neq "!fileName!" then (
                    set "otherSize=%%~zG"
                    if!fileSize! equ!otherSize! then (
                        rem 将不以“(数字)”结尾的文件路径写入临时文件
                        echo %%G>>"%tempFile%"
                        goto :nextFile
                    )
                )
            )
        )
    )
    :nextFile
)

rem 遍历临时文件，删除对应的重复文件
for /f "delims=" %%A in ('type "%tempFile%"') do (
    for /r "%dir%" %%B in ("*(!fileName:~-2!)*") do (
        if "%%B" neq "%%A" then (
            del "%%B"
        )
    )
)

del "%tempFile%"
echo Done.
pause
复制代码

77七

回复 7# allen2023


   重新写了代码，调整了代码思路，去除文件末尾"(数字)"并改名，如果已经存在则直接覆盖。支持以下各种情况，支持末尾3位数字以内，支持子目录去重

苏教版.pdf
苏教版(1).pdf
苏教版(1)(1).pdf 执行两次即可
苏教版(2).pdf
苏教版（1）.pdf
苏教版(语文).pdf
苏教版(语文)(1).pdf
复制代码

此为测试版，测试正确，删除 move 前的 echo 再次执行

@echo off
rem 保存为ansi编码
set dirpath=\\sy\Download\
for /f "delims=" %%d in ('dir /b /s /ad "%dirpath%"') do (
	echo 目录[%%d]
	for /f "delims=" %%i in ('2^>nul dir /b /a-d "%%d\*.pdf" ^| findstr /rie /c:"([0-9][0-9]*)\.pdf" /c:"（[0-9][0-9]*）\.pdf"') do (
		set filename=%%~ni
		set filepath=%%d
		echo 文件[%%~nxi]
		setlocal enabledelayedexpansion
		for /l %%l in (1,1,5) do (
			if not defined mo (
				if "!filename:~-%%l,1!" equ "(" (
					echo move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
					set mo=1
				) else if "!filename:~-%%l,1!" equ "（" (
					echo move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
					set mo=1
				)
			)
		)
		endlocal
	)
)
pause
复制代码

allen2023

回复 4# 77七


这个或许能解决重复多次的，但有的带了括号但不重复是不能做删除操作的-即2楼补充表达的那个意思（不能伤及无辜 ）。
如果文件少，我一个个检查，改掉单独存在的括号文件，用这串代码即可。但多了，肯定是程序执行的更靠谱。

另外，这些文件是在局域网的硬盘里的。执行如下：

UNC 路径不受支持。默认值设为 Windows 目录。
'\\sy\Download\1~9年级典中点\9年级\'
CMD 不支持将 UNC 路径作为当前目录。
找不到文件
复制代码

再次对您表示感谢！

qixiaobin0715

就楼主提供的样本来说，这样简简单单即可：

for %%i in (*.pdf) do if exist "%%~ni(*).pdf" del "%%~ni(*).pdf"
复制代码

aloha20200628

回复 3# allen2023

@echo off &for /f "delims=(" %%a in ('dir /b/a-d "*(1).pdf" ') do (
     if exist "%%a.pdf" del /q "%%a(1).pdf"
)
pause&exit/b
复制代码

77七

回复 3# allen2023

@echo off
cd /d "%~dp0"
for /f "delims=" %%i in ('dir /b /a-d *.pdf ^|findstr /vi "([0-9][0-9]*)\.pdf"') do (
	if exist "%%~ni(*).pdf" (
		del "%%~ni(*).pdf"
	)
)
pause
复制代码