[文件管理] 批处理版重复文件搜索与处理工具

cjiabing

在一台公用电脑上，经常有人拷一些歌过来存放，来来去去，久而久之，竟然有一半的歌是重复的！~
于是写了这个《重复文件搜索与处理工具》，用来搜索和处理掉那些重复的歌曲。
    搜索：
个人认为效率一般般，能用就行。两三千的歌曲搜索用了一两分钟，在某些苛刻的人看来可能太慢！~
在用“'sort "%~dp0所有名称.txt”处理同文件名这段可能没有彻底处理掉重复文件名。
搜索结果不完全正确，但处理时能够保证正确。
findstr遇到特殊字符时可能罢工。
    处理：
    改名：支持两次改名，即在重复文件的文件名前添加“重复_”，假如已经存在该文件名则再在前面添加“new_”。
    转移：一共保留两个重复的同文件名的文件。
    删除：仅保留一个，其他删除。
以上都会自动保留一个重复的文件，一般位于浅层目录。改名字时可能第一个目录被遗漏。
从改名到转移到删除，风险由低到高。
虽然说不保证百分百正确，但从代码可知，一般不会出问题。
当然，需要注意的是，所有操作仅以文件名称与文件大小来进行判断，假如文件名相同（包括后缀名相同）而文件内容不同，虽然程序判断为相同，但实际上是不同的。

@echo off&setlocal enabledelayedexpansion
::by cjiabing&date 2011.6.23
title 重复文件搜索与处理工具 Batch For Vistanita Duplicate Finder V1.1

:VDFStart
cls
echo;
echo;
echo;                  *************************
echo;                  *   重复文件搜索与处理  *
echo;                  *************************
echo;              
echo; =============================================================================
echo;    1、将本程序放到需要搜索目录下，双击开始运行，按任意键开始搜索。
echo;    2、可能要几分钟时间，文件越多，需要时间越多。久不动时可能是文件有误。
echo;    3、搜索使用“For /r”和“Findstr”命令，搜索结果可能不完全正确。
echo;    4、处理使用“IF”匹配，提高了正确率。
echo;    5、可对搜索结果中的重复文件进行改名、转移、删除等。
echo;    6、以文件名进行判断，但无法判断文件内容，请仔细检查，谨慎操作！
echo; =============================================================================
echo;
::taskkill /f /t /im findstr.exe>nul 2>nul
set input=
set /p input=    请输入（搜索【F】；处理【D】）：
if "%input%"=="" goto VDFFind
if /i "%input%"=="D" goto VDFCure
if /i "%input%"=="F" goto VDFFind
goto VDFStart

:VDFFind
set tm=%time%
set tj=0
set nb=0
set /a var=str=1
echo;
echo;
echo;    开始时间：%tm%
echo;    正在搜索，请耐心等待……
title    正在搜索，请耐心等待……
echo;
cd.>"%~dp0所有文件.txt"
cd.>"%~dp0所有名称.txt"
cd.>"%~dp0重复文件.txt"
echo;
for /r %%a in (*) do (echo %%a>>"%~dp0所有文件.txt"&echo %%~nxa>>"%~dp0所有名称.txt")
echo;
for /f "tokens=*" %%a in ('sort "%~dp0所有名称.txt"') do (
    if not !var!==%%a (
        set var=%%a
        set /a tj+=1
        set str=
        for /f "tokens=*" %%i in ('findstr /i /e /l /c:"%%~nxa" "%~dp0所有文件.txt"') do (
            set /a nb+=1
            if !nb! gtr 1 (echo !str!&echo %%i&echo;)
            set str=%%i
        )
        set nb=0
    )
)>>"%~dp0重复文件.txt"&echo ● !tj! 搜索：%%~na

echo;
start "" "%~dp0重复文件.txt"
del /f /q "%~dp0所有名称.txt">nul 2>nul
title 搜索完毕！处理结果！

:VDFCure
echo;
echo;                  ******************
echo;                  *   处 理 结 果  *
echo;                  ******************
echo; =============================================================================
echo;    搜索开始时间：%tm%        
echo;    搜索结束时间：%time%
echo;    搜索文件总数：%tj%        
echo     重复文件列表：%~dp0重复文件.txt
echo; =============================================================================
echo;
echo;
echo;                  ******************
echo;                  *   结 果 处 理  *
echo;                  ******************
echo; =============================================================================
echo;    1、改名：保留其中一个，在其它重复的文件名前面添加“重复_”或“New_重复_”；
echo;             改名相当于给重复文件打标签，改名后可手动处理。
echo;    2、转移：保留其中一个，将其它重复的文件转移到：%~dp0重复文件
echo;             有多个重复时会被覆盖。
echo;    3、删除：保留其中一个，将其余重复的文件全部删除，可能无法恢复；
echo;             通常处理深层目录的而保留浅层目录的重复文件。
echo;    0、返回上一层。
echo; =============================================================================
echo;    ●辨识文件名称与文件大小，不识别文件内容！请仔细检查，谨慎操作！●
echo;
set input=
set /p input=    请输入序号：
if "%input%"=="" goto VDFCure
if %input%==0 (goto VDFStart) else (call :VDFCure1)
cls
goto VDFCure

:VDFCure1
cls
set tm=%time%
echo;
echo;    开始处理，请稍后……
echo;
set a=
set b=
set n=0
for /f "usebackq tokens=*" %%a in ("%~dp0重复文件.txt") do (
    if not "!a!"=="" if /i  !a!==%%~na  if exist "%%~a" (
       if exist "!b!" for /f "usebackq tokens=1*" %%m in ('!b!') do (
          for /f "usebackq tokens=1*" %%o in ('%%~a') do if /i %%m==%%o if /i  %%n==%%p (
             set /a n+=1
             if %input%==1  (
                if exist "%%~dpa重复_%%~nxa"  (ren "%%~a" "New_重复_%%~nxa") else (ren "%%~a" "重复_%%~nxa")
             )  
             if %input%==2  (
                if not exist "%~dp0重复文件" md "%~dp0重复文件"
                move /y "%%~a" "%~dp0重复文件"
             )  
             if %input%==3  (del /q /f /s "%%~a")
          )
       )  
    )  
    set "a=%%~na"&set "b=%%~a"
)
echo;
echo;                  ******************
echo;                  *   处 理 结 果  *
echo;                  ******************
echo; =============================================================================
echo;    处理开始时间：%tm%        
echo;    处理结束时间：%time%
echo;    处理文件总数：!n!        
echo; =============================================================================
echo;
pause
goto :eof
复制代码

tmplinshi

试试 finddupe

finddupe 查找重复文件的方式：

Finddupe will only read the first 32k of a file and compute a hash based on that. Only if that matches with another file will it even read the entire files.

cjiabing

2# tmplinshi
我发现你经常冒出这些英文的东东，佩服佩服@！
不过这个东西没有中文说明，我看起来似乎不好用。

Hello123World

英文的东东好，计算机技术大师级的人物大都是英语种——不服不行。

neorobin

重复文件查找清理工具_NoClone(无双) 4.2.27.0 多国语言企业注册版

qzwqzw

一般用Duplicate Cleaner
免费+开源的产品
而且对NTFS hardlink的支持也比较好

cjiabing

呵呵，大家的秘密武器真多啊，谢谢了！~

523066680

以前想过挑战一下 ：查找重复的目录 （里面的文件相同）

cjiabing

8# 523066680

CrLf

8# 523066680


这题很有意思，何不发在挑战区，肯定够格了的

qzwqzw

10# zm900612
以前发过一个类似的挑战题目
主要为了解决市面上同步软件无法同步目录树改名的问题
有兴趣可以试试看

求解文件树智能同步批处理程序
http://www.bathome.net/thread-6928-1-2.html

CrLf

如果文件名不含等号的话，可以这样：

@echo off&setlocal enabledelayedexpansion
set qz=重复_@
for /l %%a in (1 1 100) do set qz=new_!qz!
for /f "delims=" %%a in ('dir /s /a-d /b *.mp3') do (
    if defined %%~za%%~na ren "%%a" "!qz:~-%%a,-1!%%~nxa"
    set /a "%%~za%%~na+=4"
)
复制代码

不过文件一多效率就恶心了...