[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
屡败屡战

Rank: 2

帖子
101 
积分
151 
技术
0  
捐助
0  
注册时间
2017-4-10 
1楼 跳转到 » 倒序看帖
打印
tT
发表于 2017-12-20 09:17 | 只看该作者

[文本处理] 批处理判断不同文件夹下文本文件是否有重复的

我每天处理大量的文本文件，其中有很大部分文件是重复的，我现在需要在这些文件里面找出重复的。  
      文档“重复的程度”是：重复文件的首行，有的有标题，有的无标题；文档末尾有自己添加的批注等等，但有的文件名字是不同的，而且内容也有少量不同，但文件的大部分内容是相同的。
      如果找出文件内容的90%以上是相同的，那么就认为是重复的，则将重复文件的标题显示在列表里面进行操作
      利用“重复文件清理工具”也扫描不出90%重复的，无柰只能一一打开查看，很崩溃
      问老师们有无好的建议（或者是相似的案例），可以甄别、判断不同文件夹下文本文件（主要是指文本内容）是否有重复的

       我主要是查找文本内容是否重复，而不是指文件名是否重复。
收藏 分享

867258173

Rank: 2

帖子
88 
积分
133 
技术
0  
捐助
0  
注册时间
2014-6-26 
2楼
发表于 2017-12-20 14:39 | 只看该作者
本帖最后由 867258173 于 2017-12-20 14:43 编辑

http://tieba.baidu.com/p/4915082522
这个是查找文件名的,亲测可使用

TOP

ivor

Rank: 6Rank: 6

帖子
979 
积分
3381 
技术
172  
捐助
40  
注册时间
2012-1-7 
3楼
发表于 2017-12-20 19:17 | 只看该作者
回复 1# 屡败屡战

基本需求：powershell 4.0 或更高
  1. dir -recurse *.txt | Get-FileHash -Algorithm MD5 | select Hash,Path
复制代码
演示结果：路径如果显示不全，可以加 "sc 结果.txt"
Hash                             Path
----                             ----
12B004A38CFA921FF5DBBBF754BB5FE7 D:\robot\desk\Script\result\半兽.txt
C5BE26155D6940DDBEB54FEB8D005A4F D:\robot\desk\Script\1result.txt
4DED049F8B4171B161158CAFCF503EE5 D:\robot\desk\Script\result.txt
12B004A38CFA921FF5DBBBF754BB5FE7 D:\robot\desk\Script\半兽人矿工 - 副本 - 副...
12B004A38CFA921FF5DBBBF754BB5FE7 D:\robot\desk\Script\半兽人矿工 - 副本 - 副...
12B004A38CFA921FF5DBBBF754BB5FE7 D:\robot\desk\Script\半兽人矿工 - 副本 - 副...
12B004A38CFA921FF5DBBBF754BB5FE7 D:\robot\desk\Script\半兽人矿工 - 副本 - 副...
12B004A38CFA921FF5DBBBF754BB5FE7 D:\robot\desk\Script\半兽人矿工 - 副本.txt
#&cls&@powershell "Invoke-Expression ([Io.File]::ReadAllText('%~0',[Text.Encoding]::UTF8))" &pause&exit

TOP

屡败屡战

Rank: 2

帖子
101 
积分
151 
技术
0  
捐助
0  
注册时间
2017-4-10 
4楼
发表于 2017-12-20 21:15 | 只看该作者
老师好，不好意思，麻烦求个批处理文件。
      我的系统针对“powershell 4.0”，无法打开程序包，系统提示：Installation Directory must be on a local hard drive，导致无法安装。
      另外，检测结果输出到“结果列表.txt”上，实在是麻烦了。

TOP

屡败屡战

Rank: 2

帖子
101 
积分
151 
技术
0  
捐助
0  
注册时间
2017-4-10 
5楼
发表于 2017-12-21 18:34 | 只看该作者
望老师们帮帮忙！！

TOP

返回列表