|
- 帖子
- 22
- 积分
- 25
- 技术
- 0
- 捐助
- 0
- 注册时间
- 2011-7-23
|
[文本处理] 批处理如何快速删除大文本文件里面的多余重复行（重复行只保留一行）？
本帖最后由 pcl_test 于 2016-11-3 16:49 编辑
有a.TXT, 大小为280M,里面有2800万行的数字或者字母或者特殊符号，
每行最多有12个字符，最少有8个字符！其中有很多重复行。
我想删除重复行中的一行，保留另一行。简单说就是二行留一行。
内容举例如下：
aaaaaaaaaaaa
bbbbbbbb
=+*&^%#$@/
ddddddddd
aaaaaaaaaaaa
ddddddddd
eeeeeeee
,.qdp{}?#&=
@#$!()[]-=@
gggggggg
hhhhhhhhh
显然
aaaaaaaaaaaa与ddddddddd，这2行出现了2次重复,处理后相同的行只保留其一，
其它的行不处理，保留。
将处理后的结果放在B.txt里面。
结果如下：
aaaaaaaaaaaa
bbbbbbbb
=+*&^%#$@/
ddddddddd
eeeeeeee
,.qdp{}?#&=
@#$!()[]-=@
gggggggg
hhhhhhhhh
我试过很多批处理都不行，包括本站搜索得来的批处理，要么速度非常非常慢，无法忍受。
要么无法运行，黑窗口、b.txt为0字节。
还试过很多软件，
【如（Replace Pioneer），文件太大，打不开。】，
【（UltraEdit），排序时提示错误。】，
【（TXT 重复行删除工具 v1.1.exe），运行后半个小时无响应】，
【（文本重复去除器.exe），提示：请稍等，正在去重复。运行了12个小时后，我看到，
2800W行，只对比了10W多行。运行十天也对比不完啊】。
我这个280M的大文件是把很多txt小文件合并得来的，在合并之前，有没有什么方法比对这些小的txt文件中间
有没有重复行并删一行留一行呢？
反正用什么方法都可以！分割、比对、合并，其它软件（使用方法），只要达到目的就行！！！
怎么办啊！！！ 请各位老大，各位高手 斑竹 显身 吧！！！ |
|
发表于 2011-7-26 10:36
|