标题:
[文本处理]
批处理对超大文本文件进行去重的问题
[打印本页]
作者:
shenghuo
时间:
2013-7-26 16:32
标题:
批处理对超大文本文件进行去重的问题
@echo off
for /f "delims=" %%i in (2.txt) do (
if not defined %%i set %%i=A & >>去重后.txt echo %%i)
使用这个批处理对不到500万行的文本跑了一晚上,才跑出不到40万行。有没有可能使用批处理对500完或2500万行的数据进行快速去重呢?使用editplus对400多W行的数据去重,跑了一上午了还没跑完。。。
大家有更高效的方法吗?
作者:
CrLf
时间:
2013-7-26 17:12
下一个 gawk 第三方工具:
@gawk "!a[$0]++" a.txt>b.txt
复制代码
作者:
PowerShell
时间:
2013-7-26 18:43
1你的大文本,能压缩发网盘么?
2网上有个软件,我不知原理和效果如何,推荐你试试,
-----------------------------------
下载地址:
精英txt文本整理工具箱v3.4
下载地址1:
http://pan.baidu.com/share/link? ... 7&uk=1563140309
产品价格: 免费
********************************
功能说明:
不到1秒内,轻松处理txt文件!
可以对文本文件,去重复行,相同行。给txt文件数据处理提供大量方便!!
该软件是免费软件,绿色,直接使用即可
作者:
shenghuo
时间:
2013-7-27 12:34
回复
2#
CrLf
多谢 CrLf
作者:
shenghuo
时间:
2013-7-27 12:35
回复
3#
PowerShell
多谢版主,这个之前用过,处理小文本还可以
作者:
lxh623
时间:
2018-12-6 14:32
EmEditor这个支持大文件。
欢迎光临 批处理之家 (http://www.bathome.net/)
Powered by Discuz! 7.2