批处理之家 - Powered by Discuz! Board

标题: [文本处理] 用findstr做文本批处理去重 [打印本页]

作者: rack 时间: 2014-9-8 21:35 标题: 用findstr做文本批处理去重

找了几个用DOS做批处理去重，上了G级别大小以上的特别慢，而且有多行合并成一行的情况。
听说用findstr效果好很多，怎么做呢？

作者: DAIC 时间: 2014-9-8 21:58

听谁说的？他在胡说八道吧

作者: rack 时间: 2014-9-10 08:50

回复 2# DAIC

哦，那就是还是一样的。
我找的就是这个。后来不敢用了。
@echo off
:: 删除重复的行，但不能保留空行
:: 对不符合变量命名规则、变量个数超过限制的文本都无法正确处理
::
(echo：& echo.)>str_.txt
for /f "delims=" %%i in (a.txt) do (
if not defined %%i set %%i=A & echo %%i>>str_.txt)

作者: DAIC 时间: 2014-9-10 08:58

回复 3# rack

这个代码效率不高，处理上G的文件不靠谱。

作者: techon 时间: 2014-9-11 01:29

变量不可能无限定义，用第三方程序处理吧。。。

欢迎光临批处理之家 (http://www.bathome.net/)