[文本处理] 【已解决】批处理如何删除文本里多余的重复行（相同行只保留一个）？

enoone1

求助，如何去除当前目录下的所有文本文件重复行
如当前目录下有a.txt 和b.txt：
a.txt内容：
1
1
2

b.txt内容：
1
1
2
3

经一个BAT处理后a.txt文件变成
1
2

b.txt变成
1
2
3

CrLf

回复 9# bailong360


    爱抚楼主狗头，莫哭，莫哭

enoone1

换了种方式，OK了，分享下

@echo off
for %%j in (*.txt) do (
    (for /f "tokens=*" %%i in (%%j) do findstr /C:"%%i" $>nul||echo %%i)>$
    move $ %%j
)
pause
复制代码

codegay

回复 9# bailong360


    哈哈,可以玩玩julia啊.可以很方便地调用其它语言的代码.

bailong360

回复 8# CrLf
我用纯批处理的时候，你们在用第三方
我用第三方的时候，你们在用js混编
我用js混编的时候，你们玩起hta来了

CrLf

@mshta http://bathome.net/s/hta/?string "o={};type('旧.txt').split(/\r?\n/).each(function(s){o[s]||(o[s]=1)});names(o)" >新.txt
复制代码

bailong360

回复 3# enoone1
你咋不先说清楚呢，加上这句话这问题才值得回答。

每处理一个文件时要初始化一次变量表，否则上一个文本的定义还会保留。你的代码相当于所有txt合并起来去重
具体方法   在处理一个文件之前使用setlocal开启一个新的变量表，处理完毕后使用endlocal丢弃。话说手机党不方便码，下次提问请将代码发出

顺便代码里不要太多&，以便阅读

codegay

回复 5# enoone1


    ...关我什么事。。。

enoone1

回复 4# codegay


    是个方法 但是我处理简单的文本不想用到第三方的uniq，存BAT最好，迁移环境方便使用。

codegay

如何高效地做到大文本去除重复行https://segmentfault.com/q/1010000000445384

enoone1

回复 2# bailong360

论坛和网络上最常用的方法（判断行是否定义的方法）在我发帖前已尝试过，见图，无果，b.txt去重错误
    请大神们知道我写错在哪，指点下

bailong360

请善用论坛搜索，论坛中已有大量已解决的同类问题