[文本处理] 批处理如何去除/删除/排除重复行

shoooo

我想使用批处理去文本内重复行，但不保留，例如：
第一行：http://AABB.com/link?shareid=101154&uk=1980
第二行：http://AABB.com/link?shareid=101155&uk=1980
第三行：http://AABB.com/link?shareid=101154&uk=1980
第四行：http://AABB.com/link?shareid=101156&uk=1980

其中第一行和第三行相同，整行去掉，下一行跟上不留空行
结果如下：
第一行：http://AABB.com/link?shareid=101155&uk=1980
第二行：http://AABB.com/link?shareid=101156&uk=1980


请问要达到这个效果批处理该如何写？

batxx77

来观望我也想知道哦！

weichenxiehou

回复 1# shoooo

@echo off
::gawk为第三方工具，需要下载
gawk "{a[$0]++;b[NR]=$0} END{for(i=1;i<=NR;i++)if(a[b[i]]==1)print b[i]}" test.txt>result.txt
start result.txt
复制代码