批处理之家 - Powered by Discuz! Board

标题: [文本处理] 批处理如何去除/删除/排除重复行 [打印本页]

作者: shoooo 时间: 2012-12-9 20:10 标题: 批处理如何去除/删除/排除重复行

本帖最后由 pcl_test 于 2016-7-17 12:41 编辑

我想使用批处理去文本内重复行，但不保留，例如：
第一行：http://AABB.com/link?shareid=101154&uk=1980
第二行：http://AABB.com/link?shareid=101155&uk=1980
第三行：http://AABB.com/link?shareid=101154&uk=1980
第四行：http://AABB.com/link?shareid=101156&uk=1980

其中第一行和第三行相同，整行去掉，下一行跟上不留空行
结果如下：
第一行：http://AABB.com/link?shareid=101155&uk=1980
第二行：http://AABB.com/link?shareid=101156&uk=1980

请问要达到这个效果批处理该如何写？

作者: batxx77 时间: 2012-12-9 20:32

来观望我也想知道哦！

作者: weichenxiehou 时间: 2012-12-9 21:29

回复 1# shoooo

@echo off
::gawk为第三方工具，需要下载
gawk "{a[$0]++;b[NR]=$0} END{for(i=1;i<=NR;i++)if(a[b[i]]==1)print b[i]}" test.txt>result.txt
start result.txt
复制代码

欢迎光临批处理之家 (http://www.bathome.net/)