批处理之家 - Powered by Discuz! Board

标题: [文本处理] [已解决]求助批处理如何实现文件查重复行？ [打印本页]

作者: BingjianREMIX 时间: 2023-7-9 22:50 标题: [已解决]求助批处理如何实现文件查重复行？

本帖最后由 BingjianREMIX 于 2023-7-10 16:36 编辑

一个文件中有多行文本,不确定那一行与那一行相同,需要留下一行唯一的,直到文件中没有任何一行相同,这个脚本怎么搞,谢谢

作者: qixiaobin0715 时间: 2023-7-10 08:18

回复 1# BingjianREMIX
要善用搜索。

作者: hfxiang 时间: 2023-7-10 08:37

回复 1# BingjianREMIX
用第3方工具gawk（ http://bcn.bathome.net/tool/4.1.0/gawk.exe ）比较简单:

gawk "!a[$0]++" a.txt>b.txt
复制代码

作者: Batcher 时间: 2023-7-10 12:01

回复 1# BingjianREMIX

http://bbs.bathome.net/thread-5219-1-1.html
http://bbs.bathome.net/thread-5509-1-1.html
http://bbs.bathome.net/thread-4690-1-1.html
http://bbs.bathome.net/thread-5326-1-1.html
http://bbs.bathome.net/thread-4896-1-1.html

作者: BingjianREMIX 时间: 2023-7-10 16:34

感谢大佬们,已经解决了

作者: BingjianREMIX 时间: 2023-7-10 16:39

那大佬们帮我看看,这到底什么问题http://bbs.bathome.net/thread-66756-1-1.html

作者: DAIC 时间: 2023-7-12 15:17

回复 1# BingjianREMIX

去重-V1.bat

powershell "Get-Content 'Old.txt' | Sort -Unique" > "New.txt"
复制代码

作者: DAIC 时间: 2023-7-12 15:22

回复 1# BingjianREMIX

去重-V2.bat

powershell "$MyHash = @{}; Get-Content 'Old.txt' | ForEach-Object{if(!$MyHash.ContainsKey($_)){$_; $MyHash.Add($_ , 1)}}" > "New.txt"
复制代码

欢迎光临批处理之家 (http://www.bathome.net/)