[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖

[文本处理] [已解决]求助批处理如何实现文件查重复行?

本帖最后由 BingjianREMIX 于 2023-7-10 16:36 编辑

一个文件中有多行文本,不确定那一行与那一行相同,需要留下一行唯一的,直到文件中没有任何一行相同,这个脚本怎么搞,谢谢
1

评分人数

    • Batcher: 感谢给帖子标题标注[已解决]字样PB + 2
QQ 1980286392

回复 1# BingjianREMIX


去重-V2.bat
  1. powershell "$MyHash = @{}; Get-Content 'Old.txt' | ForEach-Object{if(!$MyHash.ContainsKey($_)){$_; $MyHash.Add($_ , 1)}}" > "New.txt"
复制代码

TOP

回复 1# BingjianREMIX


去重-V1.bat
  1. powershell "Get-Content 'Old.txt' | Sort -Unique" > "New.txt"
复制代码

TOP

那大佬们帮我看看,这到底什么问题http://bbs.bathome.net/thread-66756-1-1.html
QQ 1980286392

TOP

感谢大佬们,已经解决了
QQ 1980286392

TOP

我帮忙写的代码不需要付钱。如果一定要给,请在微信群或QQ群发给大家吧。
【微信公众号、微信群、QQ群】http://bbs.bathome.net/thread-3473-1-1.html
【支持批处理之家,加入VIP会员!】http://bbs.bathome.net/thread-67716-1-1.html

TOP

回复 1# BingjianREMIX
用第3方工具gawk( http://bcn.bathome.net/tool/4.1.0/gawk.exe )比较简单:
  1. gawk "!a[$0]++" a.txt>b.txt
复制代码
1

评分人数

TOP

回复 1# BingjianREMIX
要善用搜索。

TOP

返回列表