批处理之家 » BAT求助&讨论 » 批处理如何删除txt中每行开头指定字符前的字符串重复出现次数超过指定次数的行？

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

返回列表发帖

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

1楼 跳转到 » 正序看帖

字体大小: tT

发表于 2013-7-24 19:49 | 只看该作者

[文本处理] 批处理如何删除txt中每行开头指定字符前的字符串重复出现次数超过指定次数的行？

本帖最后由 pcl_test 于 2016-7-7 22:42 编辑

huangbaohua|1979601521huang
huangbaohua|1979601521huang
857084682|5678967890
lapo5363|466742517
sishenlaile|yytl1103
优雅先生|1986315
优雅先生|198631215
优雅先生|19812631215
优雅先生|1981231aaa6315
优雅先生|1986312342345
优雅先生|1986315
雨姬|681122
前度|19840924

我就是想吧一个文本内，“|”前的内容超过5行的内容，删除掉

如上内容优雅先生，优雅先生超过5行，就是想将优雅先生的那行内容全部删除

最好就是文本1 处理后，导出为文本2

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

20楼

发表于 2017-6-20 21:21 | 只看该作者

回复 19# ShowCode

如果是只留下纯字母的，不留数字和字母加数字的，改怎么改代码，感谢

Rank: 8 Rank: 8

帖子: 567
积分: 1151
技术: 91
捐助: 298
注册时间: 2017-3-17

19楼

发表于 2017-6-11 11:49 | 只看该作者

回复 18# Rasm

你的txt文件是UTF-8编码格式，先转换成ANSI再执行命令。

测试代码之前请做好备份

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

18楼

发表于 2017-6-11 11:21 | 只看该作者

回复 17# ShowCode

这是文本和我写的批处理，中文的过滤不了

Rank: 8 Rank: 8

帖子: 567
积分: 1151
技术: 91
捐助: 298
注册时间: 2017-3-17

17楼

发表于 2017-6-8 11:27 | 只看该作者

回复 14# Rasm

把你的txt文件压缩传上来我试试

测试代码之前请做好备份

Rank: 5 Rank: 5

帖子: 545
积分: 761
技术: 62
捐助: 0
注册时间: 2014-10-9

16楼

发表于 2017-6-7 21:07 | 只看该作者

for /f "usebackq delims=|" %%i in ("%~f1")do if defined _%%i (set/a "_%%i+=1")else set "_%%i=1"
for /f "usebackq delims=" %%i in ("%~f1")do for /f "delims=|" %%j in ("%%i")do (
 echo,总行数:!_%%j!	变量:%%j
 rem:这里自行添加各种判断和输出
)
复制代码

这么好的论坛你上哪找，运行测试环境为6.1.7601-64
注:请遵守互联网信息安全,勿用于非法用途

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

15楼

发表于 2017-6-7 19:29 | 只看该作者

回复 8# CrLf

有些为什么不可以呢，中文的有些不行，没有筛选出来

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

14楼

发表于 2017-6-7 19:28 | 只看该作者

回复 13# ShowCode

为什么处理结果是空的

Rank: 8 Rank: 8

帖子: 567
积分: 1151
技术: 91
捐助: 298
注册时间: 2017-3-17

13楼

发表于 2017-5-5 14:26 | 只看该作者

回复 11# Rasm

gawk -F "|" "{a[$1][n++]=$0}END{for(i in a){x=length(a[i]);if(x>=5&&x<=8){for(j in a[i])print a[i][j]}}}" 1.txt > 2.txt
复制代码

测试代码之前请做好备份

Rank: 6 Rank: 6

帖子: 1266
积分: 1775
技术: 162
捐助: 0
注册时间: 2015-12-12

12楼

发表于 2017-5-4 23:26 | 只看该作者

回复 10# ShowCode

你把这时间和精力用来做别的事情，会更有意义。

去学去写去用才有进步。安装python3代码存为xx.py 双击运行或右键用IDLE打开按F5运行

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

11楼

发表于 2017-5-4 21:43 | 只看该作者

回复 10# ShowCode

huangbaohua|19796uang
huangbaohua|197960
huangbaohua|1979601521
huangbaohua|1979601
huangbaohua|191huang
857084682|5678967890
lapo5363|466742517
sishenlaile|yytl1103
优雅先生|1986315
优雅先生|198631215
优雅先生|19812631215
优雅先生|1981231aaa6315
优雅先生|1986312342345
优雅先生|1986315
雨姬|681122
前度|19840924

=================

以上数据为例，希望得到 | 前面的数值重复数在 5-8之间

如:

huangbaohua|19796uang
huangbaohua|197960
huangbaohua|1979601521
huangbaohua|1979601
huangbaohua|191huang
优雅先生|1986315
优雅先生|198631215
优雅先生|19812631215
优雅先生|1981231aaa6315
优雅先生|1986312342345
优雅先生|1986315

Rank: 8 Rank: 8

帖子: 567
积分: 1151
技术: 91
捐助: 298
注册时间: 2017-3-17

10楼

发表于 2017-5-4 19:50 | 只看该作者

回复 9# Rasm

以顶楼数据为例，希望得到什么结果？

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

9楼

发表于 2017-5-4 18:38 | 只看该作者

回复 8# CrLf

如果是想删除小于| 前面的重复数，该怎么修改这个代理

比如想删除小于5个|重复数，正好与你这个相反

Rank: 8 Rank: 8

帖子: 6388
积分: 18843
技术: 982
捐助: 100
注册时间: 2010-10-9

8楼

发表于 2013-7-27 18:10 | 只看该作者

大文本建议用第三方神器 gawk，爽爽的：

@gawk -F"|" "FNR!=NR&&ar[$1]<5;{ar[$1]+=1}" 1.txt 1.txt>2.txt
复制代码

1 评分人数

Rasm: 感谢您！技术 + 1

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

7楼

发表于 2013-7-27 15:57 | 只看该作者

回复 6# xxpinqz

我处理的文件就是这样的，你看下

有时候是几万条