Rank: 2

帖子: 77
积分: 114
技术: 0
捐助: 0
注册时间: 2015-4-1

1楼 跳转到 »

发表于 2016-1-6 19:31 | 只看该作者

【已解决】批处理如何将前3段相同的ip地址去重复，并将第4段替换成指定字符？

本帖最后由 pcl_test 于 2016-7-18 12:22 编辑

删除前3列相同ip地址，第四列全部并替换为0-20
文本a:
58.217.200.13
58.217.200.15
220.181.185.141
58.217.200.37
61.135.185.31
123.126.99.31
61.135.185.32
输出文本b:
58.217.200.0-20
220.181.185.0-20
61.135.185.0-20
123.126.99.0-20

1 评分人数

Batcher: 感谢给帖子标题标注[已解决]字样PB + 2

TOP

pcl_test

荣誉版主

Rank: 8 Rank: 8

帖子: 3041
积分: 5333
技术: 685
捐助: 0
注册时间: 2014-10-19

2楼

发表于 2016-1-6 19:50 | 只看该作者

@echo off
for /f %%a in ('more +8 "%~f0"') do (
    if not defined #%%~na (
        echo;%%~na.0-20
        set #%%~na=1
    )
)
pause&exit
58.217.200.13 
58.217.200.15  
220.181.185.141
58.217.200.37   
61.135.185.31  
123.126.99.31
61.135.185.32
复制代码

1 评分人数

wangdao6699: 代码如此简洁，太厉害了技术 + 1

TOP

ksla

一级士官

Rank: 2

帖子: 113
积分: 127
技术: 1
捐助: 0
注册时间: 2016-1-3

3楼

发表于 2016-1-6 20:00 | 只看该作者

一百万个IP内直接使用Excel工作目录建个宏，不用再折腾

TOP

CrLf

论坛巡查

Rank: 8 Rank: 8

帖子: 6388
积分: 18843
技术: 982
捐助: 100
注册时间: 2010-10-9

4楼

发表于 2016-1-6 20:01 | 只看该作者

@mshta http://bathome.net/s/hta/?%random%^
 o={};^
 type('文本a.txt')^
 .replace(/\d+\.\d+\.\d+/mg,function(m){o[m+'.0-20']=1})^
 names(o).join('\r\n')^
 >文本b.txt
复制代码

1 评分人数

wangdao6699: 正则表达式用的炉火纯青，赞一个技术 + 1

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

TOP

gawk

少将

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

5楼

发表于 2016-1-6 20:25 | 只看该作者

回复 3# ksla

照这个理论，搭个数据库啊，查询速度刚刚的。

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

TOP

gawk

少将

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

6楼

发表于 2016-1-6 20:30 | 只看该作者

本帖最后由 gawk 于 2016-1-7 15:50 编辑

gawk "BEGIN{FS=OFS=\".\"}{if(!a[$1.$2.$3]++)print $1,$2,$3,\"0-20\"}" 1.txt > 2.txt
复制代码

经网友测试，以上代码是错误的。修正之后的代码如下：

gawk "BEGIN{FS=OFS=\".\"}{if(!a[$1\"_\"$2\"_\"$3]++)print $1,$2,$3,\"0-20\"}" 1.txt > 2.txt
复制代码

1 评分人数

wangdao6699: 很喜欢，第三方工具，就是正则表达式太难了技术 + 1

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

TOP

ksla

一级士官

Rank: 2

帖子: 113
积分: 127
技术: 1
捐助: 0
注册时间: 2016-1-3

7楼

发表于 2016-1-6 20:33 | 只看该作者

回复 5# gawk

哥们，，这么有空，帮忙优化下我串代码

帖子：如何提取ping命令结果中响应时间最短的IP并将相关信息输出到hosts文件？

这个主题扣了12分换回来的

TOP

gawk

少将

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

8楼

发表于 2016-1-6 21:42 | 只看该作者

6楼代码里面用到是gawk基础语法，没有涉及到正则表达式。

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

TOP

gawk

少将

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

9楼

发表于 2016-1-6 21:43 | 只看该作者

回复 7# ksla

可以问问版主是什么原因扣分，避免以后再被扣。

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

TOP

ksla

一级士官

Rank: 2

帖子: 113
积分: 127
技术: 1
捐助: 0
注册时间: 2016-1-3

10楼

发表于 2016-1-6 22:25 | 只看该作者

回复 6# gawk

这条代码收藏了！！

TOP

codegay

少校

Rank: 6 Rank: 6

帖子: 1266
积分: 1775
技术: 162
捐助: 0
注册时间: 2015-12-12

11楼

发表于 2016-1-7 06:51 | 只看该作者

这两问题代码一样

http://www.bathome.net/thread-38037-1-2.html
http://bbs.bathome.net/thread-38219-1-1.html

1 评分人数

wangdao6699: 谢谢这位仁兄分享技术 + 1

去学去写去用才有进步。安装python3代码存为xx.py 双击运行或右键用IDLE打开按F5运行

TOP

ksla

一级士官

Rank: 2

帖子: 113
积分: 127
技术: 1
捐助: 0
注册时间: 2016-1-3

12楼倒序看帖

打印

字体大小: tT

发表于 2016-1-7 11:49 | 只看该作者

[文本处理] 【已解决】批处理如何将前三段相同的ip地址去重复，并将第四段替换成指定字符？

本帖最后由 pcl_test 于 2016-9-18 18:53 编辑

昨天有位人兄发帖需要以下功能！下面的代码能实现！

这个代码里的功能对我并无有用处，因为很多文本处理器可以完美做到，一千多万行也是几秒的事，但今天使用了一下！发现了漏掉问题

本人用的是gawk 4.1.3，windows10

对一个有376362行的文本进行处理，去重并将第四列替换为0-20后得出365993行，漏掉了10369行！！xxx.xxx.xxx.0-20得出的结果是以IP范围为格式，所以再乘20等于漏掉了207380个IP

可能有人会认为376362个IP有重复，但这376362行IP是无有重复的，格式为xxx.xxx.xxx.0

大家可以测试一下！
http://pan.baidu.com/s/1gdRzB6F

删除前3列相同ip地址，去重并将第四列替换为0-20
文本1:
58.217.200.13
58.217.200.15
220.181.185.141
58.217.200.37
61.135.185.31
123.126.99.31
61.135.185.32
输出文本2:
58.217.200.0-20
220.181.185.0-20
61.135.185.0-20
123.126.99.0-20

出现问题是这条代码！

gawk "BEGIN{FS=OFS=\".\"}{if(!a[$1.$2.$3]++)print $1,$2,$3,\"0-20\"}" 1.txt > 2.txt
复制代码

正确代码为“

gawk "BEGIN{FS=OFS=\".\"}{if(!a[$1\"_\"$2\"_\"$3]++)print $1,$2,$3,\"0-20\"}" 1.txt > 2.txt
复制代码

1 评分人数

wangdao6699: 感谢兄台测试，修改，优化代码技术 + 1

codegay

少校

Rank: 6 Rank: 6

帖子: 1266
积分: 1775
技术: 162
捐助: 0
注册时间: 2015-12-12

13楼

发表于 2016-1-7 13:32 | 只看该作者

你把处理来的结果再处理几一次看看得到的结果是多少。

去学去写去用才有进步。安装python3代码存为xx.py 双击运行或右键用IDLE打开按F5运行

TOP

codegay

少校

Rank: 6 Rank: 6

帖子: 1266
积分: 1775
技术: 162
捐助: 0
注册时间: 2015-12-12

14楼

发表于 2016-1-7 13:35 | 只看该作者

本帖最后由 codegay 于 2016-1-7 13:53 编辑

"""
依山居 2016年1月7日 13:18:56
"""
with open("IP.txt") as f:
    txt=f.readlines()
print("文件总行数:",len(txt))
ip={'.'.join(r.split(".")[:3]+["0-20\n"]) for r in txt}
ip=sorted(ip)
print("处理后的行数:",len(ip))
复制代码

去学去写去用才有进步。安装python3代码存为xx.py 双击运行或右键用IDLE打开按F5运行

TOP

依山居

中尉

Rank: 5 Rank: 5

帖子: 593
积分: 935
技术: 49
捐助: 0
注册时间: 2008-1-3

15楼

发表于 2016-1-7 13:46 | 只看该作者

本帖最后由依山居于 2016-1-7 13:50 编辑

文件总行数: 376362
处理后的行数: 376362
文件总行数: 376362
处理后的行数: 376362

我代码少打了个. 修正后处理的。确实没有重复的。
复制代码

下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

12 3 下一页

返回列表

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

【已解决】批处理如何将前3段相同的ip地址去重复，并将第4段替换成指定字符？

[文本处理] 【已解决】批处理如何将前三段相同的ip地址去重复，并将第四段替换成指定字符？

[收藏此主题] [关注此主题的新回复]

[通过 QQ、MSN 分享给朋友]