[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
Rasm

Rank: 3Rank: 3

帖子
202 
积分
245 
技术
0  
捐助
0  
注册时间
2010-5-25 
1楼 跳转到 » 倒序看帖
打印
tT
发表于 2012-10-24 13:09 | 只看该作者

[文本处理] 批处理如何批量提取文本中的域名地址？

本帖最后由 pcl_test 于 2016-7-7 22:51 编辑

http://www.autohome.com.cn/102/
http://newcar.xcar.com.cn/731/
http://db.auto.sohu.com/model_1445/
http://car.bitauto.com/ym/
http://data.auto.sina.com.cn/657
http://data.auto.qq.com/car_serial/280/index.shtml
http://www.yemaauto.cn/
http://www.chexun.com/mustang/
http://db.auto.sohu.com/model_1335/


软件整理后的内容如上，但是我的目标是指获取地址，而不需要页面内容，而且最好能去重复文本中的地址


处理后的目标如下：

http://www.autohome.com.cn
http://newcar.xcar.com.cn
http://db.auto.sohu.com
http://car.bitauto.com
http://data.auto.sina.com.cn
http://data.auto.qq.com
http://www.yemaauto.cn
http://www.chexun.com
http://db.auto.sohu.com

如果文本内有相同的域名，最好也同时去重复，并保存为2.txt
收藏 分享

andyrave

Rank: 2

帖子
126 
积分
174 
技术
12  
捐助
0  
注册时间
2010-4-27 
2楼
发表于 2012-10-24 15:05 | 只看该作者 
  1. @echo off

  2. cd.>2.txt

  3. For /f "tokens=2* delims=/" %%a IN (a.txt) do (

  4. for /f "delims=" %%i in ('echo http://%%a') do (

  5. find /i "%%i" 2.txt||echo %%i>>2.txt

  6. ))
复制代码
测试环境：WINDOWS 8 64Bit
如系统环境不同，请自行修改 ：）

TOP

韩立

Rank: 1

帖子
5 
积分
22 
技术
2  
捐助
0  
注册时间
2012-10-14 
3楼
发表于 2012-10-24 21:21 | 只看该作者
本帖最后由 韩立 于 2012-10-24 21:38 编辑

假设要处理的文本为1.txt，没实现去除重复。
  1. @echo off

  2. for /f "tokens=1-2 delims=/" %%i in (1.txt) do echo %%i//

  3. %%j >>2.txt

  4. del 1.txt & ren 2.txt 1.txt
复制代码
参照二楼修改了一下
  1. @echo off

  2. cd.>2.txt

  3. for /f "tokens=1-2 delims=/" %%i in (1.txt) do (

  4. find /i "%%i//%%j" 2.txt||echo %%i//%%j >>2.txt)

  5. del 1.txt & ren 2.txt 1.txt
复制代码

TOP

wc726842270

Rank: 7Rank: 7Rank: 7

帖子
1107 
积分
4218 
技术
37  
捐助
0  
注册时间
2010-6-8 
4楼
发表于 2012-10-25 04:54 | 只看该作者
去除重复
if not define %%i (echo %%i&&set %%i=#)
不过得放在适当的位置
枫中残雪：风停了，我的心却在动，让我心中的寒意走向远方

TOP

forfiles

Rank: 8Rank: 8

帖子
571 
积分
5364 
技术
29  
捐助
0  
注册时间
2012-6-7 
5楼
发表于 2012-10-25 10:32 | 只看该作者
回复 3# 韩立 
  1. echo %%i//%%j >>2.txt
复制代码
这种写法的问题在于行尾有多余的空格，可以改成：
  1. >>2.txt echo %%i//%%j
复制代码
还有这两句：
  1. del 1.txt & ren 2.txt 1.txt
复制代码
可以合并成：
  1. move /y 2.txt 1.txt
复制代码

TOP

forfiles

Rank: 8Rank: 8

帖子
571 
积分
5364 
技术
29  
捐助
0  
注册时间
2012-6-7 
6楼
发表于 2012-10-25 10:33 | 只看该作者
回复 2# andyrave


    find的效率太低了，建议参考4楼define的方法。

TOP

返回列表