批处理之家 » BAT求助&讨论 » [已解决]批处理如何提取文本内不相同的行？

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

返回列表发帖

Rank: 1

帖子: 24
积分: 54
技术: 4
捐助: 0
注册时间: 2011-4-29

1楼 跳转到 » 倒序看帖

字体大小: tT

发表于 2011-11-19 20:05 | 只看该作者

[文本处理] [已解决]批处理如何提取文本内不相同的行？

有一个文本为1.txt，内容如1.txt，现在想要提取的内容为2.txt，就是说把1.txt里面内容不重复的行提取出来，有相同内容的行，只提取一行就行。
1.txt如下：

十分萨芬是大法师打发士大夫
是大法师打发打发打发
是大法师法得到释放速度
萨芬是大法师打发的十分大方
打发打发打发打发打发
洒洒洒阿萨阿萨
洒洒洒阿萨阿萨洒洒洒阿萨阿萨
洒洒洒阿萨阿萨
洒洒洒阿萨阿萨
复制代码

2.txt如下：

十分萨芬是大法师打发士大夫
是大法师打发打发打发
是大法师法得到释放速度
萨芬是大法师打发的十分大方
打发打发打发打发打发
洒洒洒阿萨阿萨
洒洒洒阿萨阿萨洒洒洒阿萨阿萨
复制代码

1 评分人数

CrLf: 感谢给帖子标题标注[已解决]字样PB + 2

Rank: 8 Rank: 8

帖子: 647
积分: 3454
技术: 24
捐助: 0
注册时间: 2009-4-25

2楼

发表于 2011-11-19 20:35 | 只看该作者

用sort可能把顺序打乱= = 可以不？

for /f "tokens=*" %%i in ('SORT.exe 1.txt') do (
     if "%%i" neq "!i!" echo %%i>>2.txt
     set i=%%i
)
复制代码

2 评分人数

Hello123World: 乐于助人PB + 3
szjwxn: 感谢给帖子标题标注[已解决]字样技术 + 1

Rank: 5 Rank: 5

帖子: 418
积分: 811
技术: 2
捐助: 0
注册时间: 2008-11-24

3楼

发表于 2011-11-19 20:46 | 只看该作者

cnbook可以删除重复行。应该还有些软件能做这个。

1 评分人数

CrLf: 乐于助人PB + 3

Rank: 8 Rank: 8

帖子: 6388
积分: 18843
技术: 982
捐助: 100
注册时间: 2010-10-9

4楼

发表于 2011-11-19 21:04 | 只看该作者

findstr /lxgv:2.txt 1.txt>3.txt
复制代码

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

Rank: 1

帖子: 24
积分: 54
技术: 4
捐助: 0
注册时间: 2011-4-29

5楼

发表于 2011-11-19 21:33 | 只看该作者

谢谢2楼的，可以实现。

Rank: 8 Rank: 8

帖子: 982
积分: 1525
技术: 78
捐助: 0
注册时间: 2010-10-23

6楼

发表于 2011-11-22 21:22 | 只看该作者

回复 4# CrLf

好像咱两都看错题意了……

如果用到sed命令，须下载sed.exe到c:\windows\system32文件夹中。

Rank: 5 Rank: 5

帖子: 606
积分: 1130
技术: 96
捐助: 0
注册时间: 2011-9-4

7楼

发表于 2011-11-22 21:47 | 只看该作者

回复 3# lxh623

gawk "!a[$0]++" a.txt >b.txt
复制代码