[文本处理] 文本内容如何用批处理去重？

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

22楼

发表于 2015-4-22 16:14 | 只看该作者

回复 21# shootman2

http://baike.baidu.com/view/1816882.htm

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

21楼

发表于 2015-4-22 14:34 | 只看该作者

回复 20# gawk

14楼的代码是对的，没有问题，只是我不好理解con，从是什么东西，需要请教你。
还有就是我发现的这个问题，是怎么回事呢？为什么不放到for里就error，放到for里就ok呢？

gawk

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

20楼

发表于 2015-4-22 13:30 | 只看该作者

回复 19# shootman2

能否先告诉我14楼的代码有啥报错吗

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

19楼

发表于 2015-4-22 09:31 | 只看该作者

回复 18# gawk

求大神再详细说一下con，感觉很难理解！

还有就123.txt中含有中文的话，仅仅执行gawk "!a[$0]++" 456.txt时会报错
debug>gawk "!a[$0]++" 123.txt
gawk: cmd. line:1: (FILENAME=123.txt FNR=1) fatal: print to "standard output" failed (Exec format error)

但是放到for里就ok了，
for /f %x in ('gawk "!a[$0]++" 123.txt') do echo %x
张三
李四
[email]zhangsan@163.com[/email]
[email]lisi@163.com[/email]
[email]wangwu@163.com[/email]

gawk

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

18楼

发表于 2015-4-22 08:51 | 只看该作者

回复 16# shootman2

不是第三方，是系统自带的设备文件。

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

17楼

发表于 2015-4-21 23:29 | 只看该作者

回复 shootman2
在你的代码可以不开变量延迟要开的话，要对!转义
pcl_test 发表于 2015-4-21 22:59

想想也是，如果启用变量延迟 ! 就有了其他含义，感谢万能的大神。。。

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

16楼

发表于 2015-4-21 23:28 | 只看该作者

回复 14# gawk

不知道这个con是第三方吗？

pcl_test

荣誉版主

Rank: 8 Rank: 8

帖子: 3041
积分: 5330
技术: 684
捐助: 0
注册时间: 2014-10-19

15楼

发表于 2015-4-21 22:59 | 只看该作者

回复 13# shootman2
在你的代码可以不开变量延迟

@echo off
set "aaa=d:\user_list.txt"
for /f "tokens=* delims=" %%m in ('gawk "!a[$0]++" "%aaa%"') do echo %%m
pause
复制代码

要开的话，要对!转义

@echo off
setlocal enabledelayedexpansion
set "aaa=d:\user_list.txt"
for /f "tokens=* delims=" %%m in ('gawk "^!a[$0]++" "!aaa!"') do echo %%m
pause
复制代码

gawk

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

14楼

发表于 2015-4-21 22:33 | 只看该作者

回复 9# pcl_test

gawk "!a[$0]++" 1.txt >con
复制代码

用con比较好

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

13楼

发表于 2015-4-21 22:21 | 只看该作者

回复 pcl_test 如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用 ...
pcl_test 发表于 2015-4-18 20:12

好奇怪，如果启用了变量延迟，程序就卡住一直不动了！

@echo off
setlocal enabledelayedexpansion
set aaa=d:\user_list.txt
for /f "tokens=* delims=" %%m in ('gawk "!a[$0]++" "!aaa!"') do (
echo %%m
)
pause

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

12楼

发表于 2015-4-20 10:45 | 只看该作者

有没有其他什么好的方法？

gawk

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

11楼

发表于 2015-4-18 22:34 | 只看该作者

回复 10# shootman2

理解这个语句需要具备基础的awk知识
http://bbs.chinaunix.net/viewthread.php?tid=1672726#pid11904888

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

10楼

发表于 2015-4-18 22:23 | 只看该作者

回复 pcl_test 如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用 ...
pcl_test 发表于 2015-4-18 20:12

嗯！问题解决了，但是这个语句该怎么理解呢？继续请教大神！

pcl_test

荣誉版主

Rank: 8 Rank: 8

帖子: 3041
积分: 5330
技术: 684
捐助: 0
注册时间: 2014-10-19

9楼

发表于 2015-4-18 20:12 | 只看该作者

回复 5# pcl_test

gawk "!a[$0]++" "测试.txt"| more
复制代码

如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用重定向