批处理之家 » BAT求助&讨论 » [已解决]批处理怎么删除同一行的重复字符？

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

返回列表发帖

Rank: 3 Rank: 3

帖子: 134
积分: 232
技术: 0
捐助: 0
注册时间: 2012-9-21

1楼 跳转到 » 倒序看帖

字体大小: tT

发表于 2012-11-16 21:56 | 只看该作者

[文本处理] [已解决]批处理怎么删除同一行的重复字符？

特殊符号打不出来，例子如图：

把同一行的重复字符删除（尤其是特殊字符），所有重复保留一个就可以了。

1 评分人数

Batcher: 感谢给帖子标题标注[已解决]字样PB + 2

Rank: 7 Rank: 7 Rank: 7

帖子: 1023
积分: 3120
技术: 230
捐助: 160
注册时间: 2010-12-22

2楼

发表于 2012-11-17 08:33 | 只看该作者

本帖最后由 tmplinshi 于 2012-11-17 09:18 编辑

onigsed.exe -R "s/(.)(?=.*?\1)//g" a.txt
复制代码

onigsed 下载地址: http://bathome.net/thread-20202-1-1.html?1353112459

==================================

perl -pe "s/\G$1//g while (/(.).*(?=\1)/g)" a.txt
复制代码

perl5.6 (242 KB) 下载地址: http://ishare.iask.sina.com.cn/f/14534556.html

==================================

gawk "BEGIN{FS=\"\"}{delete _;for(i=1;i<=NF;i++){if(!_[$i]++) printf $i};print\"\"}" a.txt

注：以上三个代码来自 http://stackoverflow.com/questions/2582940/how-do-i-remove-duplicate-characters-and-keep-the-unique-one-only-in-perl

Rank: 3 Rank: 3

帖子: 134
积分: 232
技术: 0
捐助: 0
注册时间: 2012-9-21

3楼

发表于 2012-11-17 09:09 | 只看该作者

回复 2# tmplinshi

好像不起作用，给出文本你测试吧……

Rank: 7 Rank: 7 Rank: 7

帖子: 1023
积分: 3120
技术: 230
捐助: 160
注册时间: 2010-12-22

4楼

发表于 2012-11-17 09:16 | 只看该作者

回复 3# 每天几分

onigsed.exe --ctype=UTF8 -R "s/(.)(?=.*?\1)//g" a.txt >new.txt
复制代码

1 评分人数

每天几分: 很好！辛苦了！技术 + 1

Rank: 7 Rank: 7 Rank: 7

帖子: 1023
积分: 3120
技术: 230
捐助: 160
注册时间: 2010-12-22

5楼

发表于 2012-11-17 11:01 | 只看该作者

回复 tmplinshi

好像不起作用，给出文本你测试吧……
每天几分发表于 2012-11-17 09:09

gawk -W ctype=UTF8 "BEGIN{FS=\"\"}{delete _;for(i=1;i<=NF;i++){if(!_[$i]++) printf $i};print\"\"}" a.txt >new.txt
复制代码

gawk 下载地址: http://bathome.net/thread-20203-1-1.html