[文本处理] 批处理怎样删除组成元素相同的重复行？

DAIC

文本中有很多行，下面只是一部分，每行都是三列随机数字：
1 1 1
1 1 2
1 2 1
2 3 0
2 1 1
0 2 3
4 5 6

只要组成元素相同，就视为重复行。比如以下三行均视为重复行：
1 1 2
1 2 1
2 1 1
还有以下两行也是重复行：
2 3 0
0 2 3

对于重复行，任意保留中一行即可。对于非重复行，原样保留。

awk

gawk "BEGIN {p[0]=2;p[1]=3;p[2]=5;p[3]=7;p[4]=11;p[5]=13;p[6]=17;p[7]=19;p[8]=23;p[9]=29;}!a[p[$1]*p[$2]*p[$3]]++" a.txt
复制代码

awk

gawk "!a[10^$1+10^$2+10^$3]++" a.txt
复制代码

awk

gawk "!a[$1^5+$2^5+$3^5]++" a.txt
复制代码

Batcher

回复 20# 545810831


勾股定理就是一个比较容易想到的反例

545810831

我之前没有做过论证就做出了判断:"一行各个元素平方和只有各个元素相

同时才会相等" 我找几个数 如6 6 7 和6 9 2 他们的平方和是121，而他

们组成元素是不同的

545810831

我之前没有经过论证就做出论断 "一行各个元素平方和只有各个元素相同时才会相等" 是错误的，我找几个数
如 6 6 7 和6 9 2 他们的平方和是121  而他们组成元素是不同的

ArdentMan

效率不太好

@Echo Off&SetLocal EnableDelayedExpansion
(For /F "delims=" %%i In (a.txt) Do (
  Set "Str="
  For /F %%j In ('^(For %%j In ^(%%i^) Do Echo %%j^)^|Sort') Do Set "Str=!Str! %%j"
  If Not Defined _!Str:~1! Echo %%i&Set "_!Str:~1!=a"
))>b.txt
Start b.txt
复制代码

wc726842270

另外怎么没人用冒泡排序啊,个人认为可以在FOR /F中用它来达到我16L的转换

wc726842270

@echo off 
if exist temp1.txt (del /a /f temp1.txt)
if exist temp2.txt (del /a /f temp2.txt)
for /f "tokens=1-3" %%i in (1.txt) do (
    (echo %%i&echo %%j&echo %%k)|sort
)>>temp1.txt
for /f "tokens=1,2 delims=:" %%i in ('findstr /n .* temp1.txt') do (
    setlocal enabledelayedexpansion
    set /a a=%%i%%3
    if !a! equ 1 (echo.&&set /p=%%j<nul) else (set /p=%%j<nul)
)>>temp2.txt
del /a /f temp1.txt
pause
复制代码

运行这个代码可以帮你转换成"去掉重复行",之后就好处理了
好久没写了,可能不给力

sxw

本着解决问题的思想，如果只是数字可以试试用Perl解决：

#!/usr/bin/perl
use warnings;
use strict;

my %count;
while (<DATA>) {
my @number=split;
chomp (my $sorted_number=join "",sort { $a <=> $b } @number);
$count{$sorted_number}++;
print "$_" if $count{$sorted_number}==1;
}
__END__
1 1 1
1 1 2
1 2 1
2 3 0
2 1 1
0 2 3
5 4 6
4 5 6
7 8 9
8 7 9
1 1 1
复制代码

CrLf

不过如果列数与指数相同，好像没想到有反例可以证明这种算法不严谨

CrLf

有想法，不过也是不严谨，3 0 0 与 2 2 1 平方和相同

545810831

一行各个元素平方和只有各个元素相同时才会相等，所以稍稍改一下代码即可,不知文本有多长，可能导致卡机？

545810831

错了？解决不了问题