[文本处理] 批处理如何查找/提取txt文本里第一列内容相同的行

Rank: 1

帖子: 13
积分: 14
技术: 0
捐助: 0
注册时间: 2011-11-25

3楼

发表于 2011-11-25 14:11 | 只看该作者

谢谢版主老大，能给范例吗？寻着解决方法找到这里来，批处理不熟悉还请明示一下。谢谢！

CrLf

论坛巡查

Rank: 8 Rank: 8

帖子: 6388
积分: 18843
技术: 982
捐助: 100
注册时间: 2010-10-9

4楼

发表于 2011-11-25 14:19 | 只看该作者

@echo off
(for /f "tokens=1* delims=," %%a in ('sort 1.txt') do (
   set str=%%a
   setlocal enabledelayedexpansion
   if !last!==!str! echo !str!,%%b
   endlocal
   set last=%%a
))>重复.txt
复制代码

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

yyykkkyyyy

二级士官

Rank: 2

帖子: 80
积分: 179
技术: 23
捐助: 0
注册时间: 2011-11-1

5楼

发表于 2011-11-25 17:13 | 只看该作者

本帖最后由 yyykkkyyyy 于 2011-11-25 17:24 编辑

每种重复的都要抠一条吧

@echo off&setlocal enabledelayedexpansion
(for /f "tokens=1* delims=," %%a in ('sort a.txt')do (title %%a,%%b
   if "%%a"=="!str1!" (echo !str2!&set f=y)else (
      if defined f (set f=&echo !str2!)
      set str1=%%a)
   set str2=%%a,%%b)
if defined f echo.!str2!
)>b.txt
复制代码

Rank: 1

帖子: 13
积分: 14
技术: 0
捐助: 0
注册时间: 2011-11-25

6楼

发表于 2011-11-25 17:52 | 只看该作者

版主老大好人，用你上面的代码处理7MB的文件10几分钟都还没有结束，处理过程中也没有提示。单个230K的文件速度倒是好快。。。

CrLf

论坛巡查

Rank: 8 Rank: 8

帖子: 6388
积分: 18843
技术: 982
捐助: 100
注册时间: 2010-10-9

7楼

发表于 2011-11-25 18:16 | 只看该作者

用临时文件就快了，前两行可做如下改动：

@echo off
sort a.txt /o tmp.txt
(for /f "tokens=1* delims=," %%a in (tmp.txt) do (
...
复制代码

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

yyykkkyyyy

二级士官

Rank: 2

帖子: 80
积分: 179
技术: 23
捐助: 0
注册时间: 2011-11-1

8楼

发表于 2011-11-25 19:33 | 只看该作者

回复 6# jeeee

呵呵,我写的又繁又慢,但帮你每种多弄了一条记录也算好人吧, 还是不需要那一条 ? 被直接无视了

powerbat

大校

Rank: 7 Rank: 7 Rank: 7

帖子: 752
积分: 4553
技术: 139
捐助: 0
注册时间: 2010-8-24

9楼

发表于 2011-11-25 22:33 | 只看该作者

@set @n=0//&cscript.exe -e:jscript "%~f0"&exit /b

file = "a.txt";

strConnect = 'Provider=Microsoft.Jet.OLEDB.4.0;Data Source=.;'
    + 'Extended Properties="text;HDR=no;FMT=Delimited;";';
AdoCnn = new ActiveXObject("ADODB.Connection");
AdoCnn.Open(strConnect);
//AdoCnn.Execute("Select * into [result.csv] FROM ["+file+"] where [F1] in (select [F1] from ["+file+"] group by [F1] having count([F1])>1)");
AdoRs = new ActiveXObject("ADODB.Recordset");
AdoRs.Open("SELECT * FROM ["+file+"] where [F1] in (select [F1] from ["+file+"] group by [F1] having count([F1]) > 1)", AdoCnn, 3);
n = AdoRs.RecordCount
s = AdoRs.GetString(2, n, ",", "\r\n");
AdoRs.Close();
AdoCnn.Close();
fso = new ActiveXObject("Scripting.FileSystemObject");
fso.OpenTextFile('result.txt', 2, true).write(s);
WScript.Echo("共有"+n+"条重复数据，结果保存在result.txt");
复制代码

3 评分人数

zqz0012005: 谁说没人用JS？这位就是高手PB + 20 技术 + 2
jeeee: 速度非常快技术 + 1
CrLf: 乐于助人技术 + 1

script56
新加坡Google

Rank: 1

帖子: 13
积分: 14
技术: 0
捐助: 0
注册时间: 2011-11-25

10楼

发表于 2011-11-26 00:42 | 只看该作者

回复 8# yyykkkyyyy

这个正是要的结果，谢了，不过处理7MB的数据快要20分钟了，能快点就完美了

powerbat

大校

Rank: 7 Rank: 7 Rank: 7

帖子: 752
积分: 4553
技术: 139
捐助: 0
注册时间: 2010-8-24

11楼

发表于 2011-11-26 00:56 | 只看该作者

回复 10# jeeee

你这是回复谁呢？

script56
新加坡Google

Rank: 1

帖子: 13
积分: 14
技术: 0
捐助: 0
注册时间: 2011-11-25

12楼

发表于 2011-11-26 00:56 | 只看该作者

回复 9# powerbat

代码运行好快有提示，不过运行出来的结果好像有重复不知道为什么。请看图片。第13行找到的数据和7792行数据是一样重复了

Rank: 1

帖子: 13
积分: 14
技术: 0
捐助: 0
注册时间: 2011-11-25

13楼

发表于 2011-11-26 00:59 | 只看该作者

回复 7# CrLf

谢谢版主老大。高人真多困扰了几天时间一下子就解决了这里真是一个学习的好地方，学无止境啊！

Rank: 1

帖子: 13
积分: 14
技术: 0
捐助: 0
注册时间: 2011-11-25

14楼

发表于 2011-11-26 01:02 | 只看该作者

回复 jeeee

你这是回复谁呢？
powerbat 发表于 2011-11-26 00:56

抱歉给你的回复在12楼，谢谢

powerbat

大校

Rank: 7 Rank: 7 Rank: 7

帖子: 752
积分: 4553
技术: 139
捐助: 0
注册时间: 2010-8-24

15楼

发表于 2011-11-26 01:06 | 只看该作者

回复 12# jeeee

你的意思是多条重复数据只记录一次吧？
好办，select * 改成 select DISTINCT *

1 评分人数

jeeee: 热心助人为乐技术 + 1

script56
新加坡Google