【出题】批处理去除超大文本中的重复行 - 出题挑战 - 批处理之家 BAT,CMD,批处理,PowerShell,VBS,DOS

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

26楼 跳转到 »

发表于 2009-5-29 21:48 | 只看该作者

楼主，能否稍微改改你生成测试文本的代码，要求的效果是100多W行文本，文件体积超过100MB，给感兴趣的朋友们看看？

我帮忙写的代码不需要付钱。如果一定要给，请在微信群或QQ群发给大家吧。
【微信公众号、微信群、QQ群】http://bbs.bathome.net/thread-3473-1-1.html
【支持批处理之家，加入VIP会员！】http://bbs.bathome.net/thread-67716-1-1.html

Rank: 3 Rank: 3

帖子: 14
积分: 209
技术: 0
捐助: 0
注册时间: 2009-1-13

25楼

发表于 2009-5-29 21:30 | 只看该作者

回复 24楼的帖子

只有100W行啊 100MB的文件估计也有500W行了只要求100w的文件

【只有相信成功，自己才会成功】

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

24楼

发表于 2009-5-29 21:25 | 只看该作者

回复 23楼的帖子

19楼说的不够清楚吗？没关系，咱们再强调一遍吧：

如果只有几个重复行，那就意味着要创建100多万个文件夹，这对于使用FAT32的朋友来说，是几乎无法实现的。

Rank: 3 Rank: 3

帖子: 14
积分: 209
技术: 0
捐助: 0
注册时间: 2009-1-13

23楼

发表于 2009-5-29 21:23 | 只看该作者

回21L的

我是NTFS的那个测试的代码生成的只有100多个文件夹

【只有相信成功，自己才会成功】

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

22楼

发表于 2009-5-29 21:22 | 只看该作者

回复 16楼的帖子

批处理是不允许无限制的定义变量的，这个代码能够成功只是个例。如果随风把顶楼生成测试文本的脚本改改，让每行长度增加一倍，这时生成的文件将接近100MB，你再试试那个方案还能成功否？

参考：http://bbs.bathome.net/viewthread.php?tid=3403#pid21404

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

21楼

发表于 2009-5-29 21:19 | 只看该作者

回复 20楼的帖子

我说的是9楼的代码，你确定自己用的FAT32么？

Rank: 3 Rank: 3

帖子: 14
积分: 209
技术: 0
捐助: 0
注册时间: 2009-1-13

20楼

发表于 2009-5-29 21:16 | 只看该作者

回LS的啊

那16L;的不是已经给出了代码了吗可以了的我还测试了

【只有相信成功，自己才会成功】

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

19楼

发表于 2009-5-29 21:07 | 只看该作者

回复 9楼的帖子

如果只有几个重复行，那就意味着要创建100多万个文件夹，这对于使用FAT32的朋友来说，是几乎无法实现的。

Rank: 3 Rank: 3

帖子: 14
积分: 209
技术: 0
捐助: 0
注册时间: 2009-1-13

18楼

发表于 2009-5-29 20:59 | 只看该作者

真的是30s啊
我测试了的你测试没
那个8L的说有问题我怎么没测试出来呢

【只有相信成功，自己才会成功】

随风

荣誉版主

Rank: 8 Rank: 8

帖子: 1759
积分: 5387
技术: 51
捐助: 210
注册时间: 2007-10-26

17楼

发表于 2009-5-29 20:54 | 只看该作者

30s就可以遍历百万行的文本？没测试过，但对这类代码的评论，你没看到他8楼的回复吗？

技术问题请到论坛发帖求助！

Rank: 3 Rank: 3

帖子: 14
积分: 209
技术: 0
捐助: 0
注册时间: 2009-1-13

16楼

发表于 2009-5-29 20:42 | 只看该作者

这是VBT论坛的代码

@echo off
for /f "delims=" %%i in (test.txt) do (
if not defined %%i set %%i=s & echo %%i>>result.txt)
大概需要30 s就可以了
可是这段代码我有点不理解不知LS的道能否解释下

【只有相信成功，自己才会成功】

随风

荣誉版主

Rank: 8 Rank: 8

帖子: 1759
积分: 5387
技术: 51
捐助: 210
注册时间: 2007-10-26

15楼

发表于 2009-5-29 20:38 | 只看该作者

回复 14楼的帖子

首先 4分钟并不算快，
况且顶楼的只是临时测试样本，而非正在的需处理原件，为提高创建样本时间而产生的行大多是重复的，其实不重复的应该只有百来行，这使得你第二个for的运行时间大大减少，若不重复行占半数或更多呢？
其次，还是非法文件名问题，若在word中进行替换则使得代码变成了半自动，不够完美。
再次，创建这么多的临时文件，个人认为始终不太可取，如此疯狂的对硬盘进行写入操作不知道对硬盘会否有影响。

技术问题请到论坛发帖求助！

Rank: 3 Rank: 3

帖子: 14
积分: 209
技术: 0
捐助: 0
注册时间: 2009-1-13

14楼

发表于 2009-5-29 20:22 | 只看该作者

LZ我的代码我用了4分钟就解决了
本人亲自测试 4分钟OK了还算比较快吧

【只有相信成功，自己才会成功】

Rank: 3 Rank: 3

帖子: 14
积分: 209
技术: 0
捐助: 0
注册时间: 2009-1-13

13楼

发表于 2009-5-29 20:14 | 只看该作者

回LS的

我用了别人的代码测试了发现只有几行所以我才认为有问题实际上没问题
错怪了LZ了啊对不起-_-!

随风

荣誉版主

Rank: 8 Rank: 8

帖子: 1759
积分: 5387
技术: 51
捐助: 210
注册时间: 2007-10-26

12楼

发表于 2009-5-29 20:02 | 只看该作者

re 11 楼
你确定那个100w行的代码有问题啊就几个重复的？

技术问题请到论坛发帖求助！