[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
思想之翼

Rank: 5Rank: 5

帖子
643 
积分
1270 
技术
1  
捐助
0  
注册时间
2012-7-1 
1楼 跳转到 » 倒序看帖
打印
tT
发表于 2023-6-26 17:28 | 只看该作者

[其他] 【已解决】文本记录数值庞大，如何实现按出现次数排序

本帖最后由 思想之翼 于 2023-6-30 15:43 编辑

下述代码将文本记录数值，按出现次数排序：
331 445 550 567
008 023 327 550 689
142 350 331 449 550 653
结果为：
550 （出现3次）
331 （出现2次）
445 550 567 008 023 327 689 142 350 449 653 （出现1次）
  1. @set @n=0;/* & echo off

  2. set "x=1000"

  3. md "文件夹2" 2>nul

  4. pushd "文件夹1\"

  5. dir /b *.txt|cscript -nologo -e:jscript "%~0" "%x%"

  6. pause & exit/b & rem */

  7. 

  8. fso = new ActiveXObject("Scripting.FileSystemObject");

  9. while (!WScript.StdIn.AtEndOfStream) {

  10.     f = WScript.StdIn.ReadLine();

  11.     try {

  12.         txt = fso.OpenTextFile(f, 1).ReadAll();

  13.         txt = getMaxNum(txt, WScript.Arguments(0));

  14.     } catch(e) { txt = "" }

  15.     fso.CreateTextFile("..\\文件夹2\\"+f, true).Write(txt);

  16. }

  17. 

  18. function getMaxNum(str, arg) {

  19.     dic = new ActiveXObject("Scripting.Dictionary");

  20.     for (i=1000; i<=1999; i++) {

  21.         num = (i + "").substr(1);

  22.         k = str.split(num).length;

  23.         if (k > 1) {

  24.             if (dic.Exists(k)) {

  25.                 dic.Item(k) += " " + num;

  26.             } else dic.Add(k, num)

  27.         }

  28.     }

  29. 

  30.     ar = (new VBArray(dic.Keys())).toArray();

  31.     s = "";

  32. 

  33.     ar.sort(function(x,y){return y-x});

  34.     if (arg > ar.length) arg = ar.length;

  35.     for (i=0; i<arg; i++) {

  36.         s += dic(ar[i]) + "\r\n";

  37.     }

  38.     return s

  39. }
复制代码
问题：若文本记录数值达3GB，该代码出错。
请教：有无其他方法，实现按出现次数排序？
1

评分人数

    • Batcher: 感谢给帖子标题标注[已解决]字样PB + 2
收藏 分享

jyswjjgdwtdtj

Rank: 5Rank: 5

帖子
657 
积分
777 
技术
34  
捐助
0  
注册时间
2023-2-9 
2楼
发表于 2023-6-26 17:57 | 只看该作者
本帖最后由 jyswjjgdwtdtj 于 2023-6-26 18:10 编辑

你倒是说哪里错了？
想办法把那个readall改了 这么高肯定内存不够
还有既然只用了js为什么还要用bat套一层？纯属有问题
还有js有原生的”对象“为什么还要用dictionary？
你好

TOP

思想之翼

Rank: 5Rank: 5

帖子
643 
积分
1270 
技术
1  
捐助
0  
注册时间
2012-7-1 
3楼
发表于 2023-6-26 18:05 | 只看该作者
本帖最后由 思想之翼 于 2023-6-26 18:13 编辑

回复 2# jyswjjgdwtdtj

cscript.e×e-应用程序错误
0x000007FFA4A432751指令用了00000000143009000内存。该内存不能为written。
要终止程序，请弹击确定。

TOP

jyswjjgdwtdtj

Rank: 5Rank: 5

帖子
657 
积分
777 
技术
34  
捐助
0  
注册时间
2023-2-9 
4楼
发表于 2023-6-26 18:23 | 只看该作者
本帖最后由 jyswjjgdwtdtj 于 2023-6-26 19:06 编辑

做了个没能排序的
  1. var fso = new ActiveXObject("Scripting.FileSystemObject");

  2. var f=fso.OpenTextFile("1.txt",1);

  3. var o=fso.CreateTextFile("2.txt",true)

  4. var text="";

  5. var b={};

  6. var c={};

  7. while(!f.AtEndOfStream){

  8. text=f.ReadLine();

  9. for(var s=text.split(" "),l=s.length,i=0;i<l;i++){

  10. b[s[i]]=tn(b[s[i]])+1

  11. }

  12. }

  13. function tn(n){

  14. return(n==undefined?0:+n);

  15. }

  16. for(var i in b){

  17. if(c[b[i]]==undefined) c[b[i]]=[];

  18. c[b[i]].push(i);//b[i]是次数 push的内容是当前次数的值

  19. }

  20. delete b;
复制代码
可以把同个次数的放到一起 但是排序不会
一想到要排序对象搞来搞去的 就觉得脑子要炸了 拜拜
1

评分人数

你好

TOP

czjt1234

Rank: 6Rank: 6

帖子
1059 
积分
1560 
技术
112  
捐助
0  
注册时间
2010-4-30 
5楼
发表于 2023-6-26 19:56 | 只看该作者
我用vbs调用文本数据库统计了一个2G文件的排序，耗时210秒
惭愧惭愧，就不发出来了

等待第三方软件吧

QQ 20147578

TOP

czjt1234

Rank: 6Rank: 6

帖子
1059 
积分
1560 
技术
112  
捐助
0  
注册时间
2010-4-30 
6楼
发表于 2023-6-26 19:58 | 只看该作者
话说这么大的数据量，居然不用数据库，也真是服了

QQ 20147578

TOP

jyswjjgdwtdtj

Rank: 5Rank: 5

帖子
657 
积分
777 
技术
34  
捐助
0  
注册时间
2023-2-9 
7楼
发表于 2023-6-26 21:52 | 只看该作者
回复 5# czjt1234


    第三方软件也没区别吧 直接在c++里面读估计会快很多很多
第一次见到3gb的文本文件
你好

TOP

Gin_Q

Rank: 4

帖子
264 
积分
330 
技术
13  
捐助
0  
注册时间
2019-9-26 
8楼
发表于 2023-6-27 09:14 | 只看该作者
如果内存够都话，应该不会报错。
QQ:1972544783

TOP

Gin_Q

Rank: 4

帖子
264 
积分
330 
技术
13  
捐助
0  
注册时间
2019-9-26 
9楼
发表于 2023-6-27 09:15 | 只看该作者
你贴一段文本出来，我用Python试试。不需要太大。我看看文本格式。
QQ:1972544783

TOP

hfxiang

Rank: 5Rank: 5

帖子
601 
积分
1128 
技术
166  
捐助
0  
注册时间
2022-6-20 
10楼
发表于 2023-6-27 09:25 | 只看该作者
回复 1# 思想之翼
没有制备3gb的数据来测试，如下指令用1楼的示例数据测试是有效的
  1. gawk "{for(i=1;i<=NF;i++){if(!a[$i]++)b[++j]=$i;if(0+N<a[$i])N=a[$i]}}END{for(k=1;k<=j;k++)c[a[b[k]]]=c[a[b[k]]]b[k]\" \";s=asorti(c,tA);for(i=s;i>0;i--)print c[tA[i]]}" 1.txt>2.txt
复制代码
1

评分人数

TOP

思想之翼

Rank: 5Rank: 5

帖子
643 
积分
1270 
技术
1  
捐助
0  
注册时间
2012-7-1 
11楼
发表于 2023-8-22 05:04 | 只看该作者
回复 10# hfxiang

感谢！gawk代码单独使用，结果正确。若在如下循环语句中使用，则结果为空。恳望指点。

@echo off
for /l %%f in (1000001,1,1000100) do (
    setlocal enabledelayedexpansion
    set p=%%f
       gawk "{for(i=1;i<=NF;i++){if(!a[$i]++)b[++j]=$i;if(0+N<a[$i])N=a[$i]}}END{for(k=1;k<=j;k++)c[a[b[k]]]=c[a[b[k]]]b[k]\" \";s=asorti(c,tA);for(i=s;i>0;i--)print c[tA]}" d:\!p:~1!\!p:~1!.txt > e:\!p:~1!\!p:~1!.txt
    endlocal
)
exit

TOP

77七

Rank: 6Rank: 6

帖子
1703 
积分
2794 
技术
343  
捐助
50  
注册时间
2022-9-18 
12楼
发表于 2023-8-22 07:05 | 只看该作者
本帖最后由 77七 于 2023-8-22 07:09 编辑

回复 11# 思想之翼


   可能和这个原因是一样的。http://bbs.bathome.net/redirect.php?goto=findpost&ptid=66801&pid=271170
1

评分人数

bat小白，请多指教！谢谢！

TOP

思想之翼

Rank: 5Rank: 5

帖子
643 
积分
1270 
技术
1  
捐助
0  
注册时间
2012-7-1 
13楼
发表于 2023-8-22 08:06 | 只看该作者
回复 12# 77七

谢谢！在gawk命令中的 ”!“ 前加个 “^” 转义

TOP

返回列表