批处理如何统计txt文本每行字符串出现的次数？ - BAT求助&讨论 - 批处理之家 BAT,CMD,批处理,PowerShell,VBS,DOS

Rank: 1

帖子: 55
积分: 74
技术: 0
捐助: 0
注册时间: 2014-5-14

17楼

发表于 2014-5-14 23:32 | 只看该作者

本帖最后由 nono84223860 于 2014-5-14 23:40 编辑

回复 15# CrLf

大神好像不太行，我刚刚改了测试了两次很多不见了我想大小写也区分，

519835  a
133630  q
92110  z
87084  W
40292  S
37908  X
35138  l
21982  c
21686  y
18849  h
16977  M
15372  f
14434  d
13122  b
12487  g
11314  k
10836  t
10780  j
9818  P
6389  E
5756  O
4427  R
3544  n
3202  v
1843  I
942  u

统计出很多不见了

CrLf

论坛巡查

Rank: 8 Rank: 8

帖子: 6388
积分: 18843
技术: 982
捐助: 100
注册时间: 2010-10-9

18楼

发表于 2014-5-15 01:16 | 只看该作者

回复 21# nono84223860

自带的 sort 不分大小写，所以建议用 gnu 版本，强大快捷

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

Batcher

管理员

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

19楼

发表于 2014-5-15 08:32 | 只看该作者

回复 16# nono84223860

这个命令不能在PowerShell的提示符下面执行，需要在CMD的提示符下面执行。另外你需要下载好sort.exe和uniq.exe

我帮忙写的代码不需要付钱。如果一定要给，请在微信群或QQ群发给大家吧。
【微信公众号、微信群、QQ群】http://bbs.bathome.net/thread-3473-1-1.html
【支持批处理之家，加入VIP会员！】http://bbs.bathome.net/thread-67716-1-1.html

Rank: 1

帖子: 55
积分: 74
技术: 0
捐助: 0
注册时间: 2014-5-14

20楼

发表于 2014-5-15 08:51 | 只看该作者

回复 22# CrLf

请问一下gnu在哪里有的下载，百度不到，

Rank: 1

帖子: 55
积分: 74
技术: 0
捐助: 0
注册时间: 2014-5-14

21楼

发表于 2014-5-15 08:54 | 只看该作者

回复 23# Batcher

uniq.exe这个我也百度不到

sort.exe这个系统已经有了

Rank: 1

帖子: 55
积分: 74
技术: 0
捐助: 0
注册时间: 2014-5-14

22楼

发表于 2014-5-15 09:03 | 只看该作者

回复 22# CrLf

我有UE，UE能做到这样的处理吗？

Rank: 1

帖子: 55
积分: 74
技术: 0
捐助: 0
注册时间: 2014-5-14

23楼

发表于 2014-5-15 09:03 | 只看该作者

回复 23# Batcher

我有UE,UE能做到这样的处理吗

Batcher

管理员

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

24楼

发表于 2014-5-15 10:26 | 只看该作者

回复 25# nono84223860

UnxUtils里面有sort.exe（跟系统自带的那个sort.exe不一样）和uniq.exe
http://sourceforge.net/projects/unxutils/files/

Rank: 1

帖子: 55
积分: 74
技术: 0
捐助: 0
注册时间: 2014-5-14

25楼

发表于 2014-5-15 10:50 | 只看该作者

回复 28# Batcher

搞了半天都不懂下载，我发出来，你帮我处理好吗。就一个70MB的TXT

PowerShell

上尉

Rank: 5 Rank: 5

帖子: 437
积分: 1319
技术: 27
捐助: 0
注册时间: 2013-6-30

26楼

发表于 2014-5-15 11:50 | 只看该作者

本帖最后由 PowerShell 于 2014-5-15 11:58 编辑

楼顶压缩包，按照区分大小写，并按照数量倒着排序的命令为：

Get-Content a:\pscode\a.txt | Group-Object  -CaseSensitive | Sort-Object -Property count -Descending | Format-List
复制代码

返回：
Name : a
Count  : 513340
Group  : {a, a, a, a...}
Values : {a}

Name : q
Count  : 131976
Group  : {q, q, q, q...}
Values : {q}

Name : z
Count  : 90999
Group  : {z, z, z, z...}
Values : {z}

Name : w
Count  : 86066
Group  : {w, w, w, w...}
Values : {w}

Name : s
Count  : 39801
Group  : {s, s, s, s...}
Values : {s}

Name : x
Count  : 37051
Group  : {x, x, x, x...}
Values : {x}

Name : l
Count  : 34205
Group  : {l, l, l, l...}
Values : {l}

Name : c
Count  : 21589
Group  : {c, c, c, c...}
Values : {c}

Name : y
Count  : 21298
Group  : {y, y, y, y...}
Values : {y}

Name : h
Count  : 18204
Group  : {h, h, h, h...}
Values : {h}

Name : m
Count  : 16611
Group  : {m, m, m, m...}
Values : {m}

Name : f
Count  : 14867
Group  : {f, f, f, f...}
Values : {f}

Name : d
Count  : 14050
Group  : {d, d, d, d...}
Values : {d}

Name : b
Count  : 12718
Group  : {b, b, b, b...}
Values : {b}

Name : g
Count  : 12061
Group  : {g, g, g, g...}
Values : {g}

Name : k
Count  : 11022
Group  : {k, k, k, k...}
Values : {k}

Name : t
Count  : 10529
Group  : {t, t, t, t...}
Values : {t}

Name : j
Count  : 10508
Group  : {j, j, j, j...}
Values : {j}

Name : p
Count  : 9588
Group  : {p, p, p, p...}
Values : {p}

Name : A
Count  : 6495
Group  : {A, A, A, A...}
Values : {A}

Name : o
Count  : 5372
Group  : {o, o, o, o...}
Values : {o}

Name : r
Count  : 4258
Group  : {r, r, r, r...}
Values : {r}

Name : e
Count  : 3918
Group  : {e, e, e, e...}
Values : {e}

Name : n
Count  : 3430
Group  : {n, n, n, n...}
Values : {n}

Name : v
Count  : 3156
Group  : {v, v, v, v...}
Values : {v}

Name : E
Count  : 2471
Group  : {E, E, E, E...}
Values : {E}

Name : i
Count  : 1763
Group  : {i, i, i, i...}
Values : {i}

Name : Q
Count  : 1654
Group  : {Q, Q, Q, Q...}
Values : {Q}

Name : Z
Count  : 1111
Group  : {Z, Z, Z, Z...}
Values : {Z}

Name : W
Count  : 1018
Group  : {W, W, W, W...}
Values : {W}

Name : L
Count  : 933
Group  : {L, L, L, L...}
Values : {L}

Name : u
Count  : 921
Group  : {u, u, u, u...}
Values : {u}

Name : X
Count  : 857
Group  : {X, X, X, X...}
Values : {X}

Name : H
Count  : 645
Group  : {H, H, H, H...}
Values : {H}

Name : F
Count  : 505
Group  : {F, F, F, F...}
Values : {F}

Name : S
Count  : 491
Group  : {S, S, S, S...}
Values : {S}

Name : G
Count  : 426
Group  : {G, G, G, G...}
Values : {G}

Name : B
Count  : 404
Group  : {B, B, B, B...}
Values : {B}

Name : C
Count  : 393
Group  : {C, C, C, C...}
Values : {C}

Name : Y
Count  : 388
Group  : {Y, Y, Y, Y...}
Values : {Y}

Name : D
Count  : 384
Group  : {D, D, D, D...}
Values : {D}

Name : O
Count  : 384
Group  : {O, O, O, O...}
Values : {O}

Name : M
Count  : 366
Group  : {M, M, M, M...}
Values : {M}

Name : T
Count  : 307
Group  : {T, T, T, T...}
Values : {T}

Name : K
Count  : 292
Group  : {K, K, K, K...}
Values : {K}

Name : J
Count  : 272
Group  : {J, J, J, J...}
Values : {J}

Name : P
Count  : 230
Group  : {P, P, P, P...}
Values : {P}

Name : R
Count  : 169
Group  : {R, R, R, R...}
Values : {R}

Name : N
Count  : 114
Group  : {N, N, N, N...}
Values : {N}

Name : I
Count  : 80
Group  : {I, I, I, I...}
Values : {I}

Name : V
Count  : 46
Group  : {V, V, V, V...}
Values : {V}

Name : U
Count  : 21
Group  : {U, U, U, U...}
Values : {U}

-----------------------------------------------------------
首先，我首次发的没注意到区分大小写，乌龙了，抱歉。但我立马改正了。

面向兑现也是可以处理字符串的，如"aaaa".length ,面向对象处理起来很方便，有特色，我认为比面向字符好。
至于性能，。net或许第一次慢，或许启动慢。没有其他问题。
至于具体性能，欢迎pk！占用内存多，我看更快，------参见去年的bat大赛统计目录那道题。
退一万步说，即使性能差点，用机子性能补写脚本简单，直观，功能强大，也值得。
你可以不喜欢没问题。我觉得好，你觉得坏，看你能打动我还是我能打动你，欢迎pk。
------------------------------------------------------
在 powershell中有个排序功能叫做sort-object，它的简写是sort，但并不说明powershell不能运行外部sort
你只要输入sort。exe即可。
powershell除了不能运行cmd的内置命令外，运行任何外部命令，和cmd无差别。
-----------------------------------------------------------------------------------
Microsoft .NET Framework 4.52
http://www.microsoft.com/zh-CN/download/details.aspx?id=42642

Microsoft .NET Framework 4.52 简体中文语言包
http://www.microsoft.com/zh-CN/download/details.aspx?id=42641

Windows Management Framework 4.0
http://www.microsoft.com/zh-CN/download/details.aspx?id=40855

win7-sp1，先安装第一行的。net4.52，然后安装第二行简体语言包，然后安装第三行 powershell4.0

脚本是写给人看的,是写给用户看的,而不是写给机子看的
用户能看懂、会修改的脚本,才是好脚本。
写易懂的powershell脚本帮人解决问题,进而让用户学会自渔,吾所愿也

Rank: 1

帖子: 55
积分: 74
技术: 0
捐助: 0
注册时间: 2014-5-14

27楼

发表于 2014-5-15 14:43 | 只看该作者

本帖最后由 nono84223860 于 2014-5-15 14:54 编辑

回复 30# PowerShell

谢谢大神这么耐心回复，处理一个70MB的TXT压力大吗。我希望将分析出的结果导出道另一个新的TXT，比如导出到 b.txt。

Rank: 1

帖子: 55
积分: 74
技术: 0
捐助: 0
注册时间: 2014-5-14

28楼

发表于 2014-5-15 14:50 | 只看该作者

回复 30# PowerShell

刚刚测试了，一个70MB的TXT无法处理，电脑都卡死机了。。。。。。。。。。。。。。

Rank: 1

帖子: 55
积分: 74
技术: 0
捐助: 0
注册时间: 2014-5-14

29楼

发表于 2014-5-15 14:52 | 只看该作者

回复 30# PowerShell

我私人发给你，你能帮我处理一下吗

terse

中将

Rank: 8 Rank: 8

帖子: 2339
积分: 9739
技术: 475
捐助: 0
注册时间: 2008-2-25

30楼

发表于 2014-5-15 15:14 | 只看该作者

回复 33# nono84223860
用P处理大文件还是比较吃力吧
不清楚 sort 为什么会把字母分成如这样 fffffffFFFFFFFFf 的形式
你可以用GAWK 处理估计效率可以提高点
另 JS 处理的对于大文件估计也比较吃力没测试

@if(0)==(0) echo off
CScript.exe //NoLogo //E:JScript "%~f0" <a.txt >b.txt
pause&goto:eof
@end
var arr = [];
while (!WScript.StdIn.AtEndOfStream){
    var str = WScript.StdIn.Readline();
    if (arr[str]){arr[str]++};
    else {arr[str] = 1};
}
var array = [];
for (var key in arr) array.push([key, arr[key]]);
array.sort(function(a, b){ return b[1] - a[1];});
for (var i = 0; i < array.length; i++) {
    WScript.Echo(array[i][0],array[i][1])
}
复制代码