[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖

[文本处理] 大数据文本替换哪个工具的效率高?

本帖最后由 wjx515 于 2014-3-17 15:03 编辑

求问,大数据文本替换哪个工具的效率高? 文本数据有10g左右,想把其中的aaaa替换成bbbb,sed和awk哪个命令的效率比较高?还有效率更高的命令吗?
文本缩了还有将近1G大小,就不上传了,可以生成个大文本测试下
  1. @echo off
  2. echo,TEST TEST  TEST  TEST  TEST  TEST  REPLACE>test.txt
  3. for /l %%a in (1 1 40)do type test.txt >>test.txt&for %%z in (test.txt)do title %%a:  %%~zz byte
  4. pause
复制代码
试了下sed和awk,都不太快,看来还是文件太大了。

  1. sed "s/aaaa/bbbb/g" a.txt > b.txt
复制代码

TOP

  1. gawk "gsub(/aaaa/,\"bbbb\")" a.txt > b.txt
复制代码

TOP

这实际上是个,软件pk的问题,我最喜欢这个了。
请把你的文本,用7-zip +lama2 压缩了,传上网盘。
搜索和替换的内容也请贴出来,我们好找软件pk呀。
脚本是写给人看的,是写给用户看的,而不是写给机子看的
用户能看懂、会修改的脚本,才是好脚本。
写易懂的powershell脚本帮人解决问题,进而让用户学会自渔,吾所愿也

TOP

返回列表