依山居

回复 61# qq253040425


    更新了。你拿来测试1.7G的文件看看需要多久。给我贴下时间。我也想知道处理这种极别的数据需要多久。

CrLf

回复 62# qq253040425


    通过计算 " 个数，来判断是否在引号内，只包含奇数个 " 时一直读取下一行直到闭合，然后接为一行输出

qq253040425

回复 60# CrLf


     - - 这段代码我完全懵圈了...看不懂，也不知道怎么改  

qq253040425

回复 44# CrLf

44L的代码

源：
"1","12","
123","","201
5-10-31",
"1","1
2","12
3","","",

这种情况也能处理成
"1","12","123","","2015-10-31",
"1","12","123","","",

到底怎么做到的 - -

qq253040425

回复 57# 依山居

还有种情况，一行多个换行符

源：
"1","1
2","123","","201
5-10-31",
"1","1
2","12
3","","",

输出：
"1","1","123","","201-10-31",
"1","1","12","","",

CrLf

回复 55# qq253040425


    整个文件太大，那就逐行处理，换个思路，通过计算有几个 " 号来判断是否在引号内，JS 部分修改如下：

var flag = false
var arr = []

ReadNextLine: while(!WSH.StdIn.AtEndOfStream){
   var line = WSH.StdIn.ReadLine()
   arr.push(line)

   line.replace(/"/g,function(){flag=!flag})
   if(flag&&!WSH.StdIn.AtEndOfStream) continue ReadNextLine

   WSH.Echo(arr.join(''))
   arr = []
}
复制代码

qq253040425

回复 57# 依山居

源文件
"1","12","123","","
2015-10-31",
"1","12","123","","",
输出的文件
"1","12","123","",015-10-31",
"1","12","123","","",

wrong~

qq253040425

回复 56# 依山居


    我本机是64位+8G的内存  要处理的文本文件，目前来看 没有超过2G的...

    python没有出现过因为文件太大报错的事，现在是BAT+JS出现

依山居

我也上个正则表达式的版本。
考虑了可能有三种换行符号组合问题。

"""
python正则处理DEL文件换行问题
http://www.bathome.net/thread-38164-1-1.html
依山居 20:38 2015/11/18
参考了网上的资料，python 读取文件默认使用通用模式，不管\r\n都会被转换成\n
所以正则可以简化(\n)，预计可以小幅提高处理速度
"""
import re
import time
start=time.time()

of="a.txt"
rec=re.compile('(\"?)(\n)([^\"])')
with open(of) as f:
    txt=f.read()
    res=re.sub(rec,r'\1\3',txt)
    f.close()

with open("out.txt","w+") as f:
    f.write(res)
    f.close()

end=time.time()
pt=end-start
print("运行耗时：",pt)
try:
    input("按回车退出")
except SyntaxError:
    pass
复制代码

依山居

回复 55# qq253040425


    你的机器可用内存是多少。需要处理的文件最大到多少G？
如果有条件当然是推荐你上64位，有大内存的电脑处理。

qq253040425

回复 44# CrLf

1>1/* :
@echo off
set foldername=F:\BAT\tt
for /f "delims=\" %%a in ('dir /b /a-d /o-d "%foldername%\*.del"') do (  
cscript -nologo -e:jscript "%~0" <%%a >b.del
rm %%a
move b.del %%a
)
*/
WSH.Echo(
   WSH.StdIn.ReadAll().replace(
      /"[^"]*"/g,
      function($0){
         return $0.replace(/\r?\n/g,'')
      }
   )
)
复制代码

处理指定文件夹下的所有del文件~    报告  216M的文件没问题，1.7G的文件报错了~

qq253040425

回复 53# 依山居

python有一种情况没处理的了，看1L~

依山居

回复 52# qq253040425


    总之NB。

qq253040425

回复 51# 依山居

我能说我是昨天才知道有python吗 - -

依山居

回复 50# qq253040425


    你也是会python的啊，没学过正则表达式吗