依山居

你倒是真NB。

qq253040425

回复 18# 依山居


谢谢大神帮助，已搞定！虽然主体部分的逻辑完全看不懂！但是测试能用了！ 用百万级的.del文件测试过了，没啥问题的样子

import os
import time
import datetime

print (time.strftime("%Y-%m-%d %H:%M:%S %p", time.localtime()))
print ('Check start, remove the ok file ... ')

lst_last=datetime.date(datetime.date.today().year,datetime.date.today().month,1)-datetime.timedelta(1)
workdir='D:\\IMPDATA\\FTPFILE\\'+lst_last.strftime('%Y-%m-%d')+'\\cqcs\\817'
okfile=workdir+'\check.ok'

if os.path.exists(okfile):
    os.remove(okfile)

newtxt=[]
for dirpath,dirs,files in os.walk(workdir):
    
    for file in files:
        
        if os.path.splitext(file)[1] == '.del':
            
            vfname=os.path.join(dirpath,file)
            print ('Check file: ' + vfname)
            
            with open(vfname) as f:
                txt=f.readlines()
                txt=[r.rstrip() for r in txt]
                rn=len(txt)
                print("Rowscount:",rn)
                newtxt=[txt[r-1][:]+txt[r][:] if ( ('\"' not in txt[r][0]) )  else txt[r]  for r in range(rn) ]
                newtxt=[r+"\n" for r in newtxt if r.count('\"')%2==0]
                f.close()
                
            nfname= vfname+'_new'            
            with open(nfname,"w+") as f:
                f.writelines(newtxt)
                f.close()
                
            os.remove(vfname)
            os.rename(nfname,vfname)

print ('Check over, touch the ok file ...') 
with open(okfile,'w+') as f:
    f.writelines('')
    f.close()
print (time.strftime("%Y-%m-%d %H:%M:%S %p", time.localtime()))         
复制代码

依山居

回复 17# qq253040425


    自己学一学正则表达式式啦。sed 和fr都是支持正则找查替换的工具。

qq253040425

回复 15# 依山居

谢了~  可用~

遍历路径下所有的del文件我就自己百度好了~

qq253040425

回复 13# CrLf


不大可能出现错误的断行 - -

实际情况是 db2导出del文件，中间某个字段的某条记录中可能包含有换行符，然后就出现了我说的情况
本来应该在导出的时候，或者直接在数据库层面就能直接解决。但现在的实际情况是。。需要我们自己通过操作这个del文件来解决
0 0 蛋疼的不行

依山居

回复 12# qq253040425


    代码更新了。

依山居

回复 13# CrLf


    他给的例子也是真实文件，鬼知道他实际数据是怎么样的。

CrLf

楼主不考虑以 , 结尾的错误断行吗？

qq253040425

回复 10# 依山居


   最后一行的空行。。这个貌似没办法避免。。导出的文本数据文件都有这样的问题。。。可以在脚本里规避掉最后一行空行的问题吗

qq253040425

回复 10# 依山居


还真有 = = 。。莫名奇妙最后多了一行。。。

依山居

太烦了。
有空行？

qq253040425

回复 8# 依山居


Python 3.5.0 (v3.5.0:374f501f4567, Sep 13 2015, 02:27:37) [MSC v.1900 64 bit (AMD64)] on win32
Type "copyright", "credits" or "license()" for more information.
>>>
========================== RESTART: F:\BAT\tt\tt.py ==========================
Traceback (most recent call last):
  File "F:\BAT\tt\tt.py", line 11, in <module>
    newtxt=[txt[r][:]+txt[r+1][:] if ('\"' not in txt[r][-1]) else txt[r] for r in range(rn) ]
  File "F:\BAT\tt\tt.py", line 11, in <listcomp>
    newtxt=[txt[r][:]+txt[r+1][:] if ('\"' not in txt[r][-1]) else txt[r] for r in range(rn) ]
IndexError: string index out of range
>>>

依山居

"""
python把不以引号结尾的行与下一行连接
题目来源 http://www.bathome.net/thread-38164-1-1.html
依山居  13:13 2015/11/17
就是当是练习列表解析用法了
"""
newtxt=[]
with open("a.txt") as f:
    txt=f.readlines()
    txt=[r.rstrip() for r in txt]
    rn=len(txt)
    print("总行数:",rn)
    newtxt=[txt[r][:]+txt[r+1][:] if ('\"' not in txt[r][-1]) else txt[r] for r in range(rn) ]
    newtxt=[r+"\n" for r in newtxt if '\"' in r[0]]
    f.close()
    
with open("b.txt","w+") as f:
    f.writelines(newtxt)
    f.close()
复制代码

qq253040425

回复 4# 依山居


    思路是对的，然而  'fr' 不是内部或外部命令，也不是可运行的程序或批处理文件。

qq253040425

回复 3# WHY


第一段代码执行后a.txt并没有变
第二段。。没看懂~