[文本处理] 【已解决】批处理如何根据指定字符匹配CSV一列数据的该行数据

w31575801

如题，现有一个CSV文件太大，给了一些SN码，SN码对应都在CSV文件中的O列，需要找出这些码所对应的该行数据，提取出来求大神指点

qixiaobin0715

csv中带双引号的字段应该是整个字段加引号且本身存在引号的地方加上两个双引号。要表达12"ab"45，应当写成"12""ab""45"

netdzb

回复 25# qixiaobin0715

他的问题我都没有看懂。能否简化一下他的问题，比如减少字段数量。
示范文本所达到的效果。

WHY

回复 29# qixiaobin0715


    严重同意，具体问题具体分析。

qixiaobin0715

回复 28# WHY
确实有点欠考虑，是会有很大漏洞，并且可能出现的概率也不小。但文本的复杂性太多，有时正则也会失效。
比如这样的字符串：abcd,"a,bcd","a,b"cd,"a,b""c,d","a,b"e"d,e",a"b,c"d
所以写代码时还是要根据文本的实际情况处理。

WHY

回复 27# qixiaobin0715


    set "s=a,b,,,c"
用delims=,分割的话，c位于第3列。实际上，在csv文件中，c位于第5列。

如果csv文件是这样的：
a,b,,,"c,d"
第5列变成 "c,d"，纯批和 gawk 都会挂掉。
这样就需要正则匹配了：

^(?:"(?>[^"]+|"")*",|[^",]*,){14}("(?>[^"]+|"")*"|[^",]*)
复制代码

当然仅适合标准的 Microsoft CSV 文档。

qixiaobin0715

回复 1# w31575801
按照25楼的思路，用3个for循环（实际是2个，第3个是为了只显示含有sn码的列，in里面只是一行字符串），不用效率较低的findstr。不知能否提高速度：

@echo off
setlocal enabledelayedexpansion
(for /f "delims=" %%a in (SN.txt) do (
    for /f "delims=" %%b in (需要提取的LOG.csv) do (
        for /f "tokens=15 delims=," %%c in ("%%b") do (
        set "str=%%c"
        set "str=!str:%%a=!"
        if not "!str!"=="%%c" echo %%b
        )
    )
))>结果.csv
pause
复制代码

netdzb

回复 24# 路过

我们想看代码是如何写的"?"

qixiaobin0715

有个思路不知可行不：
由于源文件一行内容太长，可将sn码与源文件中含有sn码的列（可用tokens=15提取）比对，这样可以屏蔽无关的字符。如果某行含有特定的sn码，获得行号。得到所有符合条件的行号后，再按得到的行号提取行。

路过

1一次取5600行到内存，开5个工作线程，每个线程用KMP算法搜索18307个SN码，输出含有SN码的行号；
2.等所有线程工作完了，主线程打印出行号对应的完整行>>result.csv
3.重复步骤12一百次直到log文件被搜完

Gin_Q

560000 * 91535 = 51259600000
读取一行log文件，再去 sn 里面查找匹配
不知道大家有没有更优的方法

启用多线程分块匹配应该可以优化很多

netdzb

回复 21# xczxczxcz

这么厉害，运行速度超快啊。

xczxczxcz

win10 可以写个，其它免麻烦

w31575801

回复 18# Batcher


    SN.TXT 一共91535个SN码 即91535行
需要查找的Log 共560000个 12GB

我是分一点点找 120MB 查找的话需要3小时左右 gawk我还没尝试  因为上夜班刚回家数据在公司

w31575801

回复 18# Batcher


    附件太大 上传不了