[文本处理] 请老师抽空帮写一个批处理文本合并去重复（已解答，谢谢各位老师的帮助！）

PCL0769

01文件夹内有以下文本
1.txt
2.txt
3.txt
4.txt
......
N.txt
02文件夹内有以下文本
1.txt
2.txt
3.txt
4.txt
......
N.txt
03文件夹内有以下文本
1.txt
2.txt
3.txt
4.txt
......
N.txt
04文件夹内有以下文本
1.txt
2.txt
3.txt
4.txt
......
N.txt

05文件夹内有以下文本
........
有N个文件夹
请帮忙写一个将以上N个文件夹中的N个同名的文本合并然后生成一个新的文件夹，文件夹中同样生成合并后同名的文本
合并文件夹内有以下文本
1.txt
2.txt
3.txt
4.txt
......
N.txt

以下是原文档中的小部分格式内容，需要在合并后新生成的文本中去除不完整的行，去重复和去特定行的语句，谢谢！
SZ300951        20210226        4727036
SZ300999        20210226        -201125534
SZ301000       20210（原文本中少部分会有这种不完整的行，在合并后新生成的文本中将不完整的行去除）
SZ300          （原文本中少部分会有这种不完整的行，在合并后新生成的文本中将不完整的行去除）
SZ138811-QQ84299        20210226        0 （原文本中少部分会有此行，20210226 原文本中是按日期的一个变量，现需在新合并后生成的文本中将此行去除）

合并时能不能将记事本中的字符替换，替换条件如下：
SH替换成1|
SZ替换成0|   
SZ300951        20210226之间的空格替换成|   
20210226        4727036之间的空格替换成|

合并后的最终文本内容格式：
0|000001|20210104|45971388
1|600004|20210104|22269128

另：
以下是完整的两行。
SZ300951        20210226        4727036
SZ300999        20210226        -201125534

以下是不完整的两行，如果不好写就忽略此条件也行
SZ301000       20210
或者
SZ300   

以下是多余无用的行，此行内容不需要     （20210226 是按日期变化的变量）
SZ138811-QQ84299        20210226       0

不完整的行是原记事本偶尔某几个记事本中才会出现，不是所有的都会出现。
生成新的合并记事本时将这些不完整的去除，不完整的行不生成到这个新的合并记事本中。

请老师抽空帮写一个批处理，谢谢!

newswan

不完整的行，只有 1 列 2 列？ 还是 列中 数据不完整？

PCL0769

回复 2# newswan
老师好！
SZ300951        20210226        4727036
SZ300999        20210226        -201125534
以上是完整的两行。

以下是不完整的两行，如果不好写就忽略此条件也行
SZ301000       20210
或者
SZ300   

以下是多余无用的行，此行内容不需要     （20210226 是按日期变化的变量）
SZ138811-QQ84299        20210226       0

不完整的行是原记事本偶尔某几个记事本中才会出现，不是所有的都会出现。
生成新的合并记事本时将这些不完整的去除，不完整的行不生成到这个新的合并记事本中

newswan

用了第三方命令 sed

@echo off
setlocal ENABLEDELAYEDEXPANSION

set sour=aaa
set dest=bbb
del %dest%\*.txt

set exclude=20210226

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%sour%\*.txt"`) do (
    sed -r -n -e "/\w+\s+\w+\s+\w+/p" -e "/%exclude%/d" "%%~fa">> "%dest%\%%~na.txt"
)

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%dest%\*.txt"`) do (
    set _file_=%%~fa
    for /f "usebackq tokens=* delims=" %%a in ("%_file_%") do (
        set __%%a=%%a
    )
    
    (
        for /f "usebackq tokens=2 delims==" %%a in (`set __`) do (
            echo %%a
        )
    ) > "%_file_%"
    rem notepad"%_file_%"
)
复制代码

newswan

findstr 支持正则太差，所以用了sed

PCL0769

回复 4# newswan
老师好！
是BAT吗？双击后只是闪了一下，没运行。

newswan

回复 6# PCL0769


可能 没有 sed
论坛里下载一个，放到 c:\windows
http://www.bathome.net/thread-36408-1-1.html

PCL0769

回复 7# newswan
老师好！
看到链接了，
正式版 - http://www.bathome.net/s/tool/index.html
测试版 - http://bcn.bathome.net/s/tool/index.html
是下载其中任一一个都行吗？谢谢老师！
没找到sed下载，都是SED应用方面的，因为级别不够一小时只能跟5帖

还是闪退，没运行

newswan

回复 8# PCL0769


    http://bcn.bathome.net/tool/4.8/sed.exe

newswan

我测试正确的，你自己调试一下

set sour=aaa    源路径
set dest=bbb    目的路径

set exclude=20210226   排除列表

PCL0769

回复 11# newswan
找不到 C:\*.txt
文件名、目录名或卷标语法不正确。

@echo off
setlocal ENABLEDELAYEDEXPANSION

set sour=C:\Users\Administrator\Desktop\15单\新建文件夹
set dest=C:\Users\Administrator\Desktop\15单\新建文件夹2

del %dest%\*.txt

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%sour%\*.txt"`) do (
    sed -r -n -e "/\w+\s+\w+\s+\w+/p" -e "/%exclude%/d" "%%~fa">> "%dest%\%%~na.txt"
)

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%dest%\*.txt"`) do (
    set _file_=%%~fa
    for /f "usebackq tokens=* delims=" %%a in ("%_file_%") do (
        set __%%a=%%a
    )
   
    (
        for /f "usebackq tokens=2 delims==" %%a in (`set __`) do (
            echo %%a
        )
    ) > "%_file_%"
    notepad "%_file_%"
)

newswan

@echo off
setlocal ENABLEDELAYEDEXPANSION

set sour=C:\Users\admin\Desktop\New folder (2)\aaa
set dest=C:\Users\admin\Desktop\New folder (2)\bbb
set exclude=20210226

del "%dest%\*.txt"

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%sour%\*.txt"`) do (
    sed -r -n -e "/\w+\s+\w+\s+\w+/p" -e "/%exclude%/d" "%%~fa">> "%dest%\%%~na.txt"
)

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%dest%\*.txt"`) do (
    for /f "usebackq tokens=* delims=" %%a in ("%%~fa") do (
        set __%%a=%%a
    )
    
    (
        for /f "usebackq tokens=2 delims==" %%a in (`set __`) do (
            echo %%a
        )
    ) > "%%~fa"
    notepad.exe "%%~fa"
)
复制代码

newswan

powershell 好一些

$sour = "aaa"
$dest = "bbb"
$exclude = "20210227"

Remove-Item $dest\*.txt

Get-ChildItem -path $sour *.txt -Recurse | foreach-object {
    ( get-content $_.fullname ) -match "\w+\s+\w+\s+[-]?\w+" -notmatch $exclude | out-file -append $dest\$_
}

Get-ChildItem -path $dest *.txt | foreach-object {
    $a = get-content $_.fullname | sort-object -unique
    $a | out-file $dest\$_
    notepad.exe $dest\$_
}
复制代码

newswan

目录是这样的

├───aaa
│   ├───01
│   └───02
└───bbb
复制代码

刚才 网站 拒绝登陆

qixiaobin0715

探讨关于在for循环中使用set name几个问题。
我也在关注如何解决此帖中问题，基本想法和你类似。其中有几个问题未考虑成熟：
1.当没有变量引导符时，比如set __，可以显示所有以__开头的变量，并以通常顺序显示；
2.当循环设置变量，并使用这些变量处理完成后，再次循环设置变量时，前面设置的变量并不会自动消失，还会存在，直到将它们设置为空值或是退出cmd后。
所以，使用set name来处理帖子中的问题时，如果没有顺序要求应当可行。并且要考虑在下次循环前清空前面的变量值。
我自己未想到解决的办法。