[问题求助] poweshell 合并不同编码文本

娜美

需要将不同编码文本合并，有ANSI  UTF8  带BOM UTF8   有UTF16LE  UTF16BE  Unix和dis格式的

文件夹下有很多文本，大概有3000个，将需要合并的1000多文件名称已经写进一个b.txt文本内了，只需要按b.txt内文件名先后顺序合并即可，防止文本前后行串接，在拼接处，需要留空一行。出来后的文本为ANSI编码，

合并过程中，如果产生识别不了文件名的或者没有此文件啥的原因。需要返回一个提示没有此文件的名称，失败名称存放在另一个文本中bug.txt

由于有不同编码文本，所以优先考虑用poweshell 来完成，代码最好是简单性能又快又准确又帅
谢谢各位poweshell大哥哥啦

基本模型构想

#@&cls&powershell "type %~s0|out-string|iex"&pause

$text = "b.txt"
$out = "all.tmp"
$FailName =bug.txt

#读取b.txt内名称顺序列表
Get-Content  $txt

# 合并
Get-Content $text.FullName | Add-Content $out

# 失败的文件名称
Get-Content $FailName
复制代码

例
1.txt
a
b
c

3.txt
d
e

2.txt
f
g


#  按b.txt 名单顺序先后次序合并,   名单长这样, 名称中文也有一些符号
1.txt
3.txt
2.txt


#  如果产生识别不了文件名的或者没有此文件啥的原因, 需写入报告
bug.txt
2.txt

#  将它们合并后样式
all.tmp
a
b
c

d
e

f
g

娜美

回复 38# aloha20200628


   噢，真晕呀，我竟然没注意到这个，可能试多了晕了吧。好了，追求得到完满结束，多谢大哥哥哈

aloha20200628

回复 37# 娜美

37楼代码第8行改为下行即可...

powershell " gc '%%~F' -readcount 1000 -enc 'unicode'|ac 'allinOne.txt' "
复制代码

娜美

回复 36# aloha20200628
大哥哥32楼那个可以了
大哥哥请看看  套进这个里面 似乎返回一些错误

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1-2 delims=-" %%a in (' uchardet.exe "%%~F" ') do (
		if /i "%%a" neq "unknown" (echo,	/// %%~F ///>>"allinOne.txt")
		if /i "%%a"=="utf" if "%%b"=="8" (
			powershell " gc '%%~F' -readcount 1000 -enc 'utf8'|ac 'allinOne.txt' "
		) else if /i "%%a"=="utf" if "%%b"=="16" (
			powershell " gc '%%~F' -readcount 1000 -enc 'utf16'|ac 'allinOne.txt' "
		) 
		if /i "%%a"=="ascii" (
			powershell " gc '%%~F' -readcount 1000 -enc 'ascii'|ac 'allinOne.txt' "
		) else if /i "%%a"=="gb18030" (
			powershell " gc '%%~F' -readcount 1000 -enc 'default'|ac 'allinOne.txt' "
		) else if /i "%%a"=="unknown" (
			echo,"unknown -- %%F"&echo,%%F>>"bug.txt"
		) 
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码

Get-Content : 无法绑定参数“Encoding”。无法将值“utf16”转换为类型“Microsoft.PowerShell.Commands.FileSystemCmdletProviderEncoding”。错误:“无法将标识符名称 utf16 与有效的枚举器名称相匹配。请指定以下枚举器名称之一，然后重试:
Unknown, String, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, UTF32, Ascii, Default, Oem, BigEndianUTF32”
所在位置 行:1 字符: 47
+  gc 'UTF16BE-UNIX编码.txt' -readcount 1000 -enc 'utf16'|ac 'allinOne.tx ...
+                                               ~~~~~~~
    + CategoryInfo          : InvalidArgument: (:) [Get-Content]，ParameterBindingException
    + FullyQualifiedErrorId : CannotConvertArgumentNoMessage,Microsoft.PowerShell.Commands.GetContentCommand
复制代码

aloha20200628

回复 35# 娜美

用以下5行代码替换32楼代码中的5-9行，再试吧...

		if /i "%%a"=="utf-8" (
			powershell " gc '%%~F' readcount 1000 -enc 'utf8'|ac 'allinOne.txt' "
		) else if /i "%%a"=="utf-16" (
			powershell " gc '%%~F' readcount 1000 -enc 'unicode'|ac 'allinOne.txt' "
		) else if /i "%%a"=="ansi" (powershell " gc '%%~F' readcount 1000|ac 'allinOne.txt' ")
复制代码

娜美

回复 34# aloha20200628

[io:file] 依靠内存模式
虽然也快  但抑制不了内存挤满问题




[io:file] 逐行读取模式   
速度4mb/s左右


速度30mb/s左右, 肯定是最快最佳方案,  但是代码套不进去
powershell "gc *.txt -readcount 1000 -enc:'default' | ac -enc:default 'all.tmp'"

另外more 也有些问题,要弃用, 大一点100mb文件会卡住不动

-- More (0%) --

aloha20200628

回复 33# 娜美

为何从[io:file]高效方法回退管道模式呢

娜美

回复 32# aloha20200628

有问题,  只合并了ANSI编码文本,  UTF8  UTF16编码文本一个都没有被合并进去
似乎是这2 powershell写法原因

powershell "$s=gc '%%~F' readcount 1000 -enc 'utf8';ac 'allinOne.txt' $s"
powershell "$s=gc '%%~F' readcount 1000 -enc 'unicode';ac 'allinOne.txt' $s"


似乎是读取变量文件和ac问题
$s=gc '%%~F' readcount 1000

aloha20200628

回复 31# 娜美

管道是效率大杀器尤其是对大数据，尽量不用...

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1 delims=_" %%a in (' coder.exe -s -a gc -f "%%~F" ') do (
		echo,	/// %%~F ///>>"allinOne.txt"
		if /i "%%a"=="utf-8" (
			powershell "$s=gc '%%~F' readcount 1000 -enc 'utf8';ac 'allinOne.txt' $s"
		) else if /i "%%a"=="utf-16" (
			powershell "$s=gc '%%~F' readcount 1000 -enc 'unicode';ac 'allinOne.txt' $s"
		) else if /i "%%a"=="ansi" (more "%%~F">>"allinOne.txt")
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码

娜美

回复 30# aloha20200628

powershell "gc *.txt -readcount 1000 -enc 'utf8'|ac 'all.tmp'"
复制代码

我套不进去,   脑壳不够用

aloha20200628

回复 29# 娜美

顺便提一句》有人实测过，设置 -readcount 1000 的效果极佳

powershell "gc *.txt -readcount 1000 -enc 'utf8'|ac 'all.tmp'"
复制代码

娜美

回复 28# aloha20200628


   大哥哥写了一个用gc的  单测它可以达到30mb/s


  返回错误,  我是不是变量没写好 ?  请帮看看

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1 delims=_" %%a in (' coder.exe -s -a gc -f "%%~F" ') do (
		echo,	/// %%~F ///>>"allinOne.txt"
		if /i "%%a"=="utf-8" (
			powershell "$a=gc -readcount 10000000 -enc:UTF8 "%%~F" | ac -enc:default all.tmp"
		) else if /i "%%a"=="utf-16" (
			powershell "$a=gc -readcount 10000000 -enc:UTF16 "%%~F" | ac -enc:default all.tmp"
		) else if /i "%%a"=="ansi" (
			powershell "$a=gc -readcount 10000000 -enc:default "%%~F" | ac -enc:default all.tmp"
		)
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码

aloha20200628

回复 27# 娜美

用你的各种实例测试比对，即可一目了然了 也许老东家对很容易拖后腿的 ‘逐行读取’ 给予了 ‘特别关照’...

娜美

回复 26# aloha20200628

powershell "$g=[text.encoding]::getEncoding('gb2312');$m=new-object io.streamWriter('allinOne.txt',$true,$g);foreach($l in [io.file]::readLines('%%~F',[text.encoding]::'utf8')){$m.writeLine($l)};$m.close()"
复制代码

poweshell 逐行读写速度是每秒 4Mb/s 左右。大哥哥 这是不是poweshell最快的写法了 ?

aloha20200628

回复 20# 娜美

‘一次性读写’ 改为 ‘逐行读写’ 方案》以便应付超大数据文件，不过还是采用了powershell中相当高效的[io.file]readLines/streamWriter
基于3楼代码改写如下，再试试吧...

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1-2 delims=-" %%a in (' uchardet.exe "%%~F" ') do (
		if /i "%%a" neq "unknown" (echo,	/// %%~F ///>>"allinOne.txt")
		if /i "%%a"=="utf" if "%%b"=="8" (
			powershell "$g=[text.encoding]::getEncoding('gb2312');$m=new-object io.streamWriter('allinOne.txt',$true,$g);foreach($l in [io.file]::readLines('%%~F',[text.encoding]::'utf8')){$m.writeLine($l)};$m.close()"
		) else if /i "%%a"=="utf" if "%%b"=="16" (
			powershell "$g=[text.encoding]::getEncoding('gb2312');$m=new-object io.streamWriter('allinOne.txt',$true,$g);foreach($l in [io.file]::readLines('%%~F',[text.encoding]::'unicode')){$m.writeLine($l)};$m.close()"
		) 
		if /i "%%a"=="ascii" (
			more "%%~F">>"allinOne.txt"
		) else if /i "%%a"=="gb18030" (
			more "%%~F">>"allinOne.txt"			
		) else if /i "%%a"=="unknown" (
			echo,"unknown -- %%F"&echo,%%F>>"bug.txt"
		) 
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码