娜美

回复 30# aloha20200628

powershell "gc *.txt -readcount 1000 -enc 'utf8'|ac 'all.tmp'"
复制代码

我套不进去,   脑壳不够用

aloha20200628

回复 31# 娜美

管道是效率大杀器尤其是对大数据，尽量不用...

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1 delims=_" %%a in (' coder.exe -s -a gc -f "%%~F" ') do (
		echo,	/// %%~F ///>>"allinOne.txt"
		if /i "%%a"=="utf-8" (
			powershell "$s=gc '%%~F' readcount 1000 -enc 'utf8';ac 'allinOne.txt' $s"
		) else if /i "%%a"=="utf-16" (
			powershell "$s=gc '%%~F' readcount 1000 -enc 'unicode';ac 'allinOne.txt' $s"
		) else if /i "%%a"=="ansi" (more "%%~F">>"allinOne.txt")
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码

娜美

回复 32# aloha20200628

有问题,  只合并了ANSI编码文本,  UTF8  UTF16编码文本一个都没有被合并进去
似乎是这2 powershell写法原因

powershell "$s=gc '%%~F' readcount 1000 -enc 'utf8';ac 'allinOne.txt' $s"
powershell "$s=gc '%%~F' readcount 1000 -enc 'unicode';ac 'allinOne.txt' $s"


似乎是读取变量文件和ac问题
$s=gc '%%~F' readcount 1000

aloha20200628

回复 33# 娜美

为何从[io:file]高效方法回退管道模式呢

娜美

回复 34# aloha20200628

[io:file] 依靠内存模式
虽然也快  但抑制不了内存挤满问题




[io:file] 逐行读取模式   
速度4mb/s左右


速度30mb/s左右, 肯定是最快最佳方案,  但是代码套不进去
powershell "gc *.txt -readcount 1000 -enc:'default' | ac -enc:default 'all.tmp'"

另外more 也有些问题,要弃用, 大一点100mb文件会卡住不动

-- More (0%) --

aloha20200628

回复 35# 娜美

用以下5行代码替换32楼代码中的5-9行，再试吧...

		if /i "%%a"=="utf-8" (
			powershell " gc '%%~F' readcount 1000 -enc 'utf8'|ac 'allinOne.txt' "
		) else if /i "%%a"=="utf-16" (
			powershell " gc '%%~F' readcount 1000 -enc 'unicode'|ac 'allinOne.txt' "
		) else if /i "%%a"=="ansi" (powershell " gc '%%~F' readcount 1000|ac 'allinOne.txt' ")
复制代码

娜美

回复 36# aloha20200628
大哥哥32楼那个可以了
大哥哥请看看  套进这个里面 似乎返回一些错误

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1-2 delims=-" %%a in (' uchardet.exe "%%~F" ') do (
		if /i "%%a" neq "unknown" (echo,	/// %%~F ///>>"allinOne.txt")
		if /i "%%a"=="utf" if "%%b"=="8" (
			powershell " gc '%%~F' -readcount 1000 -enc 'utf8'|ac 'allinOne.txt' "
		) else if /i "%%a"=="utf" if "%%b"=="16" (
			powershell " gc '%%~F' -readcount 1000 -enc 'utf16'|ac 'allinOne.txt' "
		) 
		if /i "%%a"=="ascii" (
			powershell " gc '%%~F' -readcount 1000 -enc 'ascii'|ac 'allinOne.txt' "
		) else if /i "%%a"=="gb18030" (
			powershell " gc '%%~F' -readcount 1000 -enc 'default'|ac 'allinOne.txt' "
		) else if /i "%%a"=="unknown" (
			echo,"unknown -- %%F"&echo,%%F>>"bug.txt"
		) 
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码

Get-Content : 无法绑定参数“Encoding”。无法将值“utf16”转换为类型“Microsoft.PowerShell.Commands.FileSystemCmdletProviderEncoding”。错误:“无法将标识符名称 utf16 与有效的枚举器名称相匹配。请指定以下枚举器名称之一，然后重试:
Unknown, String, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, UTF32, Ascii, Default, Oem, BigEndianUTF32”
所在位置 行:1 字符: 47
+  gc 'UTF16BE-UNIX编码.txt' -readcount 1000 -enc 'utf16'|ac 'allinOne.tx ...
+                                               ~~~~~~~
    + CategoryInfo          : InvalidArgument: (:) [Get-Content]，ParameterBindingException
    + FullyQualifiedErrorId : CannotConvertArgumentNoMessage,Microsoft.PowerShell.Commands.GetContentCommand
复制代码

aloha20200628

回复 37# 娜美

37楼代码第8行改为下行即可...

powershell " gc '%%~F' -readcount 1000 -enc 'unicode'|ac 'allinOne.txt' "
复制代码

娜美

回复 38# aloha20200628


   噢，真晕呀，我竟然没注意到这个，可能试多了晕了吧。好了，追求得到完满结束，多谢大哥哥哈