aloha20200628

回复 9# 娜美

楼主随便看看有关‘文件编码识别’为何至今未有终解的网页论述即知其中一二了...
好吧再给一个简单版本，就用本坛可下载的coder.exe置换3楼代码中的uchardet.exe，因前者不排查非文本文件类型故可使3楼代码进一步简化...
有劳powershell用.net的[io.file]方法，把utf-8/utf-8+BOM‘兄弟俩’一锅烩了，把utf-16be/utf-16le‘兄弟俩’也一锅烩了，为码农省事了...

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1 delims=_" %%a in (' coder.exe -s -a gc -f "%%~F" ') do (
		echo,	/// %%~F ///>>"allinOne.txt"
		if /i "%%a"=="utf-8" (
			powershell "$s=[io.file]::readalllines('%%~F',[text.encoding]::utf8);[io.file]::appendalllines('allinOne.txt',$s,[text.encoding]::default)"
		) else if /i "%%a"=="utf-16" (
			powershell "$s=[io.file]::readalllines('%%~F',[text.encoding]::unicode);[io.file]::appendalllines('allinOne.txt',$s,[text.encoding]::default)"
		) else if /i "%%a"=="ansi" (more "%%~F">>"allinOne.txt")
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码

娜美

回复 3# aloha20200628


   aloha20200628 大哥哥,是不是似乎还可以做些优化 ?  uchardet.exe 它现在需要读完所有文本才能检测出编码, 这似乎要浪费这些没用的时间过程(因为要从头到尾读一遍)   

但是, 如果让它只读文本的前几行就能判断文本编码, 这是不是会更好 ?

娜美

O K 谢 谢  thanks

娜美

回复 6# czjt1234


   大哥哥, 小文本可以没有问题 , 结果倒是正确, 只是有点慢,。它似乎是读写进内存去处理, 如果是有稍大一点文件, 会使内存挤满, 如果挤满了内存等很久都没出结果

czjt1234

回复 4# 娜美


    运行结果反馈下，看看有没有问题

娜美

回复 3# aloha20200628


   大哥哥 thanks 如果用poweshell可以直接合并所有文本应该是最直接的, 不用管它们是什么编码。 不做所有文件编码判断,  如果用的poweshell合并应该也不会出啥问题  另外poweshell合并时还可以提高一下速度吗

娜美

谢谢2位大哥哥thanks

aloha20200628

回复 1# 娜美

        powershell确实为转换文件编码提供了.net资源中可靠而高效的方法，但未能直接提供准确率较高的文件编码‘推测’方法。目前已被业界广为采用的文件编码‘推测’方法是源自火狐(firefox)提供的开源代码（如python/c#/java等已均有成熟的接口），还可从有关网站下载其专门编译好的命令行实用工具。如果已经安装了python环境及其chardetect应用，即可直接在其安装主目录下找到...\Scripts\chardetect.exe，用其在命令行直接运行即可获取指定文本文件的编码‘推测’结果。另一个便捷方法是从网址》https://github.com/JetDemo/uchardet 下载源自火狐开源代码采用c++编译好的命令行实用工具 uchardet.exe。
        以下给出的批处理代码就是利用uchardet.exe的‘推测’结果，据此调用powershell的[io.file]方法，实现 utf-8/utf-8+BOM/utf-16le/utf-16be 到简中编码(gb2312)的高速转换，顺便修复了源文件中的unix换行符，生成最终结果文件allinOne.txt。代码中另外附加了文件名分隔标注行，如不需要可删除第4行。

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1-2 delims=-" %%a in (' uchardet.exe "%%~F" ') do (
		if /i "%%a" neq "unknown" (echo,	/// %%~F ///>>"allinOne.txt")
		if /i "%%a"=="utf" if "%%b"=="8" (
			powershell "$s=[io.file]::readalllines('%%~F',[text.encoding]::utf8);[io.file]::appendalllines('allinOne.txt',$s,[text.encoding]::default)"
		) else if /i "%%a"=="utf" if "%%b"=="16" (
			powershell "$s=[io.file]::readalllines('%%~F',[text.encoding]::unicode);[io.file]::appendalllines('allinOne.txt',$s,[text.encoding]::default)"
		) 
		if /i "%%a"=="ascii" (
			more "%%~F">>"allinOne.txt"
		) else if /i "%%a"=="gb18030" (
			more "%%~F">>"allinOne.txt"			
		) else if /i "%%a"=="unknown" (
			echo,"unknown -- %%F"&echo,%%F>>"bug.txt"
		) 
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码

czjt1234

powershell不熟悉，vbs来一个

Const b_txt    = "b.txt"
Const out_text = "all.tmp"
Const FailName = "bug.txt"

Set oFSO = CreateObject("Scripting.FileSystemObject")
Set oTextStream1 = oFSO.OpenTextFile(out_text, 2, True)
Set oTextStream2 = oFSO.OpenTextFile(FailName, 2, True)

Set oStream = CreateObject("ADODB.Stream")
oStream.Type = 2    'adTypeText
oStream.Mode = 3    'adModeReadWrite
oStream.Charset = "GBK"
oStream.Open()
oStream.LoadFromFile b_txt
arr = Split(oStream.ReadText(), vbCrLf)
oStream.Close()

For Each i In arr
    If oFSO.FileExists(i) Then
        oStream.Charset = checkCharset(i)
        oStream.Open()
        oStream.LoadFromFile i
        s = oStream.ReadText()
        oStream.Close()
        s = RePlace(s, vbCrLf, vbCr)
        s = RePlace(s, vbLf, vbCr)
        s = RePlace(s, vbCr, vbCrLf)
        oTextStream1.WriteLine s & vbCrLf
    Else
        oTextStream2.WriteLine i
    End If
Next

MsgBox "ok"

Function checkCharset(ByVal file)
    Dim oStream, oRegExp, arr(), s
    Set oStream = CreateObject("ADODB.Stream")
    oStream.Type = 1    'adTypeBinary
    oStream.Mode = 3    'adModeReadWrite
    oStream.Open()
    oStream.LoadFromFile file
    If oStream.Size >= 2 Then
        s = Hex(AscB(oStream.Read(1)))
        s = s & Hex(AscB(oStream.Read(1)))
        If s = "FFFE" Or s = "FEFF" Then
            checkCharset = "Unicode"
            Exit Function
        End If
    End If
    oStream.Position = 0
    ReDim arr(oStream.Size - 1)
    For s = 0 To oStream.Size - 1
        arr(s) = ChrW(AscB(oStream.Read(1)))
    Next
    oStream.Close()
    s = "[\xC0-\xDF]([^\x80-\xBF]|$)"        & _
        "|[\xE0-\xEF].{0,1}([^\x80-\xBF]|$)" & _
        "|[\xF0-\xF7].{0,2}([^\x80-\xBF]|$)" & _
        "|[\xF8-\xFB].{0,3}([^\x80-\xBF]|$)" & _
        "|[\xFC-\xFD].{0,4}([^\x80-\xBF]|$)" & _
        "|[\xFE-\xFE].{0,5}([^\x80-\xBF]|$)" & _
        "|[\x00-\x7F][\x80-\xBF]"            & _
        "|[\xC0-\xDF].[\x80-\xBF]"           & _
        "|[\xE0-\xEF]..[\x80-\xBF]"          & _
        "|[\xF0-\xF7]...[\x80-\xBF]"         & _
        "|[\xF8-\xFB]....[\x80-\xBF]"        & _
        "|[\xFC-\xFD].....[\x80-\xBF]"       & _
        "|[\xFE-\xFE]......[\x80-\xBF]"      & _
        "|^[\x80-\xBF]"
    Set oRegExp = New RegExp
    oRegExp.MultiLine = False
    oRegExp.Pattern = s
    checkCharset = "GBK"
    If Not oRegExp.Test(Join(arr, "")) Then checkCharset = "UTF-8"
End Function
复制代码