[文件操作] [分享]批处理把UTF-8(有BOM或无BOM)编码文件转换成ANSI编码

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

1楼 跳转到 » 倒序看帖

打印

字体大小: tT

发表于 2023-11-9 23:18 | 只看该作者

[文件操作] [分享]批处理把UTF-8(有BOM或无BOM)编码文件转换成ANSI编码

【问题描述】

C:\Test\U2A 文件夹下有多个txt文件，假设文本内容都是：

bbs.bathome.net
批处理之家论坛
www.bathome.net
复制代码

有一部分txt文件是ANSI编码。
有一部分txt文件是UTF-8编码。
有一部分txt文件是带有BOM的UTF-8编码。
要求全部转换成ANSI编码。

我帮忙写的代码不需要付钱。如果一定要给，请在微信群或QQ群发给大家吧。
【微信公众号、微信群、QQ群】http://bbs.bathome.net/thread-3473-1-1.html
【支持批处理之家，加入VIP会员！】http://bbs.bathome.net/thread-67716-1-1.html

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

2楼

发表于 2023-11-9 23:19 | 只看该作者

【解决方案】

以下代码以ANSI编码保存为 Run.bat 放在 C:\Test\U2A 文件夹下：

@echo off
cd /d "%~dp0"
set "FolderStageU=TempUTF8BOM"
set "FolderOutA=FinalANSI"
md "%FolderStageU%" 2>nul
md "%FolderOutA%" 2>nul
for /f "delims=" %%a in ('dir /b /a-d *.txt') do (
    echo %%a
    for /f "delims=" %%b in ('powershell -f CheckCode.ps1 "%%a"') do (
        if "%%b" == "UTF-8BOM" (
            powershell "[IO.File]::WriteAllLines('%FolderStageU%\%%a',(Get-Content '%%a' -Raw))"
            iconv.exe -f UTF-8 -t GB2312 "%FolderStageU%\%%a" > "%FolderOutA%\%%a" 2>nul
        ) else (
            iconv.exe -f UTF-8 -t GB2312 "%%a" > "%FolderOutA%\%%a" 2>nul
            if errorlevel 1 (
                iconv.exe -t GB2312 "%%a" > "%FolderOutA%\%%a"
            )
        )
    )
)
复制代码

以下代码以ANSI编码保存为 CheckCode.ps1 放在 C:\Test\U2A 文件夹下：

function Get-FileEncoding {
    [CmdletBinding()]
    param (
        [Parameter(Mandatory = $true)]
        [ValidateScript({ Test-Path $_ })]
        [string]$Path
    )
    $byte = Get-Content -Encoding Byte -ReadCount 2 -TotalCount 2 -Path $Path
    if ($byte[0] -eq 0xEF -and $byte[1] -eq 0xBB) {
        return 'UTF-8BOM'
    } elseif ([System.Text.Encoding]::UTF8.GetString($byte) -match '[^\x00-\x7F]') {
        return 'UTF-8'
    } else {
        return 'ANSI'
    }
}
$StrEncode = Get-FileEncoding -Path $Args[0]
Write-Host "$StrEncode"
复制代码

下载命令行工具 iconv.exe 放在 C:\Test\U2A 文件夹下：
http://bcn.bathome.net/s/tool/index.html?key=iconv

执行 Run.bat 脚本即可。

Five66

上尉

Rank: 5 Rank: 5

帖子: 835
积分: 1160
技术: 114
捐助: 0
注册时间: 2021-8-26

3楼

发表于 2023-11-10 09:37 | 只看该作者

啊这,都用上ps了,竟然还调第三方

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

4楼

发表于 2023-11-10 09:49 | 只看该作者

回复 3# Five66

能否把你使用PowerShell脚本完成相同功能的完整代码发出来给大家学习一下？

hnfeng

Rank: 4

帖子: 244
积分: 305
技术: 7
捐助: 0
注册时间: 2012-4-21

5楼

发表于 2023-11-10 10:13 | 只看该作者

本帖最后由 hnfeng 于 2023-11-10 10:22 编辑

谢谢分享

但是测试后有个问题：UTF-8_BOM 文件转换后，文件为空，打开后看到文件格式仍然是UTF-8_BOM（为两个字节--当文件内容第一个字符是英文字符时；或4个字节--当文件内容第一个字符是中文字符时）
原本就是ANSI或无BOM的UTF-8文件转换正常

Rank: 12

帖子: 14935
积分: 46142
技术: 857
捐助: 745
注册时间: 2008-6-9

6楼

发表于 2023-11-10 10:23 | 只看该作者

回复 5# hnfeng

请把遇到问题的UTF-8_BOM文件上传到网盘，我试试。

hnfeng

Rank: 4

帖子: 244
积分: 305
技术: 7
捐助: 0
注册时间: 2012-4-21

7楼

发表于 2023-11-10 14:00 | 只看该作者

回复 6# Batcher

链接：https://pan.baidu.com/s/12IYnQV253r619jymjcGNiQ?pwd=1234

hnfeng

Rank: 4

帖子: 244
积分: 305
技术: 7
捐助: 0
注册时间: 2012-4-21

8楼

发表于 2023-11-10 14:02 | 只看该作者

啊这,都用上ps了,竟然还调第三方
Five66 发表于 2023-11-10 09:37

我觉得有时候使用第三方更简单方便

pd1

Rank: 4

帖子: 217
积分: 311
技术: 27
捐助: 0
注册时间: 2019-5-14

9楼

发表于 2023-11-10 14:44 | 只看该作者

回复 8# hnfeng

只是需要下载。建议在第三方文件比较小的时候直接用certutil或者其他方式把文件写到代码里，然后运行的时候直接生成这个第三方程序

pd1

Rank: 4

帖子: 217
积分: 311
技术: 27
捐助: 0
注册时间: 2019-5-14

10楼

发表于 2023-11-10 14:46 | 只看该作者

回复 3# Five66

win11试了下，怎么也不行。和gpt还交流了几十个回合，最后的结论是系统默认编码是utf8，让我改注册表。
我让他用c#写，没成功

buyiyang

中尉

Rank: 5 Rank: 5

帖子: 427
积分: 803
技术: 119
捐助: 0
注册时间: 2022-3-26

11楼

发表于 2023-11-10 16:38 | 只看该作者

iconv.exe好像无法识别bom头，我记得went写过一个编解码工具coder.exe，可以自动识别原文件编码

md ansitxt
for %%i in (*.txt) do coder -c auto ansi -f "%%i">"ansitxt\%%i"
复制代码

pd1

Rank: 4

帖子: 217
积分: 311
技术: 27
捐助: 0
注册时间: 2019-5-14

12楼

发表于 2023-11-10 17:35 | 只看该作者

回复 11# buyiyang

win11 Microsoft Windows [版本 10.0.22621.1992]
一样的转完还是utf8

buyiyang

中尉

Rank: 5 Rank: 5

帖子: 427
积分: 803
技术: 119
捐助: 0
注册时间: 2022-3-26

13楼

发表于 2023-11-10 18:31 | 只看该作者

回复 12# pd1

我用win11试了是正常的。你的文本中有中文吗？没有的话记事本可能无法识别是utf8还是ansi

pd1

Rank: 4

帖子: 217
积分: 311
技术: 27
捐助: 0
注册时间: 2019-5-14

14楼

发表于 2023-11-10 18:36 | 只看该作者

本帖最后由 pd1 于 2023-11-10 18:38 编辑

回复 13# buyiyang

我用notepad2看的，确实是没有中文，加了个中文可以

pd1

Rank: 4

帖子: 217
积分: 311
技术: 27
捐助: 0
注册时间: 2019-5-14

15楼

发表于 2023-11-10 18:44 | 只看该作者

回复 13# buyiyang

如果有中文的话，下面这2个可以转

gc ".\11.txt" -Encoding utf8|sc -Path 22.txt -Encoding Default
复制代码

gc ".\11.txt" -Encoding utf8|sc -Path 22.txt -Encoding String
复制代码