[文本处理] 关于 文本编码的识别与输出(2016/2/3)

wskwfkbdn

Windows自带的记事本中常见的Utf-8 / Unicode / Ansi 几种编码，cmd控制台本身是可以显示 Unicode和Ansi/Gbk字符集，而Utf-8编码的文本就不支持了，type出来都是乱码，如果必要的话去处理文本内容，需要去Utf-8 -> Ansi才能够正常处理文本，于是乎，我就去研究了一阵编码与字符集的一些特征，终于实现了几种编码的识别，先来看看效果图吧！


原理：命令行自动识别出文本文件的编码，并转换ANSI字符输出，目前我暂时就实现这一功能，以后如果支持的人多了，也会考虑在这个一功能上面继续开发出  文本替换、编码转换、字符匹配 等基本功能。



点此下载 该文件

hlzj88

回复 1# wskwfkbdn
粉你，，请继续。

openye0521

非常好请继续

pcl_test

下载链接呢？

wskwfkbdn

回复 4# pcl_test
自用电脑维修中，图中的脚本是之前的，之后我再补上地址。

dimo

很好用。
某些情况下这种工具是必要的，例如另一个第三方html2txt虽然将html转换为txt时支持中文，但是输出的文件是utf8编码。想要批处理自动处理文本，必须有办法实现命令行编码转换。

hfxiang

回复 1# wskwfkbdn

执行如下指令做测试：

"D:\test\EnTextChange_Beta>@for /f %a in ('dir /b "文本编码查看*.txt"') do @echo;&@echo;"%~fa"&@EnTextChange -Text:"%~fa"COPY

结果如下：

"D:\test\EnTextChange_Beta\文本编码查看ANSI.txt"
使用方法：拖放任意文件到程序图标处即可。
 
"D:\test\EnTextChange_Beta\文本编码查看UTF-16_BE.txt"
?使用方法：拖放任意文件到程序图标处即可。
 
"D:\test\EnTextChange_Beta\文本编码查看UTF-16_LE.txt"
?使用方法：拖放任意文件到程序图标处即可。
 
"D:\test\EnTextChange_Beta\文本编码查看UTF-8.txt"
使用方法：拖放任意文件到程序图标处即可。
 
"D:\test\EnTextChange_Beta\文本编码查看UTF-8_BOM.txt"
?使用方法：拖放任意文件到程序图标处即可。
 
D:\test\EnTextChange_Beta>COPY

用记事本查看的结果全部为：

使用方法：拖放任意文件到程序图标处即可。COPY

但实际在上述输出结果中(5行)UTF-16 BE、(8行)UTF-16_LE、(14行)UTF-8_BOM会出现前导（？）问号