读取文本出现 锘 * 系列乱码错误(UTF-8 BOM问题)的原因及解决方法

作者: admin 分类: C++ 发布时间: 2022-03-27 22:13

现象

读取文本时经常会出现锘*系列错误。

例1:锘縣,其实开头的文本是h,http被显示为锘縣ttp

例2:锘缝,其实开头的文本是p,public被显示为锘缝ulic

只要文本的首字母为锘的都属于这类错误,在Python、Java、PHP等等使用过程中都会遇到,这类错误与语言无关,错误的原因是UTF-8的BOM。

原因

BOM即Byte Order Mark,是UTF-8文档的Unicode签名,即EF BB BF这三个字节,当把文件编码选为UTF-8时,系统会自动在文件头部添加上EF BB BF这三个字节,而选为UTF-8 NO BOM时会自动去掉这三个字节。

BOM是可选的,可以用来检测一个字节流是否是UTF-8编码的。微软做这种检测,但有些软件不做这种检测,而把它当作正常字符处理。

微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节, windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的,然而这个只是微软暗自作的标记,其它平台上并没有对UTF-8文本文件做个这样的标记。

解决办法

尽量使用notepad++,sublime,editplus等不直接加BOM的文本编辑器

使用ultraedit等二进制编辑器去除BOM

使用1中的编辑器重新打开文档并重新保存为以UTF-8无BOM格式编码。

将编码设置为ASCII,当然这也很多中文就麻烦了

用Python去除BOM

import codecs

data = open("Test.txt").read()

if data[:3] == codecs.BOM_UTF8:

     data = data[3:]

print data.decode("utf-8")

版权声明:本文为CSDN博主「mighty13」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/mighty13/article/details/78077867

发表回复

您的电子邮箱地址不会被公开。

标签云