cchardet是一种高速通用字符编码检测器。
cchardet的Python项目详细描述
cchardet
cchardet是一种高速通用字符编码检测器。-绑定到 uchardt
<支持的语言/编码
-
国际(Unicode)
- UTF-8
- UTF-16BE/UTF-16LE
- UTF-32BE/UTF-32LE/X-ISO-10646-UCS-4-34121/ X-ISO-10646-UCS-4-21431
-
阿拉伯语
- ISO-8859-6
- Windows-1256
-
保加利亚语
- ISO-8859-5
- Windows-1251
-
中文
- ISO-2022-中国
- 大5
- euc-tw
- GB18030
- 赫兹-国标-2312
-
克罗地亚语:
- ISO-8859-2
- ISO-8859-13
- ISO-8859-16
- 窗户-1250
- IBM852
- Mac-中欧
-
捷克语
- 窗户-1250
- ISO-8859-2
- IBM852
- Mac-中欧
-
英语
- ISO-8859-1
- ISO-8859-15
- Windows-1252
-
英语
- ascii
-
世界语
- ISO-8859-3
-
爱沙尼亚语
- ISO-8859-4
- ISO-8859-13
- ISO-8859-13
- Windows-1252
- Windows-1257
-
芬兰语
- ISO-8859-1
- ISO-8859-4
- ISO-8859-9
- ISO-8859-13
- ISO-8859-15
- Windows-1252
-
法语
- ISO-8859-1
- ISO-8859-15
- Windows-1252
-
德语
- ISO-8859-1
- Windows-1252
-
希腊语
- ISO-8859-7
- Windows-1253
-
希伯来语
- ISO-8859-8
- Windows-1255
-
匈牙利语:
- ISO-8859-2
- 窗户-1250
- 爱尔兰盖尔语
- ISO-8859-1
- ISO-8859-9
- ISO-8859-15
- Windows-1252
- ISO-8859-1
- ISO-8859-3
- ISO-8859-9
- ISO-8859-15
- Windows-1252
- ISO-2022-日本
- 班次JIS
- euc-jp
- ISO-2022-韩国
- euc-kr/uhc
- ISO-8859-4
- ISO-8859-10
- ISO-8859-13
- ISO-8859-4
- ISO-8859-10
- ISO-8859-13
- ISO-8859-3
- ISO-8859-2
- ISO-8859-13
- ISO-8859-16
- 窗户-1250
- IBM852
- Mac-中欧
- ISO-8859-1
- ISO-8859-9
- ISO-8859-15
- Windows-1252
- ISO-8859-2
- ISO-8859-16
- 窗户-1250
- IBM852
- ISO-8859-5
- KOI8-R
- Windows-1251
- mac-西里尔文
- IBM866
- IBM855
- 窗户-1250
- ISO-8859-2
- IBM852 <中心绳
- ISO-8859-2
- ISO-8859-16
- Windows-1250
- IBM852 M > <
示例
# -*- coding: utf-8 -*-importcchardetaschardetwithopen(r"src/tests/samples/wikipediaJa_One_Thousand_and_One_Nights_SJIS.txt","rb")asf:msg=f.read()result=chardet.detect(msg)print(result)
基准
$ cd src/
$ pip install chardet
$ python tests/bench.py
结果
CPU:Intel(R)Core(TM)i5-4690 CPU@3.50GHz
内存:DDR3 1600MHz 16GB
平台:ubuntu 16.04 amd64
巨蟒2.7.13
<表> < COLGROUP > < COL/> < COL/> <广告> 请求(呼叫) < /广告> <正文> chardet v3.0.2版 0.36 cchardet 2.0.1版 1396.42 < > <表>巨蟒3.6.1
<表> < COLGROUP > < COL/> < COL/> <广告> 请求(呼叫) < /广告> <正文> chardet v3.0.2版 0.35 cchardet 2.0.1版 1467.77 < > <表>许可证
请参见复制文件。