encoding.js
3.79 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
/*eslint-env mocha*/
/*eslint no-invalid-this:0*/
/*jshint -W100*/
var assert = require('power-assert');
var each = require('foreach');
var helper = require('./_helper');
var cli = require('../index');
describe('encoding:auto', function () {
before(function () {
cli.set('iconv', 'iconv-lite');
});
each(helper.files('auto'), function (enc) {
it('エンコーディング自動判定により正常にUTF-8に変換される(' + enc + ')', function (done) {
var url = helper.url('auto', enc);
cli.fetch(url, function (err, $, res, body) {
assert.deepEqual($.documentInfo(), {
url: url,
encoding: enc,
isXml: false
});
assert($('title').text() === '夏目漱石「私の個人主義」');
assert($('h1').html() === '<span>夏目漱石「私の個人主義」</span>');
done();
});
});
});
});
describe('encoding:manual', function () {
before(function () {
cli.set('iconv', 'iconv-lite');
});
each(helper.files('manual'), function (enc) {
it('<head>タグのcharsetからエンコーディングが判定され正常にUTF-8に変換される(' + enc + ')', function (done) {
var url = helper.url('manual', enc);
cli.fetch(url, function (err, $, res, body) {
assert.deepEqual($.documentInfo(), {
url: url,
encoding: enc.replace(/\(.+\)/, ''),
isXml: false
});
assert($('title').text() === '１');
done();
});
});
});
});
describe('encoding:error', function () {
before(function () {
cli.set('iconv', 'iconv-lite');
});
it('iconv-liteで未対応のページは変換エラーとなる(iso-2022-jp)', function (done) {
var url = helper.url('error', 'iso-2022-jp');
cli.fetch(url, function (err, $, res, body) {
assert(err.errno === 22);
assert(err.code === 'EINVAL');
assert(err.message === 'EINVAL, Conversion not supported.');
assert(err.charset === 'iso-2022-jp');
assert(err.url === url);
done();
});
});
});
describe('encoding:unknown', function () {
before(function () {
cli.set('iconv', 'iconv-lite');
});
it('自動判定でも<head>タグからも文字コードが判別できない => UTF-8として処理される(utf-8)', function (done) {
var url = helper.url('unknown', 'utf-8');
cli.fetch(url, function (err, $, res, body) {
assert.deepEqual($.documentInfo(), {
url: url,
encoding: null,
isXml: false
});
assert($('title').text() === '１');
done();
});
});
it('自動判定でも<head>タグからも文字コードが判別できない => UTF-8として処理される(shift_jis)', function (done) {
var url = helper.url('unknown', 'shift_jis');
cli.fetch(url, function (err, $, res, body) {
assert.deepEqual($.documentInfo(), {
url: url,
encoding: null,
isXml: false
});
assert($('title').text() !== '１');
done();
});
});
it('fetch時にエンコーディング指定 => shift_jisとして処理される', function (done) {
var url = helper.url('unknown', 'shift_jis');
cli.fetch(url, {}, 'sjis', function (err, $, res, body) {
assert.deepEqual($.documentInfo(), {
url: url,
encoding: 'sjis',
isXml: false
});
assert($('title').text() === '１');
done();
});
});
it('fetch時にエンコーディング指定(param省略) => shift_jisとして処理される', function (done) {
var url = helper.url('unknown', 'shift_jis');
cli.fetch(url, 'sjis', function (err, $, res, body) {
assert.deepEqual($.documentInfo(), {
url: url,
encoding: 'sjis',
isXml: false
});
assert($('title').text() === '１');
done();
});
});
});