Python3スクレイピング, 文字コード

request.getしたサイトのレスポンスヘッダに文字コード情報がないと、ISO-8859-1と判定されてしまいます。もし、ヘッダに文字コード情報がない場合は、対策が必要です。

通常大量のデータがある場合

cChardet ...