問答無用でテキストファイルの文字コードを UTF-8 にする

この記事 を見ていて文字化けとかつらいよなー、と思うなど。
私だったら nkf を CLI で使うかな、と思ったのでそれを書いておこうかなと思います。

コマンド

UTF-8 + 改行コードを unix にする、だと

• $ nkf -wLu --override **/*.html

とか。 glob が長いと怒られるのなら

• $ find -name '*.html' | xargs -L1 nkf -wLu --override

とか。 git 管理下にあるのなら

• $ git ls-files | xargs -L1 nkf -wLu --override

とかでも良いでしょう。

meta タグの置換はとりあえず単に Shift_JIS を UTF-8 にするだけでいけると仮定。

それなら

• $ sed -i -e 's/Shift_JIS/UTF-8/'

でいけます。 確か -i オプションは GNU 版の sed にしかなかったはず。

meta タグを検出する必要があったら正規表現を複雑にする必要がありますね。

おまけ

このファイルの文字コード何だ? となったら

• $ nkf -g file.txt

で分かります。

環境

• OS: macOS Sierra 10.12.6
• nkf: Network Kanji Filter Version 2.1.4 (2015-12-12) 
• sed: gsed (GNU sed) 4.4