端末コマンド配線表

日本語ロケールで grep/sort の照合順序が変わる件

sort と grep の結果は、LANG と LC_ALL の設定で変わります。ja_JP.UTF-8 は照合表による文字比較、C はバイト値の比較で、UTF-8 の「あ」は E3 81 82、「ア」は E3 82 A2 です。優先順位、五十音順にならない理由、範囲指定が壊れる条件、再現性を保つ定型を一枚にまとめます。

端子台 詰所

同じ sort でも、LANG と LC_ALL の設定で並びが変わります。優先順位は LC_ALL、LC_COLLATE、LANG の順で、ja_JP.UTF-8 では照合表による文字比較、C ではバイト値の比較になります。UTF-8 の「あ」は E3 81 82、「ア」は E3 82 A2 なので、C ロケールでは、ひらがな全体がカタカナより前に固定されます。日本語としての五十音順とは一致しません。

三つの変数の効き方

locale の優先順位は LC_ALL がいちばん強く、次に個別の LC_*、最後に LANG です。LC_ALL が空でなければ、ほかの値は読まれません。並べ替えを担当するのは LC_COLLATE、文字の種類と大文字小文字の畳み込みは LC_CTYPE です。

現在の値は locale で確認できます。使えるロケールは locale -a の一覧で分かります。ja_JP.UTF-8 が入っていない環境では、指定しても C に落ちます。落ちたことに気づかないまま「並びがおかしい」と悩むのが、いちばん多い型です。

$ locale
LANG=ja_JP.UTF-8
LC_COLLATE="ja_JP.UTF-8"
LC_ALL=

$ locale -a | grep -i '^ja'

sort の並びが変わる

同じ六行を、C ロケールで並べます。

$ printf 'ん\nア\nあ\n漢\n1\n1\n' | LC_ALL=C sort
1
あ
ん
ア
漢
1

結果は符号位置の順そのものです。ASCII の 1 が最初に来て、ひらがな、カタカナ、漢字、全角数字の順に続きます。文字の種類ごとに塊になるので、かなと漢字が混ざった一覧では、読みとは無関係な並びになります。

ja_JP.UTF-8 では、各文字を照合表の重みに置き換えて比較します。重みは複数の段で構成され、第一段で基本文字、第二段でアクセント、第三段で大文字小文字といった差を見ます。この表は環境ごとに違い、同じ ja_JP.UTF-8 を指定しても、macOS の BSD sort と Linux の glibc で結果が一致しないことがあります。

五十音順にはならない

かなだけを並べるなら、符号位置の順は五十音の順にかなり近くなります。ひらがなは U+3041 から U+3096 まで、濁音も清音の直後に置かれています。崩れるのは、ひらがなとカタカナが混在したとき、漢字が入ったとき、全角の英数字が混ざったときです。漢字は読みではなく符号位置で並ぶので、辞書の順にはなりません。

読み順が必要なら、読み仮名を別の列に持たせて sort -k2,2 で並べるのが確実です。sort の照合表に日本語の辞書順を期待するより、データ側に順序の根拠を持たせたほうが、あとから検証できます。

grep の範囲と大文字小文字

[a-z] のような範囲指定は、LC_COLLATE の照合順序で解釈されます。C ロケールでは 0x61 から 0x7A までのバイト範囲、UTF-8 ロケールでは文字の範囲です。日本語の [ぁ-ん] は UTF-8 ロケールなら意図どおりに動きますが、LC_ALL=C を付けるとバイト範囲になり、3 バイト文字の途中に当たって壊れた断片を出力します。

grep -i の畳み込みは LC_CTYPE が担当します。C ロケールでは ASCII の範囲だけが対象で、全角英字は別の文字のままです。本文に全角の英字が混ざる資料では、-i を付けても取りこぼしが出ます。

件数だけ見たいときは grep -c、行番号が要るときは -n、抜き出した文字列が要るときは -o です。-o はマッチした範囲をそのまま出すので、バイト境界が壊れていると、その壊れ方もそのまま出力されます。文字化けを見つけたら、まずロケールを疑ってください。

再現性のための定型

ハッシュ、差分、テストの比較など、機械的に一致してほしい場面では LC_ALL=C を明示します。人が読む一覧では ja_JP.UTF-8 のままで構いません。

$ LC_ALL=C sort -u list.txt
$ LC_ALL=C grep -c 'error' log.txt
$ LC_ALL=C sort -t, -k3,3n rows.csv

locale が未設定のまま ssh 越しにスクリプトを走らせると、LANG が空で C 相当になることがあります。手元では同じ並びだったのに、遠隔では違う、という報告の多くはこの差です。スクリプトの先頭で export LC_ALL=C を置くか、必要なコマンドの前だけに付けます。

C ロケールの sort は、文字列の分解と照合表の参照を省けるぶん、一般に速くなります。大きなファイルを並べ替えるときの差は無視できません。速さと引き換えに、日本語の並びは失われます。どちらを採るかは、その一覧を人が読むか機械が読むかで決めてください。

出典

誤りを見つけたら、連絡口まで。動作環境と打った命令を添えてください。