[Namazu-devel-ja 1750] pl/extutf8.pl を追加

[Tadamasa Teranishi]

寺西です。

pl/extutf8.pl を追加しました。

UTF-8 拡張機能
- UTF-8 から EUC-JP への変換
  NKF perl モジュール、Encode、lv、unicode.pl のいずれかが必要
- UTF-8 から US-ASCII への変換
  US-ASCII 以外の文字は '#' に置き換え
- UTF-8 から EUC-JP または US-ASCII への変換後、テキストの正規化

を行います。

まだ、フィルタから呼び出していませんが、フィルタ内にある UTF-8 から
EUC-JP への変換処理を共通化して外部に押し出すことが目的です。
-- 
=====================================================================
寺西 忠勝(TADAMASA TERANISHI)  yw3t-trns ＠ asahi-net.or.jp
http://www.asahi-net.or.jp/~yw3t-trns/index.htm
Key fingerprint =  474E 4D93 8E97 11F6 662D  8A42 17F5 52F4 10E7 D14E