[Namazu-devel-ja]Solaris環境で、mknmzがワーニングエラーを多量に出す、あるいは止まる。

2004年 6月 7日 (月) 04:13:06 JST

瀧＠ジャストプレイヤーです。
お世話になります。

私の設定ミスも含めて、いくつかわかってきたことがありました。
ちょっと半分徹夜モードに入ってるので、脳が煮詰まって、筋が通ってないこと
いうかもしれませんが・・・・

1.ワーニングがでるファイルタイプについて

.mknmzrcを編集し、htmlドキュメントのみの対象にしたら、フルセットでインデッ
クス作成をしても、エラーは起きませんでした。xlhtml、pdftotextに限らずで
ていたのですが、htmlのみではでないということになります。

従って、xlhtmlのみの問題ではないが、共通項は外部フィルタを使うあたりに、
問題を抱えていたと推測できました。

2.日本語ロケールの件

上記の推測と、寺西さんの
> インストール済みの状態で、メッセージが英語ならば正しく mknmz が
> 動作していません。
という私的で、私の方のnamazuのconfigureで、gettextのオプションの与え方が間
違っていたことに気がつきました。←これが一番の問題かも。
gettextを付加するのではなく、libintl-prefixだったのですね。

＞具体的に今回行ったconfigure。
./configure --with-libiconv-prefix=/usr/local --with-libintl-prefix=/usr/local --with-perl5=/usr/local/bin/perl

これを行うことで、おっしゃるように日本語メッセージに変わりました。
ただし、couldn't set locale correctlyを出すのは変わりません。

3. 多量のワーニングを出す点

多量のワーニングがでる部分に関しては、2の修正を行うことで、でなくなりました。
これによって、2のgettext周りに問題があったことになります。
相当な数のドキュメントを何回かインデックス作成しましたが、この問題は起き
なくなりました。

これに関して、実は2.0.12でもにたような経験をしていて、それと同じと早合点
していたところがあります。今回と同じ理由か、後で試してみようと思っており
ます。

4. couldn't set locale correctly 

これは、旧MLで4044あたりのスレッドで話していたとおり、
LANGにjaを入れるだけでエラーがでます。

また、/usr/lib/localeにはjaというディレクトリが存在しております。

次のように設定してあるんですが、この場合。基本的にいずれもjaで良いんです
よね？

LANGUAGE=ja; export LANGUAGE
LANG=ja ; export LANG
LC_ALL=ja ; export LC_ALL

なにか、覚え違いをしてるような気も・・・・。

いずれにせよ、次は日本語パッケージに問題がないか調べてみようと考えており
ます。

5. 生まれた問題

namazu.cgiが動かなくなった。

.namazurcないでLANG jaにしているのですが、
やっぱり日本語周りと関係有りそうな気がします。

同じ症状を実はFreeBSDで体験していて、LANGをja_JP.eucJPに変えたら、動いた
経緯があります。

具体的な動かない点は、CGIが画面にNMZ.head.jaを読んで表示した後、その先を
表示しないというものです。

これはLANGをCにしておくと、英語版ですが表示ができます。

6. xlhtmlの問題？

佐川さんのおかげでxlhtmlの新しいバージョンを拾うことができました。
入れ替えをしたのですが、一部xlhtmlがバスエラーを出し、変換に失敗するだけ
で、おおむねうまくいっております。これはxlhtml -m ファイル名で行っても、
同じバスエラーなのでxlhtml上の理由であることがわかります。
とりあえず、ここではこれはおいておきます。

7. 止まるファイル

止まるファイルは未だにあります。ただし、前回と違い、今回は現状xlhtml経由
でしか問題を発見しておりません。pdftotext経由では起きなくなっていますが、
以前はpdftotextでもでたので、これは今回たまたまであり、まだほかに何か関連
があるのかもしません。

止まると、いう症状ですが、mknmzがCPUを99％使い、kill さえ受け付けなくな
ります。kill -9をしないと落ちない状況です。

以上、致命的なのは4と5と7になりましたが、もう少しいろいろと試してみたい
と思います。

一応、現状報告をさせていただきました。
寝る直前で寝ぼけていることもあり、乱文お許しください。

On Sun, 06 Jun 2004 10:30:36 +0900
Tadamasa Teranishi <yw3t-trns ＠ asahi-net.or.jp> wrote:
> > > > > 問題の Excel ファイル以外を mknmz で処理してみると大丈夫とか、
> > > > > filter/excel.pl を一時的に移動して、Excel ファイルの以外を
> > > > > mknmz で処理してみると大丈夫ということではありませんか?
> > > > その通りだったと思います。
> ということでしたが、Excel ファイル以外でも起きているということですね?
> > > そういうことでしたら、xlhtml が対応できていない Excel ファイルと
> > > いうことかもしれません。
> > > $ xlhtml -m file.xls > file.html
> > > で HTML が生成できるかどうか、生成した file.html を Web ブラウザ
> > > で見た時正しい結果が得られているかを確認してみてください。
> > > ここで、ダメなら Namazu としては手が出せません。xlhtml 側の問題
> > > ということになります。
> > 
> > 上記のように単品で動かす限り、一応、それらしいutf8-codecのhtmlを吐いてい
> > るようです。
> > たとえば、
> > xlhtml -m 該当のxlsファイル | lv | chasen -j -F "%m "
> > これでは、ワーニングは出てきませんし、それらしいものがでます。
> 
> なるほど。そうしますと、フィルタで使っているプログラムの問題では
> なく、mknmz の内部処理、chasen の Perl モジュール等の問題の可能性
> がありますね。
> 
> > 同じワーニングは、pdfファイルでも起きていて、pdftotextは正常終了します。
> 
> ということからしても、そうかもしれません。
> 
> > あと、数点。
> > 一応、make checkは47項目all passedです。
> > 
> > > > Lang_Msg: C
> > > > Lang: C
> > > 日本語処理できませんがよろしい?
> > 
> > よいと行ったものの、多少は変でした。
> > 
> > perl: warningは、PERL_BADLANGで抑制するとしても、
> > namazu 2.0.13RC2の時に言われていた、
> > Solaris環境でのcouldn't set locale correctlyがしつこくでるようです。
> > make checkの時にも多量に出てきながら、passedだったので、
> > あまり実害はないとは考えているのですが・・・・。
> 
> すみませんが、どこで couldn't set locale correctly が出ているで
> しょうか?
>  
> > > mknmz -C -f .mknmzrc
> > perl: warning: Setting locale failed.
> > perl: warning: Please check that your locale settings:
> >         LC_ALL = "ja",
> >         LANG = "ja"
> >     are supported and installed on your system.
> > perl: warning: Falling back to the standard locale ("C").
> > couldn't set locale correctly
> > couldn't set locale correctly
> 
> $ ls /usr/lib/locale
> 
> の結果に ja があるでしょうか?
> ja が正しく認識されていないように見えます。
> 
> # これが今回の問題と直接関係するかどうかはわかりませんが、とにかく
> # 何らかの問題を生じさせていることは確かです。
> 
> > Loaded rcfile: .mknmzrc
> > System: solaris
> > Namazu: 2.0.13
> > Perl: 5.008
> > File-MMagic: 1.22
> > NKF: module_nkf
> > KAKASI: no
> > ChaSen: module_chasen -j -F '%m '
> > Wakati: module_chasen -j -F '%m '
> > Lang_Msg: ja
> > Lang: ja
> 
> インストール済みの状態で、メッセージが英語ならば正しく mknmz が
> 動作していません。
> 
> libiconv, gettext はインストール済みで、Namazu コンパイル時には
> オプションを指定されていることと思いますが、バージョンによっては
> 正しく動かないということがあったかもしれません。
> 確か
> 
> libiconv-1.9.2
> gettext-0.14.1
> 
> なら大丈夫そうでしたが...。
> -- 
> =====================================================================
> 寺西 忠勝(TADAMASA TERANISHI)  yw3t-trns ＠ asahi-net.or.jp
> http://www.asahi-net.or.jp/~yw3t-trns/index.htm
> Key fingerprint =  474E 4D93 8E97 11F6 662D  8A42 17F5 52F4 10E7 D14E

------------------
〒424-0821 静岡県静岡市清水相生町6-17
静岡市清水産業・情報プラザ611
(有)ジャストプレイヤー
瀧　康史
TEL : 0543-53-7660  FAX : 0543-53-7661
mailto:taki ＠ justplayer.com  http://www.justplayer.co.jp/