[Namazu-users-ja 478] Re: mknmz の挙動について

Tadamasa Teranishi yw3t-trns @ asahi-net.or.jp
2005年 8月 29日 (月) 17:49:24 JST


寺西です。

Naoya Wakasugi wrote:
> 
> > あるいはフレーズデータが異常に大きすぎて...って可能性もあるのですが、
> > それなら古い OS でも同じ問題がおきそうだしなぁ。
> 
> 悲しいことですが、おそらく前者です。top コマンドでメモリの SIZE を見て
> いると、古いサーバとは比べ物にならないほど、ぐんぐん上がっていきます。

そうですか。

> <終わりの方の出力>
> インデックスを書き出しています...
> Read on closed filehandle <_GEN_5> at /usr/local/namazu2/bin/mknmz line 1558.
> Read on closed filehandle <_GEN_6> at /usr/local/namazu2/bin/mknmz line 1567.
> Read on closed filehandle <_GEN_7> at /usr/local/namazu2/bin/mknmz line 1579.
> Read on closed filehandle <_GEN_8> at /usr/local/namazu2/bin/mknmz line 1817.
> Read on closed filehandle <_GEN_3> at /usr/local/namazu2/bin/mknmz line 990.
> Read on closed filehandle <_GEN_4> at /usr/local/namazu2/bin/mknmz line 995.

あと考えられるのは、ファイルをクローズしていなくて、perl の
デストラクタ任せにしている点です。
明示的にファイルをクローズすると改善するかな?

Namazu 2.0.15 pre1 では、その辺りの修正を行っています。
これを使うと改善しますかね?

http://www.namazu.org/pipermail/namazu-devel-ja/2005-August/000506.html

# ただ、正式リリース版ではないので、無保証です。
# もっとも正式リリース版でも無保証には違いないですけど。

> mknmz しようとしているディレクトリには html と pdf があるのですが、
> 267 ファイルまで行ったところで、いったんインデックスを書き出す(おそら
> く ON_MEMORY_MAX に達する)のですが、そこから後で突然おかしくなり、

インデックスの書き出しを行いますが、そこで異常にメモリを消費して
いるのかもしれません。

> それ以降は pdf が全部 Unable to convert pdf file になってしまいます。
...
> ・・・と、ここまで書いて、 xpdf が怪しいような気がしてきました。ちょっ
> と、xpdf のバージョンを下げてみます。

xpdf が異常だとしても、別プロセスですから mknmz に悪影響を及ぼす
ことは普通はないはずです。
(pdftotext のプロセスが残ったままで、メモリを圧迫しているとかなら
間接的に影響します。)

# んーっと、テンポラリディスクの空き容量が足りなくて、ディスク
# フルになっているとかかなぁ。
# quota に引っかかっているとかかなぁ。
-- 
=====================================================================
寺西 忠勝(TADAMASA TERANISHI)  yw3t-trns @ asahi-net.or.jp
http://www.asahi-net.or.jp/~yw3t-trns/index.htm
Key fingerprint =  474E 4D93 8E97 11F6 662D  8A42 17F5 52F4 10E7 D14E




Namazu-users-ja メーリングリストの案内