[Namazu-users-ja 465] Re: mknmz の挙動について

Tadamasa Teranishi yw3t-trns @ asahi-net.or.jp
2005年 8月 26日 (金) 02:08:46 JST


寺西です。

Naoya Wakasugi wrote:
> 
> > (実メモリのサイズと、インデックスファイルのサイズがどれくらいなのか
> > に興味はありますが...。)
> 
> 実メモリは 2G あります。xpdf 3.01 を入れていますが、英語の pdf が出て
> くると、随分処理が重くなる気がします。

2G もあれば十分な気はしますけどね。

pdf の処理は pdftotext が別プロセスで行います。この処理が重いので
しょう。pdftotext の消費メモリがどれくらいかわかりませんが、ここで
消費されたメモリは別プロセスですので、直接は mknmz に影響しません。
(もちろん、メモリが足りなくなって mknmz のプロセスがスワップアウト
する等の影響はあるでしょうが。)

ただ、2.0.14 の filter/pdf.pl は $FILE_SIZE_MAX や $TEXT_SIZE_MAX
で、サイズのチェックをしていませんので、巨大な pdf ファイルでも
処理が通ってしまいますね。
このため、巨大なテキストデータを mknmz が処理する可能性はあります。
-- 
=====================================================================
寺西 忠勝(TADAMASA TERANISHI)  yw3t-trns @ asahi-net.or.jp
http://www.asahi-net.or.jp/~yw3t-trns/index.htm
Key fingerprint =  474E 4D93 8E97 11F6 662D  8A42 17F5 52F4 10E7 D14E




Namazu-users-ja メーリングリストの案内