[Namazu-users-ja 1060] Re: gcnmz が非常な時間を要するようになった

野宮 賢 / NOMIYA Masaru nomiya @ galaxy.dti.ne.jp
2008年 4月 6日 (日) 22:02:46 JST


野宮です.

In the Message; 

  Subject    : [Namazu-users-ja 1059] Re: gcnmz が非常な時間を要するようになった
  Message-ID : <47F8BE5D.147B6412 @ asahi-net.or.jp>
  Date & Time: Sun, 06 Apr 2008 21:13:17 +0900

[寺西さん] == Tadamasa Teranishi <yw3t-trns @ asahi-net.or.jp> has written:

寺西さん> パッチはそもそも、HTML のある部分に要約に出したい文字列を入れておいて、
寺西さん> その部分を mknmz で要約に採用しようというものです。
寺西さん> それを <body> から </body> の間に変更することの意味は?

これで本当に解りました.m(_ _)m

寺西さん> 確かにそのパッチを使うと、処理が異なるために要約は異なるものが作られは
寺西さん> しますが、このパッチを使って何がしたいのでしょう。

意味がなかったですね.^^;;

小生>> それにしましても,$ON_MEMEORY_MAX の変更でこれ程の効果が現れるというのは,
小生>> 驚きでした.

寺西さん> 処理する文書の総量が多いと顕著になります。
寺西さん> ですので、インデックスを分けると速くなるわけです。

今朝のを調べてみますと,所要時間は5時間35分程で,今までの内では最短でした.

小生>> 「Namazuの豆知識」を読むと,搭載メモリーの 1割 が目安かと思いましたが,そう
小生>> ではないのですね.

寺西さん> 全く違います。

寺西さん> $ON_MEMORY_MAX はかなり問題のある設定パラメータであり、名前も不適切で
寺西さん> 誤解をまねいています。
寺西さん> このパラメータで消費するメモリ量を制御することはほとんど不可能です。
[...]
寺西さん> $ON_MEMORY_MAX を 1.5GB ぐらいにすればインデックス書き出しは1回で
寺西さん> 済むので、それ以上に値を増やしても速度は変化しないでしょう。
寺西さん> この時、内部で消費されるメモリ量はどれくらいかはわかりませんが、この
寺西さん> 消費メモリが十分小さければ、mknmz で処理することが可能ということに
寺西さん> なります。
寺西さん> 逆にかなり大きくなってしまった場合は、メモリ不足でエラーが発生する
寺西さん> こともあります。

詳しいご説明,本当に恐縮です.m(_ _)m

小生>> 今一度 gcnmz を走らせ,それが膨大な時間を要するようであれば,小生の今の力量
小生>> では,毎晩 mknmz を走らせる方がベターという結論になる,とは思います.

寺西さん> その場合は、毎晩 mknmz を走らせるだけではダメで、毎晩インデックスを
寺西さん> 新規に作り直す必要があります。

はい,その積もりでした.

が,ちょっと同じ内容のものを text/plain と マルチパートなtext/html でテスト
し,愕然としています.インデックスファイルのサイズが違い過ぎる,と.

これに関連して質問をお許し戴きたいのですが,別スレッドを立てることとします.

---
  野宮  賢             mail-to: nomiya @ galaxy.dti.ne.jp

       「eメールや携帯電話に縛られた社会は、自分自身と向き合ったり、
        空想にふけったりする自由を奪う。」
                                                  -- M. Crichton --


Namazu-users-ja メーリングリストの案内