namazu-ml(avocado)


[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

mknmz の Out of memory について



はじめまして.
喜多@NTTデータと申します.

昨日から namazu を使い始めたばかりの namazu 初心者です.
ちなみに使用している namazu のバージョンは 1.2.0.8 です.

さて,昨日,ほぼ丸一日かかって,会社のニューズサーバのスプールのインデッ
クスを作成したのですが,その際にちょっと不便に思ったことがあったので報
告します.

mknmz 実行中にしばしば Out of memory とか not enough space とかいわれ
てインデックスの作成が中断されてしまいます.
これは,スプールの中に巨大なファイルがあったりするためですが,このよう
なエラーが出たときは,また最初からインデックスの張り直しになって,非常
に時間が無駄になります.
# 結局,昨日は,再帰的にディレクトリを列挙するスクリプトを書いて,各ディ
# レクトリごとに mknmz を実行しました.

そこで,mknmz にチェックポイント機能を実装したらよいと思うのですがどう
でしょうか?
もしチェックポイント機能があれば,out of memory で中断されても,最後の
チェックポイントまでの更新分はちゃんとインデックスファイルに反映されま
す.
チェックポイントの際に mknmz 自分自身を exec し直せば,確保されている
にもかかわらず利用されていないメモリ領域を開放できます.

多分,最初のインデックス作成時には,どなたも同じようなことではまったと
思うのですがどうでしょうか?
# もしかして,こういう機能はすでにある?