namazu-ml(avocado)

[sugiura@xxxxxxxxxxxx (Sugiura Shiro)]

すぎうらしろうです。

昨年末にNamazuの本を入手していましたが、今ごろになって家のマシンへ
導入です。

PentiumII + 128MByte Memory + FreeBSD2.2.8
perl5.00502
kakashi2.5.5
namazu-1.3.0.2

な環境です、Makefileはこれといって特に修正していません。早速、Nama
zuメーリングリストのログを収集し、mknmzをかけたところ1074件目でOut
 of memory!で敢なくダウン。
perlが、datasizeのlimitで引っかかっているぽいのでunlimitして再開。
無事終了しました。そのmknmzでできたデータを元に、Out of Memoryの回
避情報を読んだところ、ソースの中のパラメータを変更するのとlimitを
外す方法があることが紹介されており、私のとった方法はとりあえず間違
いではないことを確認。

一応、現在のlimitは以下の通り。
#datasizeが尋常ではないことへの突っ込みはしないで下さい。

cputime         unlimited
filesize        unlimited
datasize        524288 kbytes
stacksize       65536 kbytes
coredumpsize    unlimited
memoryuse       unlimited
descriptors     2088 
memorylocked    125852 kbytes
maxproc         1043 

そして現在、私の本当の目的であるgnspoolでかき集めてきたネットニュ
ースの記事、220MByte、約85,000件をmknmzでindexを作っているのですが
最初の1万件をぼーっと眺めていて、「だいたい2時間ちょいで全部終るか
な」と思ってからかれこれ3時間20分たった現在でも、まだ4万8000件しか
処理できていません。

それぞれのファイルは1つだいたい3Kbyte弱のそれなりの分布を見せてい
ると思うことを考えると、mknmzはファイルサイズが一定だと仮定した場
合、件数"N"ではなくどっちかというと、"N^2"とか(そこまでひどくはな
いと思うが)そういうオーダーに見えるんですけど、その認識は当たらず
しも遠からずということでよろしいでしょうか？

で、それを踏まえてお伺いしたいことがあるのですが、FAQに出ていた30
万件以上のファイルをmknmzでindexを作ったと言う方はどのぐらい時間が
かかったのでしょう？
自分のマシンの中のニュース記事が日々増えていくことを考えると、ちょ
っと参考にしたいなと思った次第です。

#でも、Alphaマシン64台を並列に動かして30分ですって言われても困るな。

--  
        すぎうらしろう                  E-mail  : sugiura@xxxxxxxxxxxx
                                        URL     : none
        [   If you want to talk with me, you MUST speak Japanese   ]