namazu-ml(ring)

[sugiura@xxxxxxxxxxxx (Sugiura Shiro)]

すぎうらしろうです。

<199908312305.IAA17473@xxxxxxxxxxxxxx>の記事において
satoru-t@xxxxxxxxxxxxxxxxxxさんは書きました。

>> >当然っていわれてもこの件は初耳なのですが、特にperl側に問題があっ
>> >たというわけではないってことですね。
>> 
>> すみません。わたしの中では当然だったもので。

いえいえ、なんせ私は特にPerlに関しては他力本願なので、中身を全然みて
ないんです。

>> >Added Files: 878,914 files
>> >Total Files: 878,914 files
>> >Size: 2,167,480,108 bytes
>> 
>> これはすごい! 世界新記録です。 :-)
>> # ちゃんと検索できますよね?

ディスクをガリガリいわせていて、一瞬というわけにはいかないのですが。

 | surgent[216] namazu "中洲 キャンプ" ./ 
 | 検索結果
 | 
 | 参考ヒット数:  [ 中洲: 80 ]  [ キャンプ: 1710 ] 
 | 
 | 検索式にマッチする 28 個の文書が見つかりました。
 | <以下略>

 | surgent[229] namazu "東芝問題" ./ 
 | 検索結果
 | 
 | 参考ヒット数:  {  [ 東芝: 5009 ]  [ 問題: 92288 ]  :: 81 } 
 | 
 | 検索式にマッチする 81 個の文書が見つかりました。
 | <以下略>

ちゃんと検索できます。
#何を検索してるんだ。

>> さっそく FAQ を更新しておきました。
>> <http://openlab.ring.gr.jp/namazu/FAQ.html#INDEXSCALE>
>> (勝手に載せてしまいましたが、いいですよね?)

いいですよ。参考までに環境を

CPU	PentiumII 450 (100x4.5)
MEMORY	128M x 3 = 384Mbyte
OS	FreeBSD3.3.2 RELEASE
SWAP	512MByte

ちなみに、3.2RELEASEに最初からついてくる /usr/bin/perl を使うとだい
たい1.3倍、package(FreeBSD用語)のjperlを使うと2倍ぐらい時間がかかる
ので注意。

>> この約 687 Mb のファイルが 2Gb を越えると扱えなくなります。
>> 同じようなファイルを対象にインデックスを作ると仮定して、単純
>> に計算すると、Namazuが扱える最大規模のインデックスは
>> 
>>   ファイル数: 2,048 / 687 * 878,914       =     2,620,110 (約262万)
>>   合計サイズ: 2,048 / 687 * 2,167,480,108 = 6,461,425,416 (約 6 Gb)
>> 
>> となります。この規模のインデックスを作るには相当たくさんのメ
>> モリ (2 Gbくらい?) を積んで $ON_MEMORY_MAX を 300 Mb くらい
>> に設定しないと (インデックス作成が遅くて) やっていられないと
>> 思います。

今回試しにやってみたのは、fj.*、comp.*、tnn.*、japan.* の一部です。
バイナリー系はとっていないので、普通のネットニュースやメールなどを
index化するとこんな感じとでもとらえて下さい。

$ON_MEMORY_MAXは40MByteでやってます。この状態で、上記のようなファ
イル、20万ファイル程度迄なら。1万ファイル/10分というペースで処理
していってくれます。今回の87万ファイルの処理は、50万ファイルを処
理した段階でCPUタイムで600分ほど経過しており、残りの37万ファイル
追加に700分程度を要したということになります。物理メモリが足りなく
てページアウトとインが頻発していた(んじゃないかと思う)こともある
と思います。

うちのマシンは、とりあえずnamazuのindex化が物理メモリで収まるよう
にメモリを買いたしていたりするのですが、今回のは余った最後の一つの
DIMMを埋めてもちょっと無理そう。

--  
      すぎうらしろう(Sugiura Shiro)      E-mail : sugiura@xxxxxxxxxxxx
      (伊)x7                 <URL:http://www.kt.rim.or.jp/%7Esugiura/>
       御希望の方に、もれなく less-332.tar.gz をプレゼントしています
      [     If you want to talk with me, you MUST speak Japanese     ]