namazu-ml(ring)


[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: How to make Huge Index



すぎうらしろうです。

<199906101245.VAA04514@xxxxxxxxxxxxxx>の記事において
hatada@xxxxxxxxxxxさんは書きました。

>>   具体的にファイル群の大きさは、ファイル数 400,000弱、トータルファイル
>>   サイズ 1.4GB弱 のものです。
>>   
>>   使用しているマシンのスペックは
>>   Pentium2 450MHz 512MByte Memory ( FreeBSD2.2.8-RELEASE )
>>   です。

私は、PentiumII(333,350,400,450,500,) + 256MByte Memory + FreeBSD2.2.8
RELEASEで、

[Base]
Date: Thu May 20 00:11:37 1999
Added Files: 507,744 files
Total Files: 507,744 files
Size: 1,291,674,747 bytes
Added Keywords: 5,287,123 words
Total Keywords: 5,287,123 words
Wakati: module_kakasi -ieuc -oeuc -w
ARGV: '-ahu' '-F' 'files'
Perl Version: 5.00502
Namazu Version: 1.4.0.0-beta-8
System: freebsd
Time: 61998 sec.

とかやってます。333MHz(激遅)な環境での結果です。
[namazu 575]や、[namazu 709]を見てみて下さい。

>>   試してみたことは、
>>   conf.pl の  $FILE_SIZE_LIMIT を 200000 に下げました。
>>   conf.pl の  $ON_MEMORY_MAX   を 500000 に下げました。
>>   #メモリを 512MB 積んでいるので、 $ON_MEMORY_MAX を減らして良いのか
>>   #どうか分かりませんでしたが....  

うちでは、

$REMAIN_HEADER = "From|Date|Message-ID|Newsgroups";
$SEARCH_FIELD = "Message-Id|Subject|From|Date|Url|Newsgroups|To|X-Mailer|X-Newsreader";
$ON_MEMORY_MAX   = 40000000;
$SUMMARY_LENGTH = 600;

という変更を加えています。
メモリ512Mなら、$ON_MEMORY_MAX はもっと大きくてもいいでしょう。

>>   ディレクトリツリー全部をいっぺんにつくろうとしてもだめなので、
>>   ディレクトリツリーを少しずつ増やしては mknmzをかけ、またふやしては
>>   mknmz をかけする作戦にでてみました。

で、どのあたりでどうダメなのでしょうか?
もしかして、突然ハードウエアにリセットがかかるとか、perlがコアダンプ
するとか?

--  
      すぎうらしろう(Sugiura Shiro)      E-mail : sugiura@xxxxxxxxxxxx
      (伊)x7                 <URL:http://www.kt.rim.or.jp/%7Esugiura/>
       御希望の方に、もれなく less-332.tar.gz をプレゼントしています
      [     If you want to talk with me, you MUST speak Japanese     ]