namazu-ml(ring)

[sugiura@xxxxxxxxxxxx (Sugiura Shiro)]

すぎうらしろうです。

<199902141508.AAA07781@xxxxxxxxxxxxxx>の記事において
私は書きました。

>> Added Files: 1,111 files
>> Total Files: 1,111 files
>> Size: 3,168,007 bytes
>> Added Keywords: 48,162 words
>> Total Keywords: 48,162 words
>> Wakati: module_kakasi -ieuc -oeuc -w
>> Perl Version: 5.00502
>> Namazu Version: 1.3.1.0-alpha-11
>> System: freebsd
>> 
>> のようなサンプルデータを1.3.1.0-alpha-11でindex化した時の時間は次の
>> とおり。
>> 
>> モジュールなし		Time: 169 sec.
>> NKFモジュールのみ	Time: 149 sec.
>> 両方のモジュール	Time: 85 sec.
>> 
>> ちょうど2倍早くなっています。

我が家の本命その１のネットニュースの記事index化を両方のモジュール
ありでやってみました。今回は、
$ON_MEMORY_MAX   = 5000000; を 20Mに、
$FILE_SIZE_LIMIT =  600000; を 50Kに、
変更してやったのですが、何やら恐ろしいことになってます。

---- こちらはモジュールなしで少し前にやったやつ -----
[Base]
Date: Sun Feb  7 12:15:34 1999
Added   Files: 88,616 files
Deleted Files: 0 files
Updated Files: 0 files
Total   Files: 88,616 files
Size: 177,315,730 bytes
Keywords: 1,426,710 words
Wakati: /usr/local/bin/kakasi -ieuc -oeuc -w
Perl Version: 5.00502
Namazu Version: 1.3.0.2
System: freebsd
Time: 24043 sec.

---- こちらがモジュールを組み込んだ今回の方 -----
[Base]
Date: Mon Feb 15 04:52:20 1999
Added Files: 103,208 files
Total Files: 103,208 files
Size: 207,676,113 bytes
Added Keywords: 1,556,136 words
Total Keywords: 1,556,136 words
Wakati: module_kakasi -ieuc -oeuc -w
Perl Version: 5.00502
Namazu Version: 1.3.1.0-alpha-11
System: freebsd
Time: 7784 sec.

と、ファイル数は増えているのに時間が400分から、130分に短縮。
モジュール組み込まない方のは、ちょっと間違えててこの後ですぐにやり直
したところ、ファイル数95,000で、8時間半ぐらいかかった気がします。
FILE_SIZE_LIMITの変更も効いているかも知れませんが、2時間ちょっとで終
るのはとてもいい感じ。4倍なのかな。

メモリを256MByte積んでいるマシンで、モジュール有りの /usr/bin/time
の結果は以下のとおり。

     7786.40 real      6101.29 user       198.00 sys
    120928  maximum resident set size
       501  average shared memory size
       659  average unshared data size
       140  average unshared stack size
     63952  page reclaims
        61  page faults
         0  swaps
    139998  block input operations
     39357  block output operations
         0  messages sent
         0  messages received
         0  signals received
    115454  voluntary context switches
    455032  involuntary context switches

#見方が良くわからない。

--  
	すぎうらしろう(Sugiura Shiro)      E-mail : sugiura@xxxxxxxxxxxx
                                           URL    : None
	 御希望の方に、もれなく less-332.tar.gz をプレゼントしています
        [     If you want to talk with me, you MUST speak Japanese     ]