namazu-ml(ring)

[sugiura@xxxxxxxxxxxx (Sugiura Shiro)]

すぎうらしろうです。

<199909071117.UAA09733@xxxxxxxxxxxxxx>の記事において
satoru-t@xxxxxxxxxxxxxxxxxxさんは書きました。

>> >と約、1.5倍ほど速くなりました。これでどうでしょ? > すぎうらさん
>> 
>> 手元のマシンで比較してみました。
>> 
>> 対象ファイル: 
>> 
>>   namazu, namazu-dev, namazu-avocado メイリングリストの合計 
>>   3317通のメイル (合計 9,979,547 bytes)
>> 
>> 結果:
>>                   処理に要した時間  インデックスの合計サイズ
>>   1.3.10               1,296秒            14,146,827 bytes
>>   1.4.0.0-beta-8         836秒             9,304,680 bytes
>>   1.9.3                1,146秒             6,163,992 bytes

私も試してみました。

旧 namazu-MLと、新 namazu-ML 併せて 2,944 files

1.4.0.0-beta-8  153 sec.  
1.9.2           292 sec.    対1.4.0.0-8比  1.9085
1.9.3           227 sec.    対1.4.0.0-8比  1.48366    対1.9.2比  0.777397

昨日も試した Linux-users ML の最初から1万ファイルぐらい

1.4.0.0-beta-8  549 sec.
1.9.3           849 sec.    対1.4.0.0-8比  1.54645

昨日の 1.9.2 での計測は conf.pl をそのまま使っていたので、MAX_MEMORY
のデフォルト値が低く、作業途中で2回ぐらいデータ書き出しをしていたもの
です。今回はそれを大きくしての作業で途中書き出しなしで計測しました。

DProf というのをLinux-usersのファイルの方でやってみたので、その結果も
付けます。

--------------------------- 1.9.2 ----------------------------------

Total Elapsed Time = 1348.809 Seconds
         User Time = 1130.854 Seconds
Exclusive Times
%Time ExclSec CumulS #Calls sec/call Csec/c  Name
 25.7   291.2 316.75 986535   0.0003 0.0003  File::MMagic::readMagicEntry
 14.8   168.0 85.660 478320   0.0000 0.0000  IO::Handle::eof
 13.8   156.5 125.02 187802   0.0001 0.0001  mknmz::hash
 10.8   122.4 109.00 807165   0.0002 0.0001  File::MMagic::readMagicLine
 8.61   97.38 97.907   9965   0.0098 0.0098  File::MMagic::checktype_data
 8.43   95.36 176.23 807165   0.0001 0.0002  File::MMagic::magicMatchStr
 7.71   87.15 86.298  59658   0.0015 0.0014  mknmz::wordcount_sub
 7.55   85.42 204.26   9943   0.0086 0.0205  mknmz::make_phrase_hash
 5.76   65.09 609.44   9965   0.0065 0.0612  File::MMagic::checktype_contents
 4.20   47.45 48.641      1   47.453 48.641  find::finddir
 2.89   32.69 32.508   9810   0.0033 0.0033  Text::Kakasi::do_kakasi
 2.84   32.06 67.144   9943   0.0032 0.0068  mknmz::put_field_index
 2.70   30.48 151.64   9943   0.0031 0.0153  mknmz::count_words
 1.83   20.73  9.019 218868   0.0001 0.0000  IO::File::open
 1.69   19.12 40.297 218868   0.0001 0.0002  util::fopen

--------------------------- 1.9.3 ----------------------------------

Total Elapsed Time = 938.1626 Seconds
         User Time = 803.8852 Seconds
Exclusive Times
%Time ExclSec CumulS #Calls sec/call Csec/c  Name
 18.2   146.5 115.59 176076   0.0001 0.0001  mknmz::hash
 15.1   121.5 107.23 807165   0.0002 0.0001  File::MMagic::readMagicLine
 12.2   98.13 98.770   9965   0.0098 0.0099  File::MMagic::checktype_data
 11.9   95.82 172.36 807165   0.0001 0.0002  File::MMagic::magicMatchStr
 9.93   79.82 188.56   9943   0.0080 0.0190  mknmz::make_phrase_hash
 9.51   76.48 75.415  59658   0.0013 0.0013  mknmz::wordcount_sub
 5.85   46.99 47.743      1   46.996 47.742  find::finddir
 4.44   35.68 297.94   9965   0.0036 0.0299  File::MMagic::checktype_contents
 4.04   32.51 32.309   9810   0.0033 0.0033  Text::Kakasi::do_kakasi
 3.93   31.57 65.704   9943   0.0032 0.0066  mknmz::put_field_index
 3.74   30.06 140.21   9943   0.0030 0.0141  mknmz::count_words
 2.66   21.35  8.644 218868   0.0001 0.0000  IO::File::open
 2.37   19.05 40.027 218868   0.0001 0.0002  util::fopen
 2.08   16.74 23.441 218868   0.0001 0.0001  IO::File::new
 2.01   16.14 16.084   9965   0.0016 0.0016  mailnews::mailnews_citation_filter

--  
      すぎうらしろう(Sugiura Shiro)      E-mail : sugiura@xxxxxxxxxxxx
      (伊)x7                 <URL:http://www.kt.rim.or.jp/%7Esugiura/>
       御希望の方に、もれなく less-332.tar.gz をプレゼントしています
      [     If you want to talk with me, you MUST speak Japanese     ]