namazu-ml(avocado)

[sugiura@xxxxxxxxxxxx (Sugiura Shiro)]

すぎうらしろうです。

実は、私も2日前にNamazuを導入したばかりですが。

<36B5D98A.FA421ACF@xxxxxxxxxx>の記事において
jun@xxxxxxxxxxさんは書きました。

>> 現在、社内的に使う記事全文検索サーバをNamazuで構築しようとしています。
>> 扱うデータは年間10万本程度、一日300〜400本で一記事のサイズは1〜2KB程度で
>> す。

Namazuで扱おうとしている内容は、やっぱりニュース(NetNewsじゃないほう)
でしょうか。過去のニュースをズバッと検索なんてうらやまし〜。

>> マシンの構成はP2-350MHz,メモリ256MBです。

私のとこで試したパフォーマンスで良ければ、このスレッドをたどってみて
下さい。それなりに似たようハードウエア構成です。DISKのI/Oもかなり効い
てくるみたいですね。
私のCPUもPentiumII(100x4)とか書いてますが、ものはPentiumII350です。

>> 15分ごとに当日更新分のインデックスを作成し、日替わり時に過去データに追加
>> 更新したインデックスを作成しようとしています。記事ファイルにはユニークな
>> ファイル名が付いており、ファイルは追加のみです。

ファイルシステム上に問題なく存在していられるファイルなら大丈夫でしょ
う。ディレクトリが違えば同じファイル名でも大丈夫ですよ。
#いや、私が作ったわけではないのだがそれは大丈夫だと思う。

>> つまりmknmzが10数万件のインデックスに毎日400本程度の追加更新を行う場合か
>> かる時間は
>> 1.400本のデータに対するインデックス作成時間プラスアルファですむ
>> 2.10数万件のインデックスを作りなおす事に近い
>> のどちらなのでしょう。

私が2日前に初めてindexを作ったのにかかった時間は、[namazu:01950]のと
おり、で、昨日初めて追加作業を行なった時間は下記の通り。
1:ですね。

[Append]
Date: Mon Feb  1 20:26:15 1999
Added   Files: 840 files
Deleted Files: 0 files
Updated Files: 1 files
Total   Files: 924 files
Size: 2,636,117 bytes
Keywords: 12,796 words
Wakati: /usr/local/bin/kakasi -ieuc -oeuc -w
Perl Version: 5.00502
Namazu Version: 1.3.0.2
System: freebsd
Time: 684 sec.

267.045u 82.598s 11:25.19 51.0% 878+-29681k 12118+12303io 68pf+0w

で、15分毎にindexデータ更新と言うことですが、この上の更新作業を眺めて
いたところ、Append作業は以前のIndexファイルの読み込み(だと思う)と、新
規追加ファイルの読み込み並びにIndex化、できたIndexをDISKに保存と3工程
あるようです。で、新規に追加されたファイルのindex化*以外*の部分に結構
時間を食われるようです。

DISKの読み書きのスピードがイマイチな私の環境で15分毎の更新だと、その
うち前のindex化作業が終らないうちに次のindex化のプロセスが起こされて
、、、という恐ろしいことになりそうな気配です。

Appendは、大きなファイルの読み込み、多くの小さいファイルの読み込み、
大きなファイルの書き出しと、DISKベンチマークの様相を見せています。
仮に、Namazuのindex化作業専用マシンを自分で構成していいといわれたら。
DISKはRAID 0/1ないしRAID 5を構成する予算を奪い取りたいところです。

>> また、追加更新されたインデックスと始めから10数万件のデータに対し作成され
>> たインデックスとで、検索時のパフォーマンスに影響は出るのでしょうか。

これは、私も興味があるところです。

--  
        すぎうらしろう                  E-mail  : sugiura@xxxxxxxxxxxx
                                        URL     : none
        [   If you want to talk with me, you MUST speak Japanese   ]