[Namazu-users-ja 1203] big index example

WATANABE Katsuhiro katsu @ watanabe.name
2011年 6月 1日 (水) 16:52:40 JST


http://www.namazu.org/FAQ.html#index-scale いはく:
> どの程度の規模のインデックスが作れますか?

> 報告のあったもののなかでは 878,914 ファイル、
> 合計 2,167,480,108 bytes の文書を対象にしたものが最大です
> これより規模の大きいインデックスを作成された方は
> ぜひメイリングリストにご連絡ください。 

この世界記録より12年たってるので、2桁ぐらい大きなインデックスが
あっても不思議ではない気がします。

私のところで、上より大きなインデックスを作りましたので報告申し上げます。

[Merge]
Date:                Thu May  5 10:00:35 2011
Total Files:         3,209,937
Total Keywords:      24,529,399
Time (sec):          622367
System:              freebsd
Perl:                5.008008

内容は古いネットニュース記事です。
http://katsu.watanabe.name/unifiedfj/

普通はこんなに大きくせず、インデックスを分割してしまうのかも。
クロスポストの概念があるので、ニュースグループ毎という自然な分割は
できないのです。また、namazu.cgiが数多くのインデックスのNMZ.w中を
各々探索して時間がかかる(timeoutしやすい)こともありえるんじゃないか
と考えたせいもあります。

-- 
渡辺克宏


Namazu-users-ja メーリングリストの案内