[Namazu-devel-ja 1567] Re: hash の負荷軽減

[Tadamasa Teranishi]

寺西です。補足および修正です。

Tadamasa Teranishi wrote:
> 
> 6) 考察
> 
>  テストに用いた1万件の文書は約30MBです。

約30MBというのは
  $ON_MEMORY_MAX x インデックス書き出し回数
から計算した概算値でしたが、正確な値は約46MBの間違いでした。

$ON_MEMORY_MAX を越えた時にインデックスを書き出すので、
インデックス書き出し回数が増えると、差が累積されるために
  $ON_MEMORY_MAX x インデックス書き出し回数 > 総データサイズ
となったためです。

> メモリは128MB積んでいます。たぶん7年以上前の環境だと思います。

メモリ128MBですが、インデックス書き出し1回の場合は $ON_MEMORY_MAXを
50000000 を指定しています。(約50MB)

このデータの場合、インデックスのサイズは16MBでした。インデックスは
圧縮されていることと Perl のデータ管理が不明なので、正確な内部データ
サイズは不明ですが、128MB のマシンならまだまだ処理できそうな値で
しょう。たぶん。

今回は総データが約48MBなので$ON_MEMORY_MAXは50000000という値で
収まったのですが、当然のことながらこの値は、主メモリの128MBより
大きな値であっても(内部データが128MBに収まりさえすれば)特に問題は
ありません。
-- 
=====================================================================
寺西 忠勝(TADAMASA TERANISHI)  yw3t-trns ＠ asahi-net.or.jp
http://www.asahi-net.or.jp/~yw3t-trns/index.htm
Key fingerprint =  474E 4D93 8E97 11F6 662D  8A42 17F5 52F4 10E7 D14E