namazu-ml(avocado)


[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: robots.txt



木部@松下電工です。

> 國頭です。
>
> ただ、気になることがありました。
> 
> KIBE>  unless ($RobotExcludeOpt && $name =~ m/$ROBOTS_EXCLUDE_URLS/i) {
<---追加
> 
> $name と そのままの ROBOTS_EXCLUDE_URLS で match しますか?
> $name には URL ではなくて replace 前の directory path が入るような気が
> したため、毎回 dirctory path -> url に直してmatch させるのが面倒だった
> ので僕は @Flist のところで処理しませんでした。

國頭さんの patch ファイルでは、

#$HTDOCUMENT_ROOT = "%OPT_HTDOCUMENT_ROOT%";
#$HTDOCUMENT_ROOT_URL_PREFIX = "%OPT_HTDOCUMENT_ROOT%";
#$ROBOTS_EXCLUDE_URLS .= "^$HTDOCUMENT_ROOT_URL_PREFIX$url|";

の記述になってましたので、ROBOTS_EXCLUDE_URLS も $name も 
replace 前の directory path になっていましたので、可能でした。
(ひょっとしたら、私が patch ファイルを書き換えたかもしれませんが・・)


> ところで、@Flist の中身が膨れることによってメモリ消費が増えるのでしょうか?

私も正直に言いまして、あまり影響は少ないとは思いましたが、実際に Out of Memory
になってしまいました。
恐らく、私の環境があまりにも貧弱なのでしょう。

namazu-v1.3.1.0 の公開を心待ちにしております。

*****************************************************
木部 泰樹(キベ タイキ)E-mail : kibe@xxxxxxxxxxxxx
松下電工株式会社
事業開発部   デジタルメディアシステムグループ
〒571-8686 大阪府門真市大字門真1048
TEL:06-903-3091 FAX:06-904-8225 MIC 7-711-4061
*****************************************************