namazu-ml(avocado)


[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: robots.txt



國頭です。

▲時刻 Tue, 12 Jan 1999 15:17:50 +0900 に
▲KIBE TAIKIさんの出した
▲Message-ID <199901120620.PAA16705@xxxxxxxxxxxxxxxxxxxxx>の
▲[namazu:01886] Re: robots.txt という話題では...

KIBE> 國頭さんの patch ファイルでは、

KIBE*> #$HTDOCUMENT_ROOT = "%OPT_HTDOCUMENT_ROOT%";
KIBE*> #$HTDOCUMENT_ROOT_URL_PREFIX = "%OPT_HTDOCUMENT_ROOT%";
KIBE*> #$ROBOTS_EXCLUDE_URLS .= "^$HTDOCUMENT_ROOT_URL_PREFIX$url|";

KIBE> の記述になってましたので、ROBOTS_EXCLUDE_URLS も $name も 
KIBE> replace 前の directory path になっていましたので、可能でした。

そんなことはありません。
それでは ROBOTS_EXCLUDE_URLS という変数名のくせに中身が DIR になってし
まいます。;) 

KIBE> (ひょっとしたら、私が patch ファイルを書き換えたかもしれませんが・・)

そのようです。というわけで、木部さんのpatch を試される方は KIBE*> 行の
修正もしてください。

また、この木部さんパッチの場合には mknmz を走らせるときの カレントディ
レクトリが DocumentRoot のディレクトリ、あるいはカレントディレクトリ以
下が URL と同様のディレクトリ構造でないと robot.txt にマッチしなくなり
ます。

GORO> ところで、@Flist の中身が膨れることによってメモリ消費が増えるのでしょうか?

これはまちがいでしたね。robot.txt 対応パッチによって @Flist の中身は増
えませんから。


▲時刻 Tue, 12 Jan 1999 14:04:08 +0900 に
▲Gorochan ^o^さんの出した
▲Message-ID <19990112140405B.kunito@xxxxxxxxxxxxxxxxxxxxxxxxxxx>の
▲[namazu:01885] Re: robots.txt という話題では...
▲(詳しくは <199901120426.NAA14480@xxxxxxxxxxxxxxxxxxxxx> も見てね)

Goro>     push(@FList, $name) if 
Goro>         ( (! /^(($DENY_FILE_TYPE)(\.gz|\.Z)?)$/i) &&
Goro>          (! /^($DENY_FILE)/i) &&     # <---- ^ は要らなかったですね
Goro>          /^(($TARGET_FILE)(\.gz|\.Z|\?.*)?)$/i && -f $_ && -r $_);

これはあらかじめ

$DENY_FILE = "($DENY_FILE)|^(($DENY_FILE_TYPE)(\.gz|\.Z)?)$";

としておけば

     push(@FList, $name) if 
	( (! /($DENY_FILE)/i) &&
	/^(($TARGET_FILE)(\.gz|\.Z|\?.*)?)$/i && -f $_ && -r $_);

とできますね。

------------------------------------------------------------
\\  國頭 吾郎 ( Goro Kunito )  [JF7LJB/1]  | I Love \
 \\  東京大学工学系研究科電子情報工学専攻          |  `WISH' \
  \\           羽鳥・相澤研究室 博士課程2年       |    and   \
   \\  Tel 03-3812-2111 or 03-3814-4251 (ext. 6761)|   `JWAVE' \  
    \\  E-mail : kunito@xxxxxxxxxxxxxxxxxxx        |  very much.\
     ============================================================