namazu-ml(avocado)


[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

robots.txt



國頭です。

本日の議論の流れとは全く外れているのですが、namazu-1.3.0.1/src/mknmz.pl 
をrobots.txt を参照するようにしてみました。
robots.txt の扱いについては以前に議論があったような気がするのですが忘
れてしまいました。 

Disallow: 行しか見ません。Disallow 行がある url についてはすべて除外し
ます。

Makefile 中で 以下の変数を指定します。

OPT_HTDOCUMENT_ROOT	= /usr/local/apache/share/htdocs
OPT_HTDOCUMENT_ROOT_URL_PREFIX	= http://www.foo.domain.jp/
OPT_ROBOTS_TXT		= $(OPT_HTDOCUMENT_ROOT)/robots.txt
OPT_ROBOTS_EXCLUDE_URLS	= ''

OPT_ROBOTS_EXCLUDE_URLS はrobots.txt に書かれていない他のdirectory を
除外するためのものですが、普通は何も書かなくて良いでしょう。
OPT_HTDOCUMENT_ROOT に Location / にあたる directory,
OPT_HTDOCUMENT_ROOT_URL_PREFIX にその prefix を入れます。

いかがでしょうか?


#mknmz.pl と Makefile への patch が含まれています。
#実は 1.3.0.0-b8 でテストしたので、1.3.0.1、及び Makefileはまだ試して
#いません。 ^^; 


begin 644 namazu.robots.txt.diff.gz
M'XL("'7XDC8"`VYA;6%Z=2YR;V)O=',N='AT+F1I9F8`Q5?=;^/&$7^6_XJ1M
M0L64+9$B)7_)L:^*3?O4Z.,JR8B3XUF@R97$GD2J)!7;%SO_3.F^]"$!FD-J&
M%&T"M$B;2Y&@0!\*%,@!?6IS>6K?B\XNJ<^C/]*@S5H&R=F9V=F9W\S.&F:[R
M#1G=`4OK:T^&&4G("5E!$@S3]437T<6*]IBTS1X13&N.9WYZ86EIZ2YJ8GN.I
M";M$!WD%I(W"RDHANX8O&^L+F4SFEC5B;Q(#?JA9`*L@Y0NYC4)>IK(;=/'I3
MP8R1<AMI*9\'1J#*&6%%`GS/+`#4'C1;>Z6RTFJ4WE9:Y5*EU(QMP6J6#IS&6
MWRO?>2PLHQ*HV\>VYPK>J8??=-G[S=W:SD%%J39;]5J-+BL.74?LV;K6$[6!L
MIG>)Z'8UAXA=S[!U-UJL=5`OMQ[4E;W2(6KH>MZ@((HG)R="V[8%P^YKIB7\<
M>""&PO7:Z[5FH]4\;,:0F^,C%*9$9][24$HYW"D?["ITQ09*+R[B--O;=W80=
M]3+&=*!9Q"7PP+%UXKJV$]`!EN"-XAO%1@F"40`8(EM`F_#LW"\VE.HLSTY7A
M:Q`K$AFR)*5E:76"#%E:3\ORV@@9,:HF0V#1C2<C4)*,!]Z;(Z?BG450(\3+A
MI==W2W4J%;Q=SUBL[A\4]Q7&&KZ'S,LO,<_%;F34?$CO*#Z%I6LT37%<JW2"^
ML9&2">4VH6F(S4E/3\TZK__8ZC\1!CW8!NX'E*AW^[8!RZ?!YX)Q6X$;*XBH?
M/*.Y&TO;B"FBKJW>6-?&@K-%+9\O2&O7%[6<O)[.Y7(3Z#("5KD0NI@096)UL
MO"[8;7"'_;[FG"&9:QQ4*L7Z6ZVR4MUOWH<MD+/93>HAFL1!E6*Y3U,?_,\_9
M_(M_Y;_XY/GOOAXQ],^`!VX.$^F7*%,H25/E;'`3%*3'']-!A=0F,P5_\PK1=
MU$0DWA.;$=Q3R]\B.#'I.L;IE)B1F;%\)!R%8B8U.DJ"X&"!ZSA:'XY)Q[3<E
MR!#GY=5T/K<6A!@A/7!,RP.E7J_5&[3D0(+3Z8$(''$<U4IL4OTQAWA#QX(LH
M.A)#&7R<F(B#+)AM0$Y64^FX6(BS)Y)YCAU-RJG>&QJD-O#@U5?!=+M>O\<'@
MBZ0H!05BG&Y;'K$\%[;>`[&B-(NJNUPM5A357=K"?_ZANJ@F'MU+!8Y0)9Q^G
M>+3]:&FG5FVB2^?9A*5[?+56JNXJA^?56E6A!%5F$MNBF8)WV:)H-_6PZ0()D
M;#30<[I&ZSOB^S5JQC:0'NFC90*Z.SYR%T>-;^GV$-^7PR^7="@?")``;NCTL
M1@Z$H=7#0P>X'PU-XJ$7IO3<Z/;XMW-[\'P%:D-O,/1@$)QUIM4!IA=K!`'-_
M!81.R'KWK43O@M8'1%(ZOS*N#_]W-(7:*6A4@<=\K91;C8,]>HIPH@EAH)DT5
M#0GR]<6H1!MC@A64FW$QZ6($NJ.1U+='QISH;6"@G'?Q'+)>(&I=MNOO(Z_N!
MX,/(W/KOO!B=7_\;MWY_R19Y!9$V5M.2G)6F+B&RE$.2G!UE)!W&,;5'[VI6O
MA_"<S4QN&::3V@P9\$*@/VX-'.R1+:]E6@8YY5/A^4W'`\UQ27#-:)YZ?"HRO
M'5/A<<0:IS/,S*'C4'6X$`)!/S'XJ?4HD?,TIT,"AO-S,$R"`9K0"L#%69*$+
MIWRS6-]7FBWL<"?J(MOO=7DC+:_GIJYF\GH>._#U]1FO3)4.GMM5]HH'Y:#IK
MQLI![7F93;UWS03/[>R7J&4IS`'JAHOP`C-U-P/_BT\_\Y]?_=M_SF9V35?K,
M]>P3N/KS!\]^\8'_I>_[O_6?^OX?G_[J!7*XP^,YOP.?>C<,2/^,U3.VUJ@\5
M6K8'F3:Z<-)[)&A"8DM\HB&>IR?`L(D+5(*<8JOILE8B%E48MQ*J%\R.<R1<S
M\R)\V@-B\4R2-6!SZX\"NZ-9BQ[CG6F.QD$.=)UTT:7\:R-MVVS#,?%HY*P"G
MK45J8QG]3*N_80?[8^%@]1TX:7.6\AZXHIH4D_**V&'I_<NG_L_]?WSXE?^5L
M_XW_`I+@?PDXBVWILS]=7<$[DD#_Y)>U\`^/M,R38N;M;&9#S:@M55!%M:`F[
M'Z7H)3@6<UF.M_E$,IG,RH>)M.T8/">E4F*'C(VBD>*YQEN-IE(!\A-(5!IO2
MFE9.#EPU,V.[2`TC&*-ER?5L!R\VYXO0MATP'/,=`CWB><0!9]AC=97I2D.M[
M(;(-Q,;6QX_0?K3]42JYMA,7.>D\;HZ-NAAO-JH'%;",']W0"M,US@.,7,QA-
M0^_9+AF#8PQ7O6L/^*BU6(6X"'M:+*6602]/_C_]O_K_\K_XS?O^1[_V/WGJ^
M?^1_"HVS_K'=,W7HF=9C\)]=_O[RIY??7+Y_^8?+K_V_^1_[G_DO_+_[/_,_A
.1_:/%_X#.)F`L(P2``!CF
``
end
size 1814
END--cut here--cut here