namazu-ml(avocado)


[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

some small modifications



高林です

今まで手をつけていなかった小さな改良をいくつか行いました。

v1.1.2.2-snapshot-1
	[4/25/98]

	* tf・idf法を実装 (Makefileおよび .namzurc, コマンドラインから指
	  定できます)
	* 送り仮名の削除をするオプション -G をmknmz に追加
	  (古川@ヤマハさんのコードを元にしています Thanks!)
	* 両端の記号を削除をするオプション -E を mknmz に追加
	  (古川@ヤマハさんのコードを元にしています Thanks!)
	* ロボットよけされているファイルを除外するオプション -e を追加
	  (現在は <META NAME="ROBOTS" CONTENT="(NOINDEX|NONE)"> のみ対応)
	* <META NAME="DESCRIPTION" COTENT="...."> に対応しました
	* インデックス済ファイルの登録 (NMZ.r) をフルパスで記録することに
	  しました
	* 出力する HTML を 4.0 Strict DTD に変更
	* -C のメッセージに無意味な WAKATI_TMP が残っていたので削除
	  (v1.1.2.1 で直したつもりだったんだけど)
	* Makefile.OS2 が uuencode されたままだったのを修正

tf・idfは

    idf   = log(N/n) / log(2);
    score = tf * idf + 1;

のように計算しています。最初は

    idf   = log(N/n) / log(2) + 1;
    score = tf * idf;

のように計算したのですが、これだと "the" のような頻出単語のスコア
を期待よりも落とせなかったので上のようにしました。与えられたキーワー
ドがひとつのときは tf・idf の計算をしないようにしています。

また、 tf・idf 法を用いたときは AND, OR 時ともにスコアは単純に足し
算して計算するようにしました。ちなみに、今までは AND のときはスコ
アの低い方を、 OR のときは高い方を、というルールでスコアを決めてい
ましたが、これはこれで割と悪くない方法だったと思います。

…といったものを

<URL:http://saturn.aichi-u.ac.jp/%7Eccsatoru/Namazu/proto/>

に namazu-1122-snapshot-1.tar.gz として置いておきます。特に tf・
idf 法のあたりを試してくださると助かります。

P.S.

HTML のリンクをチェックする簡単なプログラムを作ってみたのでおまけ
でこのメールにつけておきます (たぶん同じようなプログラムはたくさん
あるでしょうけど)。良かったら使ってみてください。

--
高林 哲 Satoru Takabayashi

begin 755 linkchecker.gz
M'XL("%N2034``VQI;FMC:&5C:V5R`)U865/;2!!^MG]%1ZBPQ"$!3ULV-I#$
M)!0&9Q,G+PA2LC2VE,@CHP-"K9/?OMTS(\F'3&VM`2//?-W3=_=XYXV=IXD]
M#KD]9TG4W&GN0!K.YA&#CZ.;`40A_PE>P+R?+,&M\0M\<;,XR6'D_G3'[HN;
M!B&<>EXJ5L^?V-2UW-`+PL/<<CWKQ[PG6%YEK11XG,$\?F;))(]@G&>0IXP>
M&8_S:0!7D`5T6OO0%#37/'[F,$_B<<1F:1M7`/;`CP4?+^9IZ+,$3M]>?.GW
M@"&&\4R!/)=#X'(?M8AY]`):D&5SC7AEL1='\!QF`7S]/,!SFOK7+Q<?^M"%
MT]/^\*;3!!3+G;(VZ$=P>A@]/@UZ,`DCEEJ6A9OX.HS:TB22>11[;B0,E:K]
MQS8\YB'+8!;[#!<,DCC.LSGJ/+R&&4OI!%.AG]KPQ))QG#*)-V9QPB#DDSB9
MN5D8\P+XK0UBJT`;809A"C,W)#$0#CX;YU,R:T$R:$,:Q,\H78H23,"-E*16
M$Y5M-IN(A7?/?J>9,!09F;>\P,U.K'G4ZJ!M%FB7XTY3?X];'GKXY8K[[!<N
M:B$]6$$VBS3<'UW=](=?1X0^ZC3/!RZ?YJABB@N&QKAV`-H/5S.1Y2Z):]!3
MFH^%[&"8\(^0]SE`.X.A7WS^\.WNZ!ZZ?Z!UV*+=AOZW,*A\X2D03E:!]J.-
M3!OZ`#4-^70[;B!QWY01M^*>).X&+5Y@:W'?U+D4!4-RQ!9^D<!ANDPRXYPV
MS(Y0^G=3_".\6(9N%XZ$SO,DY!G(^$12]BO,5DCT2S07=V?L$\:5.E.RZ)'3
M!`:C@KE>`/I$F%8>+`SJ/?M(A._DC$9QFH:G2VRWZW"-6"Z;`)%",8E`K1X,
M:\]T;'JW!5\A6.:'"9E!1S'DBB<I0#_!E=^8KFC.=;1F:1MP^D\4S887$$R`
M<2&>,VY<7@WZ&%D2K9FP6(`?,EQXTY:4J`%BS[/9G/*;X#W\[$6HB2`6GL-2
MDF'I0,2/&$.SU3H`HJ"]<Y$W&,.KP#\@Q4SMTPLGW;][Z-WOG7W\W+]TTKTN
M_AEWCN:T[L],@[;V3>=80'IVL]&8YVE@"+X':`S3GK(P1>:EGT3!E8#2GL+D
M*K#%8N$L@99*-CC[E2GS_5XB$_Q0XMGBP5Y(8K4FJV+;MD4!"^(TT\"2`KS.
MQW">]TVD6\#N+E2!+YEOBJ$G+,TC,J,HFH93&/)`'G:`X:XH$JR0,KC*/45M
MK@2!1Q6K,$)MF,KS?\LJ(XLU'JP7E6;V@BJMBZ%/&=J\"^??.Q5('B]#@I!8
MV4JA\`&34GA2R>QR+X@3LU/E=&DXS)%]TW!V\%UFBE[$."6)HBPRI*$J7:ED
MKT?H,JQ[/8EO%T=NSU5M>*T!>ZPQOI3YV%R)L^UP>1!Y2X51Z5>B*7Q>IO;R
MOM!4F$KT?:6KHQ7":W`[','E\.OM>ZT*GK4R4;%;`2,P85F>\`)1.'_3`P\[
MRO*R(!2A+C_^P71&@$T+G')>7T[XE52_O;CIJU07F7YV3RR<X[,RS:7W]%T[
M3*=F431Y5=I?58C4K@xxxxxxx;<::!+GW+>$K6GTR'GXF%-X<A`[TFRK[EI/
M<NS,41:W%W6GXW3%:!]<W\?5=%7J)2:JP-0QH2T98_5YN(TE=IHS<PM/+>=I
M/I_'2<;\:MAKZ<>M36NM1H9CZS(T&CG'42\%X]"7XLC5U_Q5R5GD#JXUD/L3
MCH5=^0'6596E>VVNTI3N9G6H2O^]/=49<-[S"YH#')@9AP1G[L0'-X4ZGD5A
MJ(I"?2PMF6<=4!XH<1N)3JH?3EXQESJA-+NHLX1;;>-$O][%EQK<1A]OK'5R
M+#FO-?.BK-3$E4US;!$!=6;W8Y;R5@:JW&?)"\V8D1IS8>YF&<,*A/.Z%^`]
M`?;VR.YUAJ\:/1)CHR]'9661C3BB^X,*I?H@L@2KM=BITT("*82&UU9-7$BW
MR3(MQOZ&\'9IM])_`J+.J7?S4G0T*BGJ[043+"7,K\Q6B+(NWM8$7'%L;0BO
M)6S58I9ZQ7H74<-#6:C$`/$_)HB4)7ACJV:$<G:8L2R(?7P8YQ-\#YCK2USD
M3E=&B")?%`4I]*$_(E66`U[3.FLU?0G_L7_Q7MO:&6<+5:E%=35LG.9E?57"
MEU/*\A2O_'HG(9BK\N'^;FE2N=\^E[SQV23DS#?HPMEN4R7X3J6[,MA?1^;F
MJ$&>O'@[Z,-H"&_[\&YX>]M_-^I+QZZ[4(Z,Q%X(:VB%1:0B'T>C3_:Q=>1P
M%%.,^&GF9CG=6O$6VU#7T:4&C(X2:4@<V:\Y5D6CN/H>0,O:=SC6FY:^B^\4
ML(V6VA2K)>_CUH'<[0\O5W=.6L4D+-Q3K!=#P'^V0^2FY1!>%KN*VXGDMHY2
M8YM0DB8>!Z=*&W^)8Q5H5E?:@;R*@2DV*6*+&VA!;S_HDE+&-=%I3D:[&J@F
M*^@ZJH,4=-CCA5\<WW)\.#DZ6KS64RKU:LD-QZ>?,I[7N(B@WBP'50)5YX51
MA'TVHF^-M*4T*BYB4LDM%Y$ME85N.S1FKM:4VMN/JBD"54PHI7!TMQA>+\1(
MMBB;M6F+ZYGXWF3IZP1-'-"6DBY]@5`E=#EHJ`,LT7_+"Q6^_@6(W#4N-10`
!````
`
end