>小さきサイトであれば、いいですが、大きいサイトでさらに >いろんなところのサイトとなると現実的ではありません。 インデックス作成には最低限1回は 対象文書にアクセスしなきゃならないので 結局はどんな方法を用いてもコストは wgetで取得するのと変わらないと思うのですが。 現実的ではない理由がよくつかめないです。 ディスク容量的な問題でしょうか？ 通信コストの問題でしょうか？