このページは福井県立大学の田中求之が2006年1月まで運用していた Mac のサーバ運用に関する会議室 「Web Scripter's Meeting」の記録です。情報が古くなっている可能性がありますのでご注意ください。

robots.って誰ですか?

発言者:nana
( Date Wednesday, June 26, 1996 18:10:11 )


こんにちわ。
WEBSTARのログをみてると、
06/26/96	13:58:50	OK  	scooter.pa-x.dec.com.	:***:Html:tv.html	1125	scooter@pa.dec.com	43	
とか、
lemon recruitとかいうところから、
ランダムにアクセスしてきているみたいなんです。

で、そこのURLにアクセスするとロボットがどうとかこうとか
(すみません、英語わからないんです。)
書いてあるんですけど、
いったいこれはなんなのですか。
しってる方、教えてください。

別に困ってるわけじゃないんですけど、なんだか、気になるので。

田中求之 さんからのコメント
( Wednesday, June 26, 1996 20:07:31 )

サーチエンジン(ホームページの検索ソフト)が、ホームページの情報をかき集める
のに使っているソフトがアクセスしてきたということです。

芋蔓式にリンクを辿って、色々なページのデータを読み込もうとします。

で、この手の情報をかき集めるソフトの多くは、最初にそのサイトに robots.txt という
ファイルがあるかどうかを調べるようになっています。

ファイルがない場合には、ホームページを起点に芋蔓式にページの読み込みを開始する
のですが、もし robots.txt というファイルがあって、そこに何らかの指示が書いて
あったばあい(読み込んでもらっては困るページなどを書いておく)は、それに従い
ます。

Robots.txt の書き方については、私もよく知らないので、それこそ検索エンジンで
調べてみて下さい。

umbrella さんからのコメント
( Saturday, December 07, 1996 00:20:16 )

早稲田大学(?)の千里眼という検索エンジンのところに多少ですが、
robots.txtの書き方が載ってました。
私も始めてロボットが来たときはかなりあせりました。

すみません。
URLがわかりません。