このページは福井県立大学の田中求之が2006年1月まで運用していた Mac のサーバ運用に関する会議室 「Web Scripter's Meeting」の記録です。情報が古くなっている可能性がありますのでご注意ください。

近ごろの Robot

発言者:田中求之
( Date Thursday, February 12, 1998 15:28:05 )


最近、Bspider というロボットが入り込んでくるのですが、これが User Agent
に余分な情報を山ほどぶら下げてくるので、エラーを起こしているんですよ(CGI で)

どっかのサーチエンジンのロボットだと思うのだけど、DNS 逆引でもホスト名が
わからないので、何もんなんだ?と思ってます。

どなたか、こいつの素性をご存知の方、いますか?


それと、最近、ロボットでも何でもないブラウザが、やたらと robot.txt の
リクエストを発行するんですが、WINDOWS (NT) にロボット機能でも組み込
まれたんでしょうか? それとも、オートパイロットかな?


たまちゃん さんからのコメント
( Thursday, February 12, 1998 16:36:50 )

>>どなたか、こいつの素性をご存知の方、いますか?

最近よくやって来ますね(今も来てる来てる)。本家の

http://info.webcrawler.com/mak/projects/robots/active.html

に行けば分かるのですが、今アクセスできません。↓をご参照ください。


→  私の探知したロボット君

田中求之 さんからのコメント
( Thursday, February 12, 1998 18:34:52 )

さっそくの情報をありがとうございます。

な〜るほど、そうだったのか。ついでに、いろいろなページを見たりして、
ひさしぶりにネットサーフィンしてしまいました。

ひろ さんからのコメント
( Thursday, February 19, 1998 15:39:57 )

久しぶりに、投稿します。
今頃、田中先生はきっと、幕張にいらっしゃるとおもいますが、
誰かの助けを求めて、投稿します。
実は、私はズブのド素人です。
私のWebSTAR 2.0 にこのような表示がでました。
これって、なんでしょうか?

02/19/98  15:13:20  ERR!  206.3.9.253  :robots.txt  179

WebSTAR 2.0 ステータス:80のウィンドウに上記のような
エラーメッセージが表示されました。

ちなみに、私のマシーンには、robots.txt なるファイルは
存在しません。

どなたか、この状況が分かる方がいらっしゃたら、教えて下さい。

稲垣@信州 さんからのコメント
( Thursday, February 19, 1998 16:51:33 )

 私も最初驚きましたが、Robotの仕様です。

 このrobots.txtに、ロボットに対する指示が出来ます。例えばローカルな
情報なので見られたく無い場合にアクセスしない様に指示が出来ます。
 サーバにアクセスする時に先ずこのファイルを読みに行き、どのディレク
トリ・ファイルがサーチして良いのか悪いのか等の、サーバについて基礎情
報を得ようとします。

 確か昔の発言でその辺の情報があったので、そちらを調べると分ると思い
ます。


ひろ さんからのコメント
( Friday, February 20, 1998 09:47:23 )

稲垣@信州さん
早速、回答ありがとうございます。

なるほど、そういう訳だったのですか。

ナットクしました。