このページは福井県立大学の田中求之が2006年1月まで運用していた Mac のサーバ運用に関する会議室 「Web Scripter's Meeting」の記録です。情報が古くなっている可能性がありますのでご注意ください。

検索ロボットでNetCloakがフリーズ

発言者:DevdevWide
( Date Saturday, January 01, 2000 08:46:33 )


昨年の30日頃から変な検索ロボットが変な動きでNetCloakをフリーズさせ
て困っています。発信元Useraddressは211.40.176.229と211.40.176.230で
ブラウザータイプはempas_robot/1.0libwww/5.2.8と記載されています。
検索ロボットを排除しようとしてrobot.txtを入れてみたのですが
一日のサーブした文書数が40,000を超えることからrobot.txtだけでは
なくてhtml文書に<META NAME="robots" CONTENT="noindex, nofollow">を
すべてに加えたのですが完了ステータスがレクエスト処理中となって
フレーズを起してしまいます。
接続しっぱなしだと当方への問題ないのですがアクセスできなくなって
使用できなくなって再起動させられ、余りの頻繁さにうんざりしています。
ハッカーの一種なのでしょうけど対策をご存じの方ぜひ教えて下さい。

今井真人 さんからのコメント
( Saturday, January 01, 2000 09:23:34 )

 以下のサイトが参考になると思うけど、解決するには
NetBarrierなどをインストールするぐらいしか思いつ
きません。

→  WWWロボットQ&A

田中求之 さんからのコメント
( Saturday, January 01, 2000 12:44:09 )

時々、振る舞いの変なロボットというのはいますねぇ。

私の場合、特定のサイトからの検索ロボットだと判明した場合には、そのサイト
をアクセス禁止にすることもあります(最後の対策ですが)。

以前、地元のプロバイダからのロボットが、URL の解釈がおかしくて CGI の
アクセスに延々とエラーを出すということがあったのですが、その時は、その
サイトからのアクセスを禁止するという措置をとったことがありました。

DevdevWide さんからのコメント
( Saturday, January 01, 2000 13:15:21 )

いろいろ手はあるのですね。とりあえず様子をみながらの対応になると
思いますが、
>私の場合、特定のサイトからの検索ロボットだと判明した場合には、そのサイト
>をアクセス禁止にすることもあります(最後の対策ですが)。
はどのようにするのでしょうか。

たまちゃん さんからのコメント
( Sunday, January 02, 2000 00:06:36 )

NetCloak をどのように動かしているか分かりませんが,Plug-In として
使っている場合は,Web サーバの方で,特定のアドレスからのアクセスを
Deny 文で定義してやるとアクセスを拒否できます。

あるいは,今井さんのいわれた,NetBarrier や DoorStop などのソフト
を使って,特定のポートに対して特定のアドレスからのアクセスを拒否
するという方法があると思います。

DevdevWide さんからのコメント
( Sunday, January 02, 2000 23:40:23 )

早速、NetBarrierを入手してインストールしました。するとNetCloakが
機能しなくなりました。NetCloakのVersionは2.1なのですが
なにが問題なのでしょうか?
NetCloakはカウンターと簡単なPasswordでのアクセス制限なのですが
アクセス制限だけは続けたいので教えて下さい。

たまちゃん さんからのコメント
( Monday, January 03, 2000 23:11:31 )

逆に質問です。具体的に答えていただけると助かります。

1.NetCloak が機能しなくなったというのはどういう現象でしょうか
2.NetBarrier の設定はどのようにしておられるでしょうか

後,Web サーバの種類(バージョン)も教えていただけると参考になると
思います。

DevdevWide さんからのコメント
( Tuesday, January 04, 2000 11:14:00 )

Web サーバはWebStar2.0J、Netcloak2.1です。
NetBarrierはDefaultで完了ステータスがNetcloak準備中のままで
CounterやPassword機能等全く動いていないようです。
Plug-inタイプのBBScgiはちゃんと機能しているので不思議なのです。

たまちゃん さんからのコメント
( Tuesday, January 04, 2000 13:21:27 )

>Web サーバはWebStar2.0J、Netcloak2.1です。

すみません,追試出来る環境にありません。

当初の目的のロボット対策ですが,(NetBarrierを外して)WebSTAR の DENY
文でアクセスを拒否できると思います(日本語では許可と不許可になっている
はずです)。方法についてはマニュアルに書いてありますので,そちらをご覧
ください。

ちなみに,WebSTAR は 2.1J に無料でアップデート出来ると思います。



→  WebSTAR Free Update

Tanny! さんからのコメント
( Tuesday, January 04, 2000 18:45:14 )

NetCloakはCGIの方を使われていますか?だとしたら、Plug-insの方を試してみては?

DevdevWide さんからのコメント
( Wednesday, January 05, 2000 01:46:50 )

vAISSからソフトを揃えたものでUpversionが疎かになっていたようです。
NetCloak.CDBを新しくしてみたら正常にもどりました。
いろいろと教えていただきましてありがとうございました。
検索ロボットはNetBarrierで完全にアクセスを禁止しています。
QuickDNSのUpversionとかいろいろまとめてversionを上げることにしました。