このページは福井県立大学の田中求之が2006年1月まで運用していた Mac のサーバ運用に関する会議室 「Web Scripter's Meeting」の記録です。情報が古くなっている可能性がありますのでご注意ください。

SimpleText Filter for EIMS

発言者:今井真人
( Date Thursday, December 20, 2001 09:07:51 )


EIMS2〜3用のメールフィルタとして、

SimpleText Filter($75)
http://www.mcfsoftware.com/simpletextfilter/

が開発されています。その使いこなしについて、コメントをつけていこう
と思います。

→  SimpleText Filter

今井真人 さんからのコメント
( Thursday, December 20, 2001 10:44:19 )

SimpleText Filter Prefsというフィルタ設定ファイルを時々入れ替える
必要があるのですが、EIMSの再起動は必要ありません。

ファイルの更新日付を監視していて、更新を確認したら、1分おきに
フィルタを更新する仕様になっています。

フィルタが更新されたかどうかは、EIMSのError.logをみるとこのように
出てきます。

2001年 12月 20日 (木) 10:23:40 +0900    SimpleText Filter-Reloading Prefs
2001年 12月 20日 (木) 10:23:40 +0900    SimpleText Filter-Loading: 0 headers; 0 body; 0 host; 0 rcpt; 0 senders
2001年 12月 20日 (木) 10:23:40 +0900    SimpleText Filter-RAM req: 2 K+ 2 K per SMTP connection
2001年 12月 20日 (木) 10:23:40 +0900    SimpleText Filter-thread reloading prefs
2001年 12月 20日 (木) 10:24:51 +0900    SimpleText Filter-thread reloading prefs
2001年 12月 20日 (木) 10:28:16 +0900    SimpleText Filter-thread reloading prefs
2001年 12月 20日 (木) 10:29:17 +0900    SimpleText Filter-thread reloading prefs
2001年 12月 20日 (木) 10:29:19 +0900    SimpleText Filter-thread reloading prefs
2001年 12月 20日 (木) 10:29:40 +0900    SimpleText Filter-thread reloading prefs

しかし、参ったのは1分おきにthread reloading prefsをEIMSのError.log
に書きだす仕様です。サーバを監視するログがうまってしまうので、
これは改良を願い出るつもりです。もしくはSimpleText Filter 1.1では、
改良されているかも知れません。

今井真人 さんからのコメント
( Thursday, December 20, 2001 11:01:07 )

開発元にメールしておきました。

Subject: Q: About STF specification
To: support@mcfsoftware.com

SimpleText Filter 1.0 is used. EIMS currently used together is 3.0.3.

I think that the place where a filter becomes effective is good at 
the same time it replaces SimpleText Filter Prefs.

What does not need to reboot EIMS is good.

However, it is not good to write out "SimpleText Filter-thread 
reloading prefs" to Error.log of EIMS every other minute.

A log will fill with this.

From now on, is it improved?

今井真人 さんからのコメント
( Thursday, December 20, 2001 13:50:35 )

設定ファイルの例としては、SimpleText Filter Read Meファイルに
書いてある通り、

http://www.oitc.com/EIMS/SimpleTextFilterPrefs.txt

にあります。

→  SimpleTextFilterPrefs.txt

今井真人 さんからのコメント
( Thursday, December 20, 2001 19:10:42 )

毎日プログラムを更新してます。でも、ホームページには何も反映されてない。
ホームページをいじるよりプログラムを直すのが専門のようです。

SimpleText Filter 1.1b4 19-Dec-01
  Fixed a bug that was preventing some dns exclusions from working correctly.

dns排除が正確に働くのを防いでいたいくつかのバグを直しました。

今井真人 さんからのコメント
( Thursday, December 20, 2001 19:38:10 )

サポートから前向きな返事が返ってきました。

>1.1, which is currently in beta, allows for SimpleText Filter 
>messages to go into a separate STF.log file. It also allows for the 
>suppression of the "Thread reloading" messages.
>
>I think that takes care of your concern.

私からの返信で、小言をひとつ。

I understand. 

Please upgrade, while the "Thread reloading" message all does not bury a hard disk.

By the way, a homepage is too simple. 
It downloaded every day and confirms whether it is a new version.

I want you to display a version number by the homepage.

今井真人 さんからのコメント
( Thursday, December 20, 2001 20:03:51 )

前向きな返事がすぐ返ってきました。向こうは朝の5時ですが仕事をしている
ようです。

>Date: Thu, 20 Dec 2001 05:47:19 -0500

>That's a good suggestion. I've made the change.
それはよい提案です。

>I expect 1.1 to be released sometime next week, 
1.1が来週にリリースされます。

>but the 1.1b4 beta is very stable 
しかし、1.1b4ベータは非常に安定しています。

>and you can try it by downloading it from the site. 
サイトからダウンロードすることにより試みることができます。

>If you choose to do so, read the "SimpleText Filter history" as it has 
>all of the changes that have been made.

もし、ダウンロードした場合は、「SimpleText Filter history」を読んで変
更点を調べてください。

今井真人 さんからのコメント
( Friday, December 21, 2001 13:49:33 )

>>but the 1.1b4 beta is very stable 
>しかし、1.1b4ベータは非常に安定しています。

この言葉を信用して、1.1b4を試してみましたが私の環境ではEIMSが
強制終了しました。危なくて使えないので1.0に戻しました。

さっそく、メールで報告!

> the 1.1b4 beta is 
>very stable and you can try it by downloading it from the site.

'STF 1.1b4' was tried. EIMS 3.0.3 has forced to terminate.
In STF 1.0, it is the phenomenon which was not seen at all.

If the log of EIMS is seen, the beginning to operation is strange.

STF 1.0+EIMS Error.log
2001.12.19. (Wed) 12:12:00 +0900    Eudora Internet Mail Server 3.0.3 starting up...
2001.12.20. (Thu) 10:23:40 +0900    SimpleText Filter-Reloading Prefs
2001.12.20. (Thu) 10:23:40 +0900    SimpleText Filter-Loading: 0 headers; 0 body; 0 host; 0 rcpt; 0 senders
2001.12.20. (Thu) 10:23:40 +0900    SimpleText Filter-RAM req: 2 K+ 2 K per SMTP connection
2001.12.20. (Thu) 10:23:40 +0900    SimpleText Filter-thread reloading prefs

STF 1.1.b4+EIMS Error.log
2001.12.21. (Fri) 12:55:03 +0900    Eudora Internet Mail Server 3.0.3 starting up...
2001.12.21. (Fri) 12:55:07 +0900    
2001.12.21. (Fri) 12:55:07 +0900    
2001.12.21. (Fri) 12:55:07 +0900    
2001.12.21. (Fri) 12:55:07 +0900    
2001.12.21. (Fri) 12:55:07 +0900    
                                    ^ There is no character sequence which should go here.

たまちゃん さんからのコメント
( Friday, December 21, 2001 14:17:02 )

今井さんご苦労さんです。

このフィルタを使うかどうかはもちろん使う方の判断によると思い
ますが,使う場合であっても Tom さんのつくったルールをそのまま
使うことなどないように。

念のため。

今井真人 さんからのコメント
( Monday, December 24, 2001 21:18:53 )

バージョンが1.1b5に上がってます。相変わらずホームページで
バージョン告知はありません。

SimpleText Filter Historyを見ると私が付けた注文を受け付けて
くれた様子です。まだ、私の方で追試はしてません。

>SimpleText Filter 1.1b5 21-Dec-01
> Changed how memory is handled a bit to work around reports 
>from a few people that EIMS was locking up after reloading 
>prefs or rules.

今井真人 さんからのコメント
( Thursday, December 27, 2001 08:14:01 )

サポートからメールを貰いました。

>Try the new 1.1b6, and if you still have a problem, please send me 
>the prefs, rules, dns exclusions and any other files the pertain and 
>I'll take a look at it.

さて、試してみよう。

今井真人 さんからのコメント
( Thursday, December 27, 2001 14:32:43 )

試してみましたが、ダメです。

2001年 12月 27日 (木) 14:20:31 +0900  Eudora Internet Mail Server 3.0.3 starting up...
2001年 12月 27日 (木) 14:20:36 +0900  
2001年 12月 27日 (木) 14:20:36 +0900  
2001年 12月 27日 (木) 14:20:36 +0900  
2001年 12月 27日 (木) 14:20:53 +0900  Server closed down.
2001年 12月 27日 (木) 14:20:54 +0900  

今井真人 さんからのコメント
( Thursday, December 27, 2001 14:35:00 )

試してみましたが、ダメです。

2001年 12月 27日 (木) 14:20:31 +0900  Eudora Internet Mail Server 3.0.3 starting up...
2001年 12月 27日 (木) 14:20:36 +0900  
2001年 12月 27日 (木) 14:20:36 +0900  
2001年 12月 27日 (木) 14:20:36 +0900  
2001年 12月 27日 (木) 14:20:53 +0900  Server closed down.
2001年 12月 27日 (木) 14:20:54 +0900  化け化け文字文字が続く...(この掲示板には反映されない)
2001年 12月 27日 (木) 14:20:54 +0900  化け化け文字文字が続く...(この掲示板には反映されない)
2001年 12月 27日 (木) 14:21:53 +0900  Eudora Internet Mail Server 3.0.3 starting up...
2001年 12月 27日 (木) 14:23:17 +0900  Server closed down.

EIMSのエラーログに怪しい記録が出ます。起動させて終了するだけで、この怪
しさです。2回正常に終了させてますが、「Server closed down」メッセージ
は1回だけです。STF 1.0のときには見られない現象です。

今井真人 さんからのコメント
( Saturday, December 29, 2001 15:44:19 )

1.1fc1 がリリースされました。私のバグ情報を出すのが遅れましたので、
開発元にはまだ届いてません。

ベータからファイナルに移るのが速すぎるような気がします。

>SimpleText Filter 1.1fc1 27-Dec-01
>  Changed the version number to reflect final candidate status.
>  The filter now runs in non-development mode. That means that if
> it is not registered, then it will only actively filter messages for 
>12 hours. After that, EIMS will have to be quit and re-launched in o
>rder to filter messages again

今井真人 さんからのコメント
( Sunday, December 30, 2001 09:45:20 )

SimpleText Filter Prefsの提出を求められましたので、メールで送信
しました。

怪しい部分は、日本語のコメント文が付いているぐらいですけど。
もちろん行の先頭にはセミコロンを付けてます。

今井真人 さんからのコメント
( Sunday, December 30, 2001 20:59:18 )

サポートとメールをやり取りして、ようやく判ったのが設定ファイルと
して最低2つ必要だということです。まだ、メールサーバでテストはし
てません。

SimpleText Filter Prefs、SimpleText Filter Rulesの2つです。


例、「SimpleText Filter Prefs」

;ユーザ登録コード(2001.12.20)
regis  登録メールアドレス  キーコード

;For details on usage in this file, please refer to the SimpleText Filter docs.
;pref  usesenderauth
;pref  requiremsgid  550 5.7.0 Message has no Message-ID and is not accepted  STF-No Msg ID from %s at %h (%i)
;pref  checkmsgid  550 5.7.0 Message has invalid Message-ID and is not accepted  STF-Invalid Msg ID from %s at %h (%i)
;pref  checkheader  550 5.7.0 Message has invalid header character and is not accepted  STF-Invalid char in header from %s at %h (%i)

例、「SimpleText Filter Rules」

;.exe, .pif, .bat, .com and .vbs 拡張子のファイルをブロックする
Content-Disposition:  attach%*.exe  550 5.7.0 Possible virus - Mail rejected due to .exe attachment. Contact postmaster for details.  STF-Blocked .exe attachment from %s at %h (%i)
Content-Disposition:  attach%*.pif  550 5.7.0 Possible virus - Mail rejected due to .pif attachment. Contact postmaster for details.  STF-Blocked .pif attachment from %s at %h (%i)
Content-Disposition:  attach%*.lnk  550 5.7.0 Possible virus - Mail rejected due to .lnk attachment. Contact postmaster for details.  STF-Blocked .lnk attachment from %s at %h (%i)
Content-Disposition:  attach%*.bat  550 5.7.0 Possible virus - Mail rejected due to .bat attachment. Contact postmaster for details.  STF-Blocked .bat attachment from %s at %h (%i)
Content-Disposition:  attach%*.com  550 5.7.0 Possible virus - Mail rejected due to .com attachment. Contact postmaster for details.  STF-Blocked .com attachment from %s at %h (%i)
Content-Disposition:  attach%*.vbs  550 5.7.0 Possible virus - Mail rejected due to .vbs attachment. Contact postmaster for details.  STF-Blocked .vbs attachment from %s at %h (%i)

;宣伝メールを除外(2001.12.20)
;題名にあまりにも長すぎる半角空白や、ピリオド、いくつかのタブは、ほどんどの場合スパムである。
SUBJECT:              550 5.7.0 This message is considered to be spam and is not accepted. Contact postmaster for details.  STF-Subject with long space from %s at %h (%i)
SUBJECT:  ..........  550 5.7.0 This message is considered to be spam and is not accepted. Contact postmaster for details.  STF-Subject with periods from %s at %h (%i)
SUBJECT:  \t\t\t  550 5.7.0 This message is considered to be spam and is not accepted. Contact postmaster for details.  STF-Subject with tabs from %s at %h (%i)

今井真人 さんからのコメント
( Sunday, December 30, 2001 21:00:31 )

なお、設定ファイルの例にはタブコードが含まれますが、上記書き込みでは
空白になってますので、注意してください。

たまちゃん さんからのコメント
( Sunday, December 30, 2001 21:50:59 )

これは開発者の方に対してですが,EIMS に対して本当に失礼な
フィルタですね。Glenn さんが怒るのも無理ないわ。

http://www.eudora.co.nz/eimsmailinglist.html

で再度警告を発しておられます。

今井真人 さんからのコメント
( Monday, December 31, 2001 01:08:38 )

>EIMS に対して本当に失礼なフィルタですね。

メーリングリストを購読してなかったのでわからないのですが、どのあたりが
失礼なんでしょうか?

今井真人 さんからのコメント
( Monday, December 31, 2001 01:25:32 )

EIMSのエラーログを横取りして、書き込んでいるようなところかな。

このようなAPIは公開されてませんよね。

たまちゃん さんからのコメント
( Monday, December 31, 2001 08:45:52 )

> どのあたりが失礼

Whitelist というファイルに

;The following line will allow email from the eims-l list to pass through.
s EIMS-L@qualcomm.co.nz

の行があります。STF が EIMS ML からのメールを一時期受け付け
なかったことが頻発して購読者から返ってくるメールの対応に管理
者の Glenn さんが困ったのです。

フィルタの中身を見ずに,Tom さんのフィルタの例をそのまま使って
いる人がいかに多かったかが分かります。1昨日も Tom さんのフィ
ルタが BODY check で Glenn さんからのメールを拒否したところで
す。:-)

今井真人 さんからのコメント
( Monday, December 31, 2001 09:25:33 )

エラーログの書き込みは公開されていました。私の勘違いでした。

今井真人 さんからのコメント
( Monday, December 31, 2001 09:32:29 )

Whitelistは、受け取りを無条件に通過を許す設定ファイルです。それに
EIMSのメーリングリストは無条件に通過を許す。一見いいようですが、
迷惑な話もあるでしょうね。

SimpleText Filter Rulesの設定は、慎重さを求められるということですね。メールのどこにヒットして受け取りを拒否したのか、細かくチェックが必要ですね。

今井真人 さんからのコメント
( Wednesday, January 02, 2002 11:32:29 )

SimpleText Filter 1.1 がリリースされました。

→  SimpleText Filter

今井真人 さんからのコメント
( Wednesday, January 02, 2002 11:35:25 )

SimpleText Filter 1.0はダウンロードできなくなってました。

今井真人 さんからのコメント
( Sunday, January 06, 2002 12:01:45 )

SimpleText Filter Prefs、SimpleText Filter Rulesの2つの設定
ファイルを入れて、SimpleText Filter 1.1を使うと私の環境では
やはり、EIMSが強制終了ですね。

サーバを入れ替えてみようかな。

今井真人 さんからのコメント
( Sunday, January 06, 2002 12:29:06 )

SimpleText Filter 1.2a2がリリースされてました。1.1が済んだと
思ったらすぐに1.2かぁ。やる気十分なのかな。

たまちゃん さんからのコメント
( Sunday, January 06, 2002 12:57:59 )

>やはり、EIMSが強制終了ですね。

開発者の Farokh さんの次のようなメッセージがあります。1.2a2
では直っているそうです。

Warning about SimpleText Filter 1.1 and 1.2a1

This ONLY applies if you are using MULTIPLE rules files.
I've found a bug in how the filter loads the rules from the files 
that could cause a crash if only one file needs to be reloaded. The 
work around, until I get 1.2a2 out, is to make sure you edit all your 
rules files, ensuring that they all get reloaded at the same time.
-- 
Farokh
----------------------------------------------------------------------------
MCF Software...simply dependably engineered
Developers of ListSTAR (http://www.liststar.com/) and MacRADIUS 
(http://www.macradius.com). 

今井真人 さんからのコメント
( Monday, January 07, 2002 08:25:46 )

ずーと直らないもんだから、私は疑心暗鬼になってます。また、テストしてみます。

今井真人 さんからのコメント
( Wednesday, January 09, 2002 12:13:54 )

また、バージョンアップしてます。

SimpleText Filter 1.2a3 7-Jan-02
  Added support for checking of a few headers for validity. The headers are To:, From:, Reply-To:, and Return-Path:. Right now the only check is that there must be a space or tab after the : and before any text in the header. To enable this, add:
pref<tab>checkemailheader<tab>smtp error<tab>log error<tab>stat (optional)
to the prefs file. 
  Fixed a bug that would cause strings loaded from the resource to be corrupted when using the EIMS error log instead of the STF log.


今井真人 さんからのコメント
( Friday, January 11, 2002 07:32:15 )

http://www.meti.go.jp/kohosys/press/0002285/

 経済産業省は10日、スパムメール(迷惑メール)対策として、送信者の
メールアドレスやサブジェクト(題名)に「!広告!」と表記させるための
特定商取引法の施行規則を改正する省令を公布しました。2月1日より施
行されます。

問題は、日本語Subjectの部分。以下のSimpleTextFilterの設定では
無理でしょう。さて、どうするか?

;主題に!広告!と書いているのは広告なので無視する
SUBJECT:  !広告!  550 5.7.0 This message is considered to be spam and is not accepted.  STF-Subject with "!広告!" from %s at %h (%i)

今泉克美 さんからのコメント
( Friday, January 11, 2002 09:47:00 )

rfc2047
http://www.asahi-net.or.jp/~bd9y-ktu/dtd_f/rfc_f/rfc2047j.html

によれば、
日本語subjectが現われた場合には
from 同様、JISにたいして
MIME "B" encoding 、実質的には
base64でエンコードすべきと
解されますが、、、、

以前調べた結果では
実際には、これを守っていない
メルマガ発行CGIスクリプトも
かなりあるようです。

#JISコードのまま送っていたり。
(大部分のメーラがそれを解するのでOKだと
思うのでしょうね、CGIスクリプト製作者は)

今回の「!広告!」のサブジェクトが
どのようなEncodeで送ってくるかは
一概には言えないことになりますしね、、、
FILTERすることに困難がつきまとうかも
しれませんね。


今井真人 さんからのコメント
( Friday, January 11, 2002 14:10:41 )

フィルタは何個でも並べて書けばおしまいなので、!広告!のエンコード
例をいっぱい集める必要があります。

メーラを何種類か並べて、送受信のログを取りましょう。

今井真人 さんからのコメント
( Saturday, January 12, 2002 20:38:29 )

つまらないことですが。

!広告!も対象になっている感じです。
http://biztech.nikkeibp.co.jp/wcs/show/leaf?CID=onair/biztech/prom/163830
http://www.zdnet.co.jp/news/bursts/0201/10/02.html

全角の!と半角!の違いを理解できない人も多いんだろうな。

今井真人 さんからのコメント
( Monday, January 14, 2002 00:03:01 )

暇つぶしにサンプルを取ってみました。

サンプルの検証はメーラのSubject欄にそのまま入れて、自分に送信
してから再び受信後に正常に日本語変換されることを確認しました。

!広告!
=?ISO-2022-JP?B?GyRCISo5LTlwISobKEI=?=
=?ISO-2022-JP?Q?=1B=24=42=21=2A=39=2D=39=70=21=2A=1B=28=4A?=

!広告!★
=?ISO-2022-JP?B?GyRCISo5LTlwISohehsoQg==?= 
=?ISO-2022-JP?Q?=1B=24=42=21=2A=39=2D=39=70=21=2A=21=7A=1B=28=4A?=

!広告!☆
=?ISO-2022-JP?B?GyRCISo5LTlwISoheRsoQg==?=
=?ISO-2022-JP?Q?=1B=24=42=21=2A=39=2D=39=70=21=2A=21=79=1B=28=4A?=

!広告!
!=?ISO-2022-JP?B?GyRCOS05cBsoQg==?=!   
=?ISO-2022-JP?Q?=21=1B=24=42=39=2D=39=70=1B=28=4A=21?=
!=?ISO-2022-JP?Q?=1B=24=42=39=2D=39=70=1B=28=4A?=!

!広告!★
!=?ISO-2022-JP?B?GyRCOS05cBsoQiEbJEIhehsoQg==?=
=?ISO-2022-JP?Q?=21=1B=24=42=39=2D=39=70=1B=28=4A=21=1B=24=42=21=7A?=
!=?ISO-2022-JP?Q?=1B=24=42=39=2D=39=70=1B=28=4A=21=1B=24=42=21=7A?=

!広告!☆
!=?ISO-2022-JP?B?GyRCOS05cBsoQiEbJEIheRsoQg==?=
=?ISO-2022-JP?Q?=21=1B=24=42=39=2D=39=70=1B=28=4A=21=1B=24=42=21=79?=
!=?ISO-2022-JP?Q?=1B=24=42=39=2D=39=70=1B=28=4A=21=1B=24=42=21=79?=

導き出される結論として以下の5つのパターンのSubjectを適応する必要があります。

=?ISO-2022-JP?B?GyRCISo5LTlwISo
=?ISO-2022-JP?Q?=1B=24=42=21=2A=39=2D=39=70=21=2A
!=?ISO-2022-JP?B?GyRCOS05cBsoQ
=?ISO-2022-JP?Q?=21=1B=24=42=39=2D=39=70=1B=28=4A=21
!=?ISO-2022-JP?Q?=1B=24=42=39=2D=39=70=1B=28=4A

今井真人 さんからのコメント
( Monday, January 14, 2002 00:30:23 )

具体的な設定は、このような感じになります。なお、<tab>はタブに変換して
ください。

;主題に!広告!と書いているのは広告なので無視する
SUBJECT:<tab>=?ISO-2022-JP?B?GyRCISo5LTlwISo<tab>550 5.7.0 This message is considered to be spam and is not accepted.<tab>STF-Subject with "!広告!" from %s at %h (%i)
SUBJECT:<tab>=?ISO-2022-JP?Q?=1B=24=42=21=2A=39=2D=39=70=21=2A<tab>550 5.7.0 This message is considered to be spam and is not accepted.<tab>STF-Subject with "!広告!" from %s at %h (%i)
SUBJECT:<tab>!=?ISO-2022-JP?B?GyRCOS05cBsoQ<tab>550 5.7.0 This message is considered to be spam and is not accepted.<tab>STF-Subject with "!広告!" from %s at %h (%i)
SUBJECT:<tab>=?ISO-2022-JP?Q?=21=1B=24=42=39=2D=39=70=1B=28=4A=21<tab>550 5.7.0 This message is considered to be spam and is not accepted.<tab>STF-Subject with "!広告!" from %s at %h (%i)
SUBJECT:<tab>!=?ISO-2022-JP?Q?=1B=24=42=39=2D=39=70=1B=28=4A<tab>550 5.7.0 This message is considered to be spam and is not accepted.<tab>STF-Subject with "!広告!" from %s at %h (%i)