ハッカーと画家から学ぶベイジアンフィルタ

ハッカーと画家 コンピュータ時代の創造者たち

用語

• コーパス
  • (corpus)電子化された自然言語の文章から成る巨大なテキストデータである（引用Wikipedia）
  • 単語の出現頻度のデータベース、と書いているサイトもあり
• トークン
  • プログラミング言語においてソースコードに出現する文字列の中で意味を持つ最小単位「字句」（引用Wikipedia）

なんとなくわかったこと

• ベイジアンフィルタは統計学を用いているらしい
• 形態素解析を使うと高度な戦略を取れるらしい（P128参照）
• 数字のトークンとHTMLのコメントは無視するなどのルールを作ると良い
• 大文字小文字は無視（でも統計を取るときはどちらで保存するのだろう？）
• スパムコーパスと非スパムコーパスを作る必要があるらしい
• ハッカーと画家に書いてあるものはGraham方式、さらに優れたものにRobinson方式というものがある

以上のことをいろいろ調べてみて

すでにRubyで実装している方を発見。ただベイジアンフィルタ自体は作成していないのであくまでベイジアンフィルタの動きの参考。
d:id:zariganitosh:20070713:1184302281

参考URL

http://akademeia.info/index.php?%A5%D9%A5%A4%A5%B8%A5%A2%A5%F3%A5%D5%A5%A3%A5%EB%A5%BF