:-): 午前, 午後, 夜, 2012年の日記から TF-IDF を計算してみた。

_ 午前

0930 起床

1030 おひる。そうめんをうどんのように

1130 アニメ消化

_ 午後

1400 選挙投票

1430 散歩

_ 夜

1700 アニメ消化

1800 自然言語処理ほげ

2130 飯。白菜と豚バラ肉のにんにくみそ鍋

_ [TF-IDF][自然言語処理]2012年の日記から TF-IDF を計算してみた。

やりかたは山下達雄さんのところのそのまま形態素解析と検索APIとTF-IDFでキーワード抽出

Microsoft Windows 7 64bit
cygwin
ruby
mecab

ディレクトリを 2 回舐めてるとか mecab の ruby binding 使わないのとか言わない。

タグクラウドにしてみたんだが、ううむ。

#!/usr/bin/ruby -Ku

# TF-IDF を求める
#
# [を] 形態素解析と検索APIとTF-IDFでキーワード抽出 http://chalow.net/2005-10-12-1.html
#
#

require 'pp'

# 形態素解析
def analysis(inputfile)
#  mecab_cmd = '/cygdrive/c/Program\ Files/MeCab/bin/mecab.exe'
  mecab_cmd =  '/cygdrive/c/Program\ Files\ \(x86\)/MeCab/bin/mecab.exe'
  text = `#{mecab_cmd} -b 81920 #{inputfile}`

  words = []
  lines = text.split(/\r\n/)
  lines.grep(/固有名詞/) {|line|
    words << line.split("\t")[0]
  }

  return words

end

# キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)
def getTF(inputdir)

  tf = {}
  tf.default = 0
  n = 0
  
  Dir.glob("#{inputdir}/*.td2").each {|e|
    next unless FileTest.file?(e)
    
    n += 1

    words = analysis(e)
    words.each {|word|
      tf[word] += 1
    }

  }
  
  return tf, n
end


def getDF(inputdir, tf)

  df = {}
  df.default = 0
  
  Dir.glob("#{inputdir}/*.td2").each {|e|
    next unless FileTest.file?(e)
    
    tf.each {|word, count|
      count = getCount(word, e)
      df[word] += count
    }
  }
  
  return df
  
end



# 代表キーワード候補が含まれるドキュメントの数 (DF)
def getCount(word, inputfile)
  text = File.open(inputfile).read()
  hit = text.include?(word) ? 1 : 0
  return hit
end


def tf_idf(inputdir)

  tf, n = getTF(inputdir)
  
  df = getDF(inputdir, tf)
  
  tfidf ||= {}
  tfidf.default = 0

  df.each {|word, count|
    i = tf[word] * Math.log(n / df[word])
    tfidf[word] = i
  }
  
  return tfidf

end

def main(argv)
  indir = argv[0]
  outfile = argv[1]
  
  tfidf = tf_idf(indir)
  
  tfidf.reject! {|w, c|
    c <= 0
  }
  
  ts =  tfidf.to_a.sort {|a, b|
    b[1] <=> a[1]
  }
  
  ts.each {|w, c|
    puts "#{w} #{c}"
  }

end

main(ARGV)

実行結果

% ruby -Ku tf-idf.rb diary/2012 out.html
nop 236.58737312781275
JPG 202.78917696669663
span 115.12925464970229
eax 90.12852309630962
NULL 67.5963923222322
Using 67.23527651431469
migemo 57.93976484762761
下田 39.14394658089878
固有名詞 36.841361487904734
edx 36.841361487904734
father 34.53877639491069
伊豆 32.23619130191664
ebp 31.191623125197538
drwxr 25.751006598945605
docstring 23.02585092994046
idx 22.532130774077405
leave 22.532130774077405
nil 20.873633484694086
光田 20.723265836946414
esp 19.408121055678468
quickml 19.313254949209202
css 18.420680743952367
ライカ 18.420680743952367
池上 18.420680743952367
マイクロソフト 18.420680743952367
彰 18.420680743952367
agent 18.420680743952367
ebx 18.420680743952367
Installing 18.021826694558577
gmake 17.577796618689757
マツダ 17.328679513998633
digi 16.11809565095832
おせん 16.094379124341003
Gemfile 14.484941211906902
checking 14.281959752685427
Dirty 13.815510557964275
KOZOS 13.815510557964275
Downloading 13.815510557964275
occupied 13.815510557964275
delete 13.815510557964275
パトリシア 13.815510557964275
xgcc 13.815510557964275
タミヤ 13.815510557964275
execinfo 12.875503299472802
yes 12.476649250079015
awesome 12.084735175349207
printf 11.78350206951907
英国 11.51292546497023
川澄 11.51292546497023
綾子 11.51292546497023
雅叙園 11.51292546497023
篠原 11.51292546497023
nbmake 11.51292546497023
日銀 11.51292546497023
nonword 11.51292546497023
明治 11.51292546497023
raise 11.51292546497023
statetab 11.51292546497023
熱海 11.51292546497023
specifiers 11.51292546497023
まりこ 11.51292546497023
鎌倉 11.51292546497023

 :

タグクラウド


		2012年 12月
日	月	火	水	木	金	土

ヨタの日々

2012-12-16 :-)

_ 午前

_ 午後

_ 夜

_ [TF-IDF][自然言語処理]2012年の日記から TF-IDF を計算してみた。

プロフィール

サイト内検索

よく使うサービス

リッジレーサー7

ニコニコカレンダー

最新のツッコミ

読書メーター