ヨタの日々

_ 午前

0520 起床

0830 検討

_ 午後

1300 検討

1720 退勤

_ 夜

1830 人工無脳は考える

2200 飯。塩鮭

_ 買い物

amazon

B009L169Y0

_ [N-gram][ruby][UTF-8]N-gram の先頭文字が漢字のものだけを選択する

※ ただし UTF-8 に限る

def ngram(gram = 2, text)
  ngrams ||= []
  len = text.length - 1
  0.upto(len) {|i|
    if i + gram > text.length
      return ngrams
    end
    
    t = text[i, gram]
    if t[0] =~ /\p{Han}/
      ngrams << t
    end
  }
  return ngrams
end

def main(argv)
  gram = 3
  text = <<-EOS
いいか、忘れんな。
おまえを信じろ。
おれが信じるおまえでもない。
おまえが信じる俺でもない。
おまえが信じる、おまえを信じろ！"
  EOS

  puts ngram(gram, text)
end

main(ARGV)

% ruby -Ku ngram1.rb
忘れん
信じろ
信じる
信じる
俺でも
信じる
信じろ

ref. Ruby1.9でUTF-8の漢字だけ正規表現でヒットさせる - 屑プログラマの憂鬱