色々試してみてたら， 共起語の各共起回数が少ない場合に相互情報量を使うのは 一つの手段としてアリなのかもとか思った． 例1:相互情報量のが意味がありそうな結果 例2：どっちもまぁまぁ 例3:共起語のが良い結果
色々試してみてたら， 共起語の各共起回数が少ない場合に相互情報量を使うのは 一つの手段としてアリなのかもとか思った． 例1:相互情報量のが意味がありそうな結果 例2：どっちもまぁまぁ 例3:共起語のが良い結果
推薦の勉強の一環のメモです。 相互情報量とは、単語Aが出たら単語Bも文書Xに出るという 情報量の計算に使えそうな理論。 これをクラスタリングする際の指標に使えないかと模索中です。 数式は下記の通り。 数Aとか数Bが超苦手だったので、 解釈があっているのかアレなのですが、 この式をこんな風に解釈できるんじゃないかと考えてみました。 (正しい数式じゃないのでご注意ください) 相互情報量 = log( (全文書に出現した単語の総数 * 単語Aと単語Bの共起頻度) / (単語Aの出現頻度 * 単語Bの出現頻度) ) 多分色々間違ってるような気もするけど。 で、作ったのが以下のSQL。 insert into term_matual_infos( select t1.id, t2.id, log( -- T1 ( -- 語の総数 (select count(id) from terms) * --
テスト結果をつらつら書いてると長くなりそうなので記事を分けた． 情報量にidf値を用いてやってみた． 単語Aが出たら単語Bも出るっていう確率は分子で行っているので， 分母はidfってゆー，対極的重み付けのスコアを使ってみる． 相互情報量 = log( (全文書に出現した単語の総数 * 単語Aと単語Bの共起頻度) / (単語Aのidf値 * 単語Bのidf値) ) 発行したSQLは以下の通り． select t1.id, t1.name, t2.id, t2.name, log( -- T1 ( -- 語の総数 (select count(id) from terms as t_cnt) * -- AとBの共起回数 ( select count(term_id) as co_cnt from document_terms a join terms b on a.term_id = b.id
【新連載】レコメンデーションの虚実（1）～認知限界をどう乗り越えるのか：ソーシャルメディア セカンドステージ（1/2 ページ） ネット情報増大と認知限界 インターネットの情報は、今や洪水のようになっている。この洪水の中からどのように有用なコンテンツやデータをすくい上げるのかは、インターネットにおける最も重要なテーマだ。この問題を解決するアーキテクチャとしては検索エンジンが長く定番だったが、情報のオーバーロード（過負荷）が起きている中で、検索エンジンだけでは対応しきれなくなった。 つまりはネットの情報の総体が、人間の認知能力をはるかに超えてしまっているということだ。これを「認知限界」という。認知限界というのはもともと、1978年にノーベル経済学賞を受賞したアメリカの経営学者、ハーバート・アレクサンダー・サイモンが企業などの組織を説明するために使った言葉である。外の世界がどんどん複雑になってく
レコメンデーションの代表的手法 レコメンデーションには、いくつかのアプローチがある。とりあえずそのアプローチを俯瞰してみると、おおむね以下の5つに分類することができる。 （1）ルールに基づくレコメンデーション （2）コンテンツベースのフィルタリング （3）協調フィルタリング （4）統計学的なアプローチ （5）行動ターゲティング （6）ソーシャルネットワーキング ひとつずつ説明していこう。 （1）のルールに基づくレコメンデーションというのは、「ビジネスルール方式」とか「インテンショナル（意図的な）レコメンド」などと言った呼び方もある。例えば「美容室に髪を切りに来た人に、ヘアケア製品を勧める」「プリンターを買った人に、インクトナーを勧める」など、最初に「ある製品を買った人、ある行動をした人には、この製品やサービスを勧める」というルールを定めておく方法だ。このレコメンデーションはわかりやすいけれ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く