■NINJAL-LWP for TWC とは NINJAL-LWP for TWC（ニンジャル・エルダブリュピー・フォー・ティーダブリュシー、略称NLT）は、日本語のウェブサイトから収集して構築した約11億語のコーパス『筑波ウェブコーパス』(Tsukuba Web Corpus: TWC）を検索するためのツールです。検索には、国立国語研究所（以下、国語研）とLago言語研究所が共同開発したコーパス検索システムNINJAL-LWP（NINJAL-LagoWordProfiler）を利用しています。同じシステムを利用したツールに、国語研が構築した1億語の『現代日本語書き言葉均衡コーパス』（Balanced Corpus of Comtemporary Written Japanese: BCCWJ）を検索するNINJAL-LWP for BCCWJ（NLB）があります。 このツールはレキシカル
Groongaについて Groongaはオープンソースのカラムストア機能付き全文検索エンジンです。Groongaを使うと全文検索機能付き高性能アプリケーションを開発することができます。 特徴 最新リリース 2025-02-21にリリースされた15.0.2が最新リリースです。 インストール ソース 最新記事 Groonga 15.0.2リリース！ (2025-02-21) Groonga 15.0.1リリース！ (2025-02-20) PostgreSQL用ゼロETL高速日本語全文検索モジュールPGroonga（ぴーじーるんが） 4.0.0リリース (2025-02-09) Groonga 15.0.0リリース！ (2025-02-09) Groonga 14.1.3リリース！ (2025-01-29) Groonga 14.1.2リリース (2024-12-24) PostgreSQL用
第2回自然言語処理勉強会＠東京 にのこのこ行ってきました。 ありがとうございました＆お疲れ様でした＞各位。 今回も全然専門じゃあないのに「ナイーブベイズで言語判定」というタイトルで発表してきた。 ナイーブベイズによる言語判定 from Shuyo Nakatani 内容は、仕事で作った(←ここ重要)言語判定ライブラリの紹介。 前回の「本文抽出 using CRF」は検証プロトタイプであったわけだが、今回はオープンソースとして公開＆最終的に製品に組み込むことを目標とした代物なので、「なんか良さげな感じ〜」だと駄目。目指すのは 50言語、99.うん%。 精度を上げるためにやれることならなんでもやる、というのがミッションなので、限りなく泥臭いことの積み重ねになる。 というわけでここ2ヶ月の積み重ねを資料にしてみたら、なんか膨大になってきて、また今回もしゃべりすぎてしまった(汗 楽しんでいただけた
This dataset was collected and prepared by the CALO Project (A Cognitive Assistant that Learns and Organizes). It contains data from about 150 users, mostly senior management of Enron, organized into folders. The corpus contains a total of about 0.5M messages. This data was originally made public, and posted to the web, by the Federal Energy Regulatory Commission during its investigation. The emai
もうすぐ5月です。 Twitterの投稿内容から鬱度を測定するRubyスクリプトを書いてみました。 これには東京工業大学の高村さんが公開している単語感情極性対応表というものを使っています。 http://www.lr.pi.titech.ac.jp/~takamura/pndic_ja.html これはある単語がどの程度の感情を表すかを数値化した表で、-1 ~ +1 までの値が特定の単語に割り当てられています。 その単語がネガティブな感情表現だとマイナスの値、ポジティブな感情表現だとプラスの値になっています。 なので、鬱度を測定といってもポジティブな投稿内容が多いときにはプラスの値を返します。 また日本語文の形態素解析にはYahoo!の日本語形態素解析APIを使っています。 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html ア
This is the companion website for the following book. Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008. You can order this book at CUP, at your local bookstore or on the internet. The best search term to use is the ISBN: 0521865719. The book aims to provide a modern approach to information retrieval from a co
新はてブ正式リリース記念ということで。もうリリースから何週間も経っちゃったけど。 新はてなブックマークではブックマークエントリをカテゴリへと自動で分類しているが、このカテゴリ分類に使われているアルゴリズムはComplement Naive Bayesらしい。今日はこのアルゴリズムについて紹介してみる。 Complement Naive Bayesは2003年のICMLでJ. Rennieらが提案した手法である。ICMLというのは、機械学習に関する（たぶん）最難関の学会で、採択率はここ数年は30%を切っている。2003は119/371で、32.1%の採択率だったようだ。 Complement Naive Bayesの位置づけは 実装が簡単 学習時間が短い 性能もそこそこよい という感じで、2003年段階にあっても、絶対的な性能ではSVMに負けていた。しかし、学習が早いというのは実アプリケーシ
In data analysis, cosine similarity is a measure of similarity between two non-zero vectors defined in an inner product space. Cosine similarity is the cosine of the angle between the vectors; that is, it is the dot product of the vectors divided by the product of their lengths. It follows that the cosine similarity does not depend on the magnitudes of the vectors, but only on their angle. The cos
日本語形態素解析入門 2005-03-30-2 [NLP] 山下達雄 / 日本語形態素解析入門 Version 0.9.1 / 1999 <http://ta2o.net/doc/tech/jma/jma19990514.pdf> (1.4M) 奈良先端科学技術大学院大学（NAIST）自然言語処理学講座（松本研）に D2の学生として所属していた1998年6月9日のミーティングで、 新入生(M1) 向けに「日本語形態素解析」の入門講座を行った。 その際に用いた資料を1999年5月14日に改定したものをPDF化して公開する。 文書自体は Version 0.9.1 で、 その後さらに加筆修整するつもりだったのだが、 結局そのままだったようだ。ChaSen についての記述など内容は古いし、 当然のことながらあちこちに重大な間違いがあるかもしれない。 しょっぱなから大きな間違いがあって、 トップペ
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう? グーグルで_____ おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？ 実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。 一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」 と 「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデル
カイ二乗値で単語間の関連の強さを調べる 2007-09-19-1 [Algorithm][Programming] カイ２乗値を使って単語間の関連度を調べる方法。 つまり、関連語を探すときに、χ二乗値を関連度として使う。 perl によるサンプルコード (chiword.pl)。昔、勉強がてら作ったコード。 #!/usr/bin/perl use strict; use warnings; my %cnt; my $pair_num; while (<>) { chomp; next if /^\s*$/; my @list = sort split(/,/, $_); for (my $i = 0; $i < @list; $i++) { for (my $j = $i + 1; $j < @list; $j++) { next if $list[$i] eq $list[$j]; $c
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く