この記事は古くなりました。新しい知見は下記を参照。aoking.hatenablog.jp 概要 全文検索エンジン Solr を使用していて、パフォーマンスチューニングに四苦八苦した話。 ここでは、検索時ではなくドキュメントの追加時についてのチューニングについて記してある。 更新自体は参照に比べて頻度が少ないが、参照はレプリケーションして負荷分散しやすい。 更新は整合性を保つために一台のマスターノードに対して行われるので更新はボトルネックになりやすいのだ。 定期的に IO 負荷が高くなる Solr を使っていると、一時的に猛烈に IO 負荷が高まる時がある。fsync になんと1分以上かかるような、猛烈な負荷だ。 これはインデクスのマージ時に起きる IO 負荷で、巨大なインデクス同士のマージだとその合計サイズ分の IO が発生することで IO 処理が専有されたままになっていた。 インデクス
solr のデフォルトの port は 8983 になっています。今回はこの port を 8080 などに変更する方法について。 jetty の設定ファイルは、jetty/etc/jetty.xml なのでこれを変更します。 <Call name="addConnector"> <Arg> <New class="org.mortbay.jetty.bio.SocketConnector"> <Set name="port"><SystemProperty name="jetty.port" default="8080"/></Set> <Set name="maxIdleTime">50000</Set> <Set name="lowResourceMaxIdleTime">1500</Set> </New> </Arg> </Call> start.sh/stop.sh を作った人は
またこのエラーがでたのでまとめます。 2箇所で「org.apache.solr.common.SolrException: undefined field text」が起きました。 solr adminのping solr adminで [ping] を押下すると以下のようなエラーが起きました。 HTTPステータス 500 - Ping query caused exception: undefined field text org.apache.solr.common.SolrException: Ping query caused exception: undefined field text at solrjのsolrServer.ping() solrjで以下のようにpingを実行すると、 SolrServer solrServer = new LBHttpSolrServer("
The Solr uniqueKey field encodes the identity semantics of a document. In database jargon, the primary key. Use cases A Solr index does not need a unique key, but almost all indexes use one. Use cases which do not require a unique key Build an index from empty. Search for documents. When you have new documents to add, either add them or clear index and reindex from scratch. You know that you will
お客様各位 平素はお引き立てを賜り、ありがとうございます。 Solr 4.5.1をベースに大きく改訂した「[改訂新版] Apache Solr入門」が技術評論社から出版されました。 参考リンク: 弊社出版物のページ 弊社からは、阿部と大須賀が執筆しております。監修は、株式会社リクルートテクノロジーズ, 株式会社ロンウイットです。 阿部は、第6章「データのクローリング」を担当いたしました。SolrのデータインポートハンドラやApache ManifoldCFを活用して、さまざまなデータをSolrにインデクシングする部分を執筆しております。 大須賀は、第5章「クライアントプログラミング」でPHP/Ruby/Python/PerlでのSolrクライアントの実装方法を担当、また第7章にて検索後のサジェスチョン・「もしかして検索」の実現方法・Suggesterについて詳細を記述、第8章「クラスタ構築
Solr 4.4に取り込まれる予定のチケットで、気になるものを見つけたのでいつものごとく調べてみました。 元となるチケットはこちら。SOLR-4897。 スキーマレス？ Solrはschema.xmlにデータの定義（フィールドタイプやフィールドなど）を記述して、データを登録する全文検索システムです。 これまでのSolrではこの設定ファイルを元にデータを登録するフィールド名を決定しており、 変更を行う場合はSolrのコアを再起動するなどの手順が必要でした。（※ダイナミックフィールドはすこし特殊） それだと、Solrを管理するのがめんどくさいですね？という感じで現れたのがSchemaREST APIです。（たぶん。） Schema REST API Solr 4.2から導入されたSolrのスキーマに関する情報を提供するためのREST APIです。 4.2で導入されたのはあくまでもschema.
Hyperestraierでsearch_doを使おうかと思ったらrails3系に対応していなそうだったので,sunspotを使ってみた sunspotは SunspotはRubyアプリケーションに全文検索機能を追加するためのソリューションです。バックグラウンドでSolrを利用し、多くの優れた機能を提供します。今回のエピソードでは、過去のエピソードで使用したブログアプリケーションを例にして、Sunspotを使ってRailsアプリケーションに全文検索機能を追加します。 ASCIIcasts - “Episode 278 - Sunspotで全文検索” とのことです。 上記サイト参考にインストール手順をメモ。 インストール手順をメモ。 Railsのスケルトン作成して適当に動作するところまで作成。スケルトンの手順は割愛 rails new App rails g scaffold product
rails に sunspot という全文検索のプラグインがあります。 solrという検索エンジンを使っており、モデルに数行コードを追加するだけで、インデックスを動的に作成されます（再構築も可） https://github.com/sunspot/sunspot 準備 Gemfile に以下を追加 gem "sunspot-rails" gem "sunspot-solr" bundle コマンドで実行 $ bundle 設定ファイル(config/sunspot.yml)を作成 $ rails generate sunspot_rails:install 自動生成された config/sunspot.yml は次の通り。 production: solr: hostname: localhost port: 8983 log_level: WARNING # read_timeout:
Jul 15, 2010Download as PPT, PDF4 likes3,464 views
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く