株式会社ミクシィの長野です。memcachedの連載も今回が最終回になります。前回までmemcachedに直接関連する話題を中心に書いてきましたが、今回はmixiでの事例や運用に関する話題、memcachedの互換アプリケーションについて紹介します。 mixiでの事例 mixiではサービスの初期の頃からmemcachedを利用していました。memcachedはサイトへのアクセスの増加が、データベースのスレーブを増やしていく方法では追いつかないほど急激にのびていく中で導入して行きました。加えてスケーラビリティを向上させていく手段として検証を行い、十分な速度と安定性があることが確認できたことも導入の理由になります。現在ではmemcachedはmixiのサービスを提供していく中で非常に重要なコンポーネントとなっています。 図1 現在のシステムコンポーネント サーバ構成と台数 mixiではデータベ
今回は、1.4になってアップデートされた新機能を中心に紹介します。 memcachedとは？ memcachedとは、主にデータベースへの負荷を下げ、かつWebアプリケーションのスケーラビリティをコストパフォーマンス良く向上させる高性能な分散キャッシュサーバです。memcachedの基本や概要に関しては、以前ミクシィ運用グループの長野と執筆した「memcachedを知り尽くす」をご覧ください。 memcached 1.4の特徴 1.4、5つの特徴 memcached 1.4の大きなニュースの1つはバイナリプロトコルの正式導入です。また、他にも色々と嬉しい機能や改修が施されています。詳しくは1.4のリリースノートに記述されていますが、要約すると以下の5点が上げられます。 バイナリプロトコルの正式導入 パフォーマンス向上 統計システムの強化 報告されたバグの修正 テストの強化 入手先 memc
株式会社ミクシィ 研究開発グループの前坂です。前回の記事でmemcachedは分散に長けた高速なキャッシュサーバであることが紹介されました。今回はmemcachedの内部構造がどう実装されているのか、そしてメモリがどう管理されているのかをご紹介します。また、memcachedの内部構造の事情による弱点も紹介します。 メモリを整理して再利用するSlab Allocationメカニズム 昨今のmemcachedはデフォルトでSlab Allocatorというメカニズムを使ってメモリの確保・管理を行っています。このメカニズムが登場する以前のメモリ確保の戦略は、単純にすべてのレコードに対してmallocとfreeを行うといったものでした。しがしながら、このアプローチではメモリにフラグメンテーション（断片化）を発生させてしまい、OSのメモリマネージャに負荷をかけ、最悪の場合だとmemcachedのプ
livedoor Blogなどのサービスで実際に大量の画像データ管理・保存に使用され、「高価な専用ストレージを使用することなく安全、高速に大量のデータを保存・参照することが可能になります。またSTFは既存のオープンソース技術で作られているため専用ストレージに比べ運用に際して新たなノウハウを学習する必要がありませんので、運用にかかるコストが低くなります」というなかなかよさそうなストレージシステム「STF」が公開されました。ライセンスは「Artistic License2.0」です。 livedoor ラボ「EDGE」 開発日誌 : 分散オブジェクトストレージシステム「STF」公開のお知らせ - livedoor Blog（ブログ） http://blog.livedoor.jp/edge_labs/archives/1609981.html 開発までの経緯は以下のようになっています。 以前
前回 RAID に関するちょっとした話を書きましたが個人が巨大なストレージを運用するにあたって得られたノウハウをだいたい全部書いておきます。 そもそもメリットあるのか？ メリットはあります。金です。 Google Drive は安いですが、それでも 1TB 月 1000 円です。しかし運用にかなり制限がでます。柔軟に使える Amazon Web Service ならその 3 倍+転送量課金です。 16TB だと月 5 万円もかかってしまいます。ちなみにもっとも柔軟に使える EBS だと 16TB で 83000 円ぐらいです。 Google Compute Engine の低冗長性ストレージは S3 より少し安かった気はするけど別にとても安いわけではなかったと思う(よく覚えていないし調べるのがめんどくさい)。 50TB のストレージを Google Drive でごまかしごまかし運用したと
フラッシュストレージの新興ベンダ、米Viloin Memoryは、同社のWindows Storage Serverベースのオールフラッシュストレージ「Windows Flash Array」について、利用した容量に応じて課金する新しい料金モデルの追加を発表しました。 “The pay-as-you-grow option lets customers immediately benefit from WFA enterprise data services and performance capabilities while aligning capital expenditure with capacity as it is consumed.” 使用量増加に合わせて支払うという選択肢は、お客様にとってWindows Flash Arrayの企業向けデータサービスと性能という利点を、利
[基礎解説] RAID基礎辞典 1．RAID 0とRAID 1とは デジタルアドバンテージ 小林 章彦 2010/10/21 インターネットの普及などによってサーバやクライアントPCで取り扱うデータの容量は増え、種類は多様化している。毎日やり取りされる電子メールの数はうなぎのぼりに増えているし、以前は文章とグラフ程度であった営業用資料に、いまではデジタル・カメラで撮影した製品写真などを貼り込むことも珍しくなくなってきた。また、プレゼンテーションで動画が使われるといった例も増えてきており、こうした流れはさらに広がっていくことが予想される。 当然、それらのデータを保存するディスク・システムも大容量化している。特にここ数年、ハードディスクの大容量化が進んでおり、クライアントPCでも1Tbytesや2Tbytesといった、一昔前ならば大規模なサーバでしか搭載されていなかったような容量のハードディス
Crucial M500 の write endurance が 75TB しか無いというのが話題になっていて、同じく 75TB である m4 をわざと虐待していたホストはどうなったのか気になって調べて見たところ、面白い結果が観測されたという話。 石橋を叩いて壊し障害時の挙動を見るべく「自社全サービスのアクセスログを受け止める syslog サーバ」という、どう見ても書き込み中心で SSD にやさしくないホストをあえて動かしていた。具体的には下記のようなノリのホストである。 iostat の一行目なので uptime 数百日における平均値であることに注意。 [root@touge ~]# iostat -k -x -d sda | sed -n '3,4p' Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await
2013年に起こりうるRAID・サーバ機の障害傾向予測をデータ復旧専門の「日本データテクノロジー」に聞いてきました。どのRAID構成が壊れやすく、どんなRAID構成を組めば、データ復旧がしやすいかなど、いろいろとインタビューし、実際にデータ復旧をしている社内も見学してきました。 詳細は以下から。 データ復旧.comはデータの復元実績No.1|日本データテクノロジー http://www.ino-inc.com/ ◆インタビュー GIGAZINE(以下、G)： それではまず、日本データテクノロジーさんとは、どのような会社で、どのような実績があるのか教えて下さい。 復旧部門 技術開発部門 総責任者 西原世栄さん(以下、西原)： 私たちは、壊れてしまったHDDからデータを復旧させるサービスを提供しています。官公庁・上場企業様がメインのお客様ではありますが、「絶対にデータを復旧したい」と希望される
2012年06月26日08:30 ファーストサーバ社の事故は重過失か カテゴリ法務＿契約法務 businesslaw Comment(15) 昨日のエントリに対し、「いくら利用規約に免責されると書いてあっても、メンテナンス時にデータを自分で消しちゃうなんて重大な過失にあたるだろうから、免責できないんじゃないんですか？」というコメントをいただきました。その点について私見を書きます。 まず、今回のファーストサーバさんの利用規約（PDF）を読むと、 35条8項（免責） （中略） 8.本条第2項から第6項の規定は、当社に故意または重過失が存する場合または契約者が消費者契約上の消費者に該当する場合には適用しません。第36条（損害賠償額の制限） 本サービスの利用に関し当社が損害賠償義務を負う場合、契約者が当社に本サービスの対価として支払った総額を限度額として賠償責任を負うものとします。 つまり、重過失
コンピューティング 最大192コア、メモリ1,024GBまで選べる仮想サーバーやGPUサーバーを提供します。
sugipooh @sugipooh 日本にRAIDという言葉が無いころからストレージ障害の近くに居る。 すぐにデータが消えるMO、動いているときに「こつん」とたたくと古い データを消しても平気に動くHDD、それを守るためのRAIDのいい加減さ。 どうしてストレージ障害が起きるか？根本を知らない人が多すぎる。 2012-01-08 02:05:03 sugipooh @sugipooh RAID5コントローラを市場で初めて多数売った今は無いMylexへ研修に 行かしてもらった。そのときRAID5でデータが無くなる条件を聞いた。 「簡単に飛ぶ（驚）」。その10年後 日本の会社がその簡単に飛ぶ条件で 多量にRAIDを売っている。おかげでデータ復旧会社が繁盛している。 2012-01-08 02:08:32 sugipooh @sugipooh 「簡単にデータが飛ぶ」RAID5でビジネスを辞めた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く