まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed
ただのテキストから位置情報をまるごと解析 - Placemaker 米Yahoo!は5月20日(米国時間)、ジオパースWebサービスとして「Placemaker」(Beta)をリリースした。 PlacemakerはWebページやブログ、フィード、ニュースやステータスアップデートといった構造化されていないコンテンツからテキストデータを解析し、位置情報と関連する構造化されたメタデータを生成するWeb APIサービス。ユーザ・デベロッパはこのAPIを利用することで、簡単に位置情報と連携させたアプリケーションの開発やブログ記事を書くことができるようになる。Placemakerの概要・展望などについては、「【レポート】Where 2.0 - 次世代Webは"世界のつながり" - Yahoo!『Placemaker』提供の狙いは?」にて詳しくまとめられているので、併せて参照されたい。 本稿ではこのPl
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。LatLongLabの大野です。 今回はLatLongLabのβサービスの一つである「うごけ！道案内」をご紹介したいと思います。 みなさんはこのサービスをご覧になって、どんなことができるサービスだとお感じになりましたか？ "道案内を作って投稿できるサービスだよね"と思ったそこのアナタ！ それは大きな間違いです!! 「うごけ！道案内」は、MS-DOSのバッチファイル風にコマンドを並べるだけで地図を思い通りに動かせるプログラミングツールなのです。 プログラミングをはじめてみよう！ 「うごけ！道案内」でプログラミングをはじめるには、道案内作成ページを開き、左上の「→アドバンスモードに変更」というリンクをクリックする必要があり
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ショッピング事業部開発部の吉野です。 Yahoo!ショッピング開発部では新人エンジニア向けにコマンドのソースコードを読むことを奨励しています。 その初期の題材として、lsコマンドがよく挙げられます。 今回は「lsコマンドをハックしてみよう」と題し、lsコマンドについてお話しさせていただきます。 突然ですがエンジニアの皆さん、lsコマンドのソースコードを読んだことはありますか？ 読んだことのない方はぜひ一度、目を通しておくことをおすすめします。 意外と知られていませんが、lsはcd,pwdなどのコマンドと違いシェルの組み込みコマンドではありません。 一口にlsと言っても、複数のソースコードが存在します。 代表的なのはGN
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
Webアプリケーション開発に欠かせないFirefoxエクステンションであるFirebugをベースにして開発されたWebページのパフォーマンス計測ツールにYSlowがある。2007年12月上旬にはパフォーマンス分析能力を向上させたYSlow 0.9がリリースされた。紹介にもあるように、手軽に導入できるうえにかなり効果的に分析ができるところに特徴がある。 YSlowの強みとなっているのはYahoo! Exceptional Performanceチームが分析した評価基準をベースにしている点にある。Yahoo!が実際に分析した結果をベースにしているだけあって効果が確実なものとして効いてくるわけだ。 そのYahoo! Exceptional Performanceチームから最新の調査結果およびパフォーマンスブレークスルーのための新しいルールが発表された。既存の14のルールに加えて、新しく20のルー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く