PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
ビッグデータ処理のオープンソースソフトウエア（OSS）である「Apache Spark」のディープラーニング（深層学習）対応が進んでいる。Sparkの主要開発企業である米Databricksや米Intel、米Microsoft、米Verizon傘下の米Oath（旧Yahoo!）などが、Sparkの深層学習対応に熱心だ。 分散処理ソフトのSparkは、2014年ごろには機械学習の大規模化に欠かせない存在だと認識されていた。しかしその後の深層学習の台頭によって存在感が薄れていた。深層学習の高速化にはGPU（Graphics Processing Unit）が向いていることが分かり、米Googleが公開した「TensorFlow」などGPUに対応した深層学習フレームワークが人気を集めるようになったためだ。 ところがここに来て、Sparkを深層学習に対応させる動きが活発化している（表）。2017年
2024-11-13 RAGはどのように進化しているのか？RAGのパラダイムと改善手法を体系的にご紹介！
Apache Spark の Advent Calendar です． 初学者向けからディープな話まで Spark に関係する話はどんなものでも歓迎です．
事前準備 何もないけどOSのバージョン確認(今回はCentOS 6.7 final) cat /etc/redhat-release Javaのインストール Open Javaをyumでインストールする まずはインストール可能なopenjdkを検索します yum search openjdk ランタイムのインストール sudo yum install java-1.8.0-openjdk 開発環境のインストール sudo yum install java-1.8.0-openjdk-devel Apache Sparkのインストール パッケージをダウンロード ここからダウンロード可能です。 今回はコマンドで！ Hadoop 2.6が含まれているバージョンを入れます #### お好きなところからダウンロード ```wget http://ftp.jaist.ac.jp/pub/apache/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く