GoogleはGoogle Cloud Platformの新機能として、クラウド上で時間指定や定期スケジュール指定などによるジョブや関数を起動するcronのような機能を提供する「Cloud Scheduler」をリリースしました。 Cloud SchedulerはWebのユーザーインターフェイスやコマンドライン、APIを通じてcronと同様に複数の時、日、週、月、年などのスケジュール設定が可能です。 HTTP/HTTPSやPub/Subなどを通じてGoogle Clooud Platform内だけでなくほかのクラウドやオンプレミスのエンドポイントも呼び出せます。 また、App Engineのアプリケーションの起動、Cloud Functionsの関数の起動など、さまざまな方法でジョブを起動可能です。 またジョブが失敗したときの自動リトライ機能も備えています。 Cloud Scheduler
CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと
builderscon2018で発表した資料。
定期的にスクリプトを実行する場合、Mac OS Xではcrontabよりlaunchdを使うことが推奨されている。 launchdを用いてMac OS Xで定期的にスクリプトを実行する方法を記述。 特徴 設定が２種類ある： エージェントはユーザーがログイン中に実行できるプログラム。 デーモンはシステム共通で、誰もログインしていなくても実行できるプログラム。 前回の実行が終わらないと次の実行は始まらない。また、スリープ状態、シャットダウン状態では実行されない。1 標準でCPU時間、メモリ、ファイル等の使用の制限2が設けられている。必要に応じて設定ファイルで上限を上げないと、シグナルで届いてしまう。 設定ファイルを置く場所は次の通り。 場所 用途
Lobiチームの長田です。 今回はLobiチームで使用しているRedashとRundeckというツールについて紹介します。 Redash http://redash.io/ Redashとは Redashはデータベースにクエリを発行するためのダッシュボードです。 複数種類のデータベースに対応しており、それらに対して クエリ発行 クエリ結果を保存 クエリ結果を可視化 することができます。 その場でクエリ発行する他に、間隔を指定して定期実行することもできます。 ブラウザからクエリを定義して、 グラフとして表示したり。 何に使ってるの？ LobiではアクセスログをAmazon Redshiftに取り込み、解析を行っています。 定常的に観察するべき項目については専用の解析処理と結果を保存する仕組みを用意しているのですが、 単発で数字が必要になる場合がたびたび発生します。 このような場合に毎回Red
はてなチーフエンジニアの id:motemen です。 以前の記事で紹介したようにはてな技術グループおよびデザイングループでは毎週社内で勉強会を開催していますが、これを運営していくにあたってひとつ課題であったのが毎週のリマインドでした。 developer.hatenastaff.com 毎回発表者が違いますから、あらかじめ皆に「今日は○○さんの××という発表です！」と周知して期待を高めたいですし、また次回の発表者には予告をして発表の準備を進めておいておかなければなりません。発表者・タイトル・日付などを記したスプレッドシートがマスターデータとしてあったので、元々は私が人手で、Googleスプレッドシートに記載した発表順を見ながらSlackに共有していました。しかしやはり個人による運用だと予告忘れがあったり、周知のタイミングが朝なり夕方なりまちまちであったりと、参加者にも不便を強いていたし、
こんにちは。技術部 開発基盤グループの大石です。 今回はクックパッドで利用されているRuby製のジョブ管理ツールkuroko2について紹介したいと思います。 kuroko2 とは クックパッドでは2011年頃より、kurokoというジョブ管理ツールがありました。 そして現在、kurokoの後継のジョブ管理ツールとしてkuroko2が2014年にkurokoの開発者でもある当時の技術部長 takai によって開発され現在に至っています。 商用のジョブ管理ツールは昔からありますし、ここ最近はAirflowやAzkabanなどのOSSのツールが存在しており、わざわざ自社でジョブ管理ツールを作る必要は無いのかもしれません。 しかし、kurokoが開発された当時はそこまでの完成度のOSSのジョブ管理ツールは存在していなかったということと、過去のバッチ資産も問題なく動作させることでき、機能追加など自分
Linux系のサーバー管理ツールといえば Webmin や、有料なら cPanel なんかが有名。 だけど他にフリーなのないかなと探してみると Ajenti というのが最近人気があるっぽい感じだった。 Ajenti 公式サイト http://ajenti.org/ インストール インストールは簡単で、例えば CentOS6 なら以下のコマンドで一発。 （すべて yum で入れてくれる模様） Ubuntuとか他のものは以下のページにインストール方法がある。 http://support.ajenti.org/list/27624-kb/?category=9290 Pythonで動いてるらしく、上記インストールコマンドでそれら必要なものは全て揃えてくれる。 （ちなみに CentOS6.5 に入れた時は Python2.6.6 が入ってた） インストール後に起動すると https://loca
なお、時間設定方法や書式についてはここでは解説しません。 拙作「くろんメーカ」をお使いください。 くろんメーカ - crontab用のコマンドを自動で生成します。 そのままコピペしてお使いください。 crontab -e で直接編集しない 有名な話ですが、crontab -r とやってしまうと全てが一瞬で消え去ります。 まさにバルス！ 間違えて crontab -r してしまい、crontab をふっとばしてしまった。つか、隣同士にある -e と -r で編集と削除とか、酷いよ＞＜。。。 crontab -r を安全にする - antipop 必ずローカルファイルに設定を書いたうえで、それを反映させるようにしましょう。 $ crontab -l > ~/crontab # 現在の設定をバックアップ $ vi ~/crontab # ローカルファイルを編集 $ crontab < ~/cro
こんにちは。斎藤です。 最近、Dockerなどのコンテナ型仮想化技術、Chef, Ansible, Itamae などによるITインフラ構築・運用自動化技術の利用が進んでいます。一方で、何年も動いて「歴史」を積み重ねているシステムも数多くあります。そして、私を含めてそれらの運用に関わる事もあるでしょう。そんな「歴史」のあるシステムも、何とか運用を効率化したいと思う事があるかもしれません。 今日は、バッチジョブや複数サーバに対する運用を効率化するRundeckを取り上げます。「何ができるの？」「はじめかた」そして「利用時の留意点」の3点についてお話しします。 ※OSはCentOS 6系、Rundeck はバージョン 2.4.0、Java VM は Oracle JDK 1.7.0_72 を利用しています。 cron。Linux系OSに標準搭載されているジョブスケジューラです。標準で使えるため
Jenkinsをカオスにしないための運用についての発表資料です。 まもなくリリースのJenkins 2.0についてもまとめています。 第10回 Jenkins勉強会の資料です。 https://www.meetup.com/ja-JP/Tokyo-Jenkins-Area-Meetup/ Jenkinsの最新機能を知りたい → Jenkins Community blog https://jenkins.io/node/ Pluginを探したい → Plugins Index Renewal !! https://plugins.jenkins.io/ Jenkinsfileで使えるstepを探す → Pipeline Step References https://jenkins.io/doc/pipeline/steps/ バグを踏んだ？ → Jenkins Issue Tracker
Fault tolerant job scheduler that handles dependencies and iso8601 based schedules. View the Project on GitHub airbnb/chronos Download ZIP File Download TAR Ball View On GitHub Chronos is airbnb's replacement for cron. It is a distributed and fault-tolerant scheduler which runs on top of mesos. It's a framework and supports custom mesos executors as well as the default command executor. Thus by de
WEB+DBのPerl Hackers Hubで書かれていた「cron周りのベストプラクティス」を読んだ。かなり参考になった。 経緯としては読みたいって呟いたら感想よろしくと言われたので慌てて読んだ。 @shiba_yu36 「読んだ」なら言ってもいい— songmu (@songmu) 2014年2月24日 @shiba_yu36 マジに謝られても…— songmu (@songmu) 2014年2月24日 @shiba_yu36 マジになって感想エントリを書いてください。— songmu (@songmu) 2014年2月24日 特に参考になったこと batch.pl batch.plは非常に良いと思った。というのもcronとかのスクリプトで非常に簡単な事をやっている場合は適当にplファイルを作っちゃって登録するんだけど、得てしてそういうのはテストが無くてバグってて、しかもcronのロ
https://metacpan.org/module/App::RunCron tl;dr cronlogより可搬性は落ちてシンプルさには欠けるけど、もうちょっと機能拡張してプラガブルな設定ができるruncronてやつを作った。コマンドの成功/失敗に応じて通知方法を変更できるようになっている。 本題 cronで困るのは、ログだったり通知であったりをどうするかというところです。 で基本的にどうするか、というところは@fujiwara組長の、 「cron で > /dev/null して椅子を投げられないための3つの方法」 に書いてあります。まとめると以下になります。 全部メールで投げる(> /dev/null は論外) 標準出力、エラー出力をまとめて、何らかのloggerに投げる(syslogがお手軽) 場合によってはcronlogで選別して失敗した時のみ通知する 最近は以下のように、sy
CronnixはMac OSX用のオープンソース・ソフトウェア。Linuxでよく使われるプログラムの自動起動ツールがCronだ。テキストで一行単位の設定なのでわかりやすいのはいいが、その書き方に慣れるまでは使いこなすのが難しいかもしれない。 メイン画面 単純に日や曜日、時間とプログラムを指定して実行程度であれば、いいがもっと深くCronを知って使いこなしていくならばCronnixを使ってみると良さそうだ。Cronnixを使えばGUIを使って分かりやすくCronの設定が行える。 Cronnixを起動すると設定されているCronが一覧になって表示される。ユーザレベルまたはシステムレベルでの設定が可能だ。そして追加、編集も分かりやすくできる。曜日もチェックボックスを付けていくだけでいい。後は実行するプログラムを選択する。 設定画面 保存すれば自動的に反映される。Cron情報をエクスポートして、別
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く