2018年の6月より、AWS LambdaのイベントソースとしてSQSが選択できるようになりました。 今回はLambdaのイベントソースでSQSを選択し、Lambda側で処理が失敗した場合、どのようにリトライ処理が行われるのかについて整理してみました。 リソースの作成 今回は、SNS → SQS → Lambda の構成で検証していきたいので、それぞれのリソースを作成いたします。 SQS "inu-queue"というキュー名でキューを作成いたします。キューの種類は標準で各設定値はデフォルトです。 そして、"inu-dlq"というキュー名でDLQ(デッドレターキュー)用のキューも作成します。こちらもキューの種類は標準で各設定値はデフォルトになります。 2つのキューを作成したら"inu-queue"のDLQの設定を行います。 DLQの設定方法は、AWSコンソール画面だと以下の手順で設定すること
本記事は以下ブログの内容を転記したものです。 以下ブログの方が見やすいと思います。気になる方はどうぞです。 はじめに 最近、仕事でSQSを使う機会があったのですが、デッドレターキューやSQSによるリトライ処理がイマイチ理解できていませんでした。 AWSの公式ドキュメントやブログ記事などを見てもあまり理解できなかったため、実際にサンプルアプリを作って検証しました。 実施内容(概要) 実施内容は以下です。 LambdaにSQSでメッセージを送信する Lambdaはエラーとなるような処理とする 複数リトライ後、SQSのメッセージがデッドレターキューに入ることを確認する デッドレターキューに入ったメッセージを使って再処理できることを確認する 実施内容(詳細 - 設定) IAM 一般的なユースケースからLambdaを選択し、次のステップ：アクセス権限を押します。 ポリシーとしてAmazonSQSFu
# -*- coding: utf-8 -*- import configparser import boto3 import json # configファイルの読み込み ini = configparser.SafeConfigParser() ini.read("./config.ini") sqs = boto3.client('sqs') url = ini.get("sqs", "url") # 送信するJSON body = {"type": "Right", "Action": "On"} # SQSへJSONの送信 response = sqs.send_message( QueueUrl=url, DelaySeconds=0, MessageBody=( json.dumps(body) ) ) # SQSからJSONを受信 response = sqs.receiv
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Amazon SQS + Amazon Lambdaを利用して実装を行ったのですが、恥ずかしながらSQSの基本的な仕組みをきちんと理解せずに実装をすすめたため、途中でハマったり、当初の設計を変更するハメになりました。 僕と同じような状況に陥る人が今後出ないように、勘違いしていたところや、気をつけるべき点を説明します。 ドキュメントを読む 公式のドキュメントはこちら 全て取得できることを保証しない / 重複取得もありえる 超基本的なこと、その1です。 SQS APIからメッセージを取得する際は、最大で10件まで同時に取得可能です
Amazon SQS とは Amazon SQS は、AWSが提供する分散キューサービスです。APIを使ってアクセスすることができます。SQSによってアプリケーションのメイン処理と非同期に動いてほしい処理を分離することができます。キューは待ち行列を提供し生産者（Producer）によって生成されたメッセージのバッファリングをし、消費者（Consumer）によってコンポーネントへメッセージデータが渡されます。キューは複数登録することができます。キューに対して複数のリーダーとライターが接続できますので、ひとつのキューに対して複数のアプリケーションから同時に利用することができます。 分散キュー SQSは障害時に正常系へ切り替わるように設計された（フェイルセーフな）仕組みを提供しています。おなじみの分散配置されたAWSインフラの成せる技です。キューの仕組みは自前でも構築は容易ですが、フェイルセーフ
SQSに関して いろいろと解説されている、ここら辺の説明が図入りでわかりやすかった Amazon SQS による分散キュー ｜ Developers.IO Amazon SQSを使ってみた① | Septeni Engineers' Blog | セプテーニ エンジニアブログ Rubyからの利用について 以下で解説されているように簡単 RubyでAWSのSQSを使う - Qiita 使用例 バックエンドの画処理 WEBサーバのフロントエンドで時間がかかる画処理をしてレスポンスを返すとユーザが長い間待つことになるので、SQSを介してバックエンドで処理とか 上記構成だと下図のように同じメッセージが複数インスタンスで取得され、処理される可能性があるらしい 防止しようとするとDynamoDBなどでインスタンス間の同期処理が必要 VPC間の通信 SQSはリージョンレベルのサービスなので、VPC間のや
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く