はてなブックマーク

なぜLLMレビューを導入しようと考えたか きっかけはSlackでの雑談から やってみた：GitLab CI/CD と Vertex AI で実現するLLMレビュー 全体像 レビューの精度を高める「コンテキスト」の渡し方 ルールファイルの具体例 プロンプトの例 結果：LLMレビューがもたらした2つの大きなメリット 1. リポジトリのルール指摘がしやすくなった 2. メンバーへの知見共有が進んだ 課題と今後の展望 まとめ こんにちは、ピクシブのデータ基盤チームのkashiraです。 データ分析基盤の開発は、プロダクト開発と比較して優先度が低く、限られたリソースで進めなければならない場面が少なくありません。各部署やプロダクトが個別にデータ開発環境を構築するのは非常に非効率です。 そこで私たちは、全社共通のデータ基盤を一つのプラットフォームとして整備し、dbtのプロジェクトを1つのリポジトリに集約

こんにちは、lyluckです。 ピクシブではオンプレミスKubernetes(以下、k8s)クラスターを運用しています。 既存アプリケーションのk8s移行は依然として進行中で、クラスターの規模は以前と比べて倍の20台程度になっています。 アプリケーションをk8s移行するには、アプリケーションログの転送機能も一緒にk8sへ移行する必要があります。 今回はk8sにおけるログ転送時のログ欠損を抑えるために取り組んだことを紹介します。 背景 k8s移行対象のアプリケーションには転送が必要なログを生み出すものがあります。 次の図のように、Fluentdがログをアプリケーションがあるサーバーとは別のサーバーへ転送しています。 左側のサーバーの中身すべてをk8sクラスター上で動かすにはFluentdもk8sクラスターへ移行する必要があります。 ログ転送のためのFluentd DaemonSetがあったの

FANBOX Sectionの丸山(alitaso)です。 ピクシブは2025年度もRubyアソシエーションのPlatinumスポンサーとして協賛を継続いたします。 Ruby Associationとは Ruby Associationは、プログラミング言語Rubyの普及と発展のための非営利団体です。Ruby関連のプロジェクトやコミュニティ、ビジネスの関係を強化し、Rubyの利用に関する諸問題の解決に取り組んでいます。 www.ruby.or.jp 皆さんは、Ruby Associationの協賛金がどのように活用されているかご存知でしょうか？ Rubyの開発において協賛企業がどのような役割を果たしているのか、Ruby Association事務局長の前田様にお話しを伺いました！ 協賛金の使途について 本日はよろしくお願いします！ 早速ですが、協賛金の活用について教えてください。 財団の協

はじめに Baseline削減したいよね やったこと 1. PHPStanが出している警告の分析 2. Rectorについて学ぶ 3. Rectorを使ってReturnTypeにvoidがついていない場所にvoidをつける 4. 返り値の型を特定できる関数・メソッドに返り値の型をつける修正 5. private static arrayをconstへ変更する 6. 継承されていないクラスにfinalフラグをつける 7. Class.notFoundの修正 どうなった まとめ はじめに こんにちは。pixivでアルバイトをしているmalsukeです。2024年11月下旬にピクシブに参加し、現在は主にプロジェクトのリファクタリングを担当しています。この記事ではRectorを用いて、入社10日目までにpixivをはじめ、社内のPHP製のサービスのソースコードを持つpixiv.git内のPHPSt

クリエイター事業部FANBOX部の丸山(@alitaso)です。 本記事の要点 ピクシブは2025年4月16日（水）〜4月18日（金）に愛媛県松山市にて開催されるRubyKaigi 2025に参加したい学生向けの招待企画を実施いたします。 RubyKaigi 2025一般参加チケット/公式懇親会チケット/RubyKaigi会期中の宿泊費/往復交通費をピクシブが負担しますので、招待学生は格安でRubyKaigi 2025に参加可能です。 参加希望の学生さんは2月9日（日）23時59分までにこちらのフォームからご応募ください。 RubyKaigi 2025とは RubyKaigiはプログラミング言語Rubyに関する世界最大級の国際カンファレンスです。 今年は4月16日（水）〜18日（金）の3日間にわたって、愛媛県松山市にある愛媛県県民文化会館にて開催されます。Rubyの作者まつもとゆきひろ氏を

PIXIV DEV MEETUP 2024当日の夕方にAquaステージ側におられた方は、「枕詞」についての語りから突然ボルテージ高くコールアンドレスポンスがはじまり、早口トークののちコールアンドレスポンスとともにドラが鳴るという発表を見た方も多くいらっしゃると思います。きっと言葉では言い表せないLT体験みたいなものを感じたのではないでしょうか。 申し遅れました。経営企画本部 経営企画補佐を務めております*1エンジニア職bashと申します。 ぜひこちらのじっくりとスライドを再読いただき、ポップな話に隠されたテック業界への問題提起とその解決について読み取っていただけるとうれしいです。 スライド この発表の経緯 世の中一般として「セキュリティチェックリスト」については大変だとか、記入を自動化できないかとか、そういう話題が多くあることにひっそりと心を痛めていました。 そこで私がセキュリティチェック

初めまして。プラットフォーム開発部で全社横断データインフラやデータマネジメントを担当していますkashiraです。 この記事では、先日のPIXIV DEV MEETUP 2024のLTで発表した「AirflowのKubernetes移行 ~ Kubernetesで運用するのは思ったより難しくない ~」について登壇内容を元に大幅に加筆修正を行い、文章にしたものです。 先日の発表では、時間の都合上話せなかったことが多くありました。そのため、この記事で移行についての補足を多めに入れています。 この記事がAirflowの運用に困っている管理者の方にとって少しでもお役に立てれば幸いです。 スライドは下記で公開しています。 speakerdeck.com はじめに ピクシブではデータパイプラインの基盤として、全社共通のAirflowをデータ基盤チームで運用しています。 個人的に特徴的だなと思っている点

こんにちは。pixivのnamazuです。 先日開催されたPIXIV DEV MEETUP 2024にて、『pixivというシステムはどんな形をしているのか、それはなぜか。』というテーマで発表をさせていただきました。当日、セッションにご参加いただいた皆さま、そしてフィードバックをいただいた方々に、改めて感謝申し上げます。 Webサービス開発において面白い点の一つは、どのサービスもその要件や状況に応じて異なる選択がなされることです。結果として、類似点がある場合もありますが、細部において同じものはなく、すべてがユニークです。弊社内でもさまざまな違いが見られますが、業界全体を見渡すとさらに多様性が広がっていることでしょう。 今回の発表では、pixivのシステムに関する重要な要件や状況をいくつか取り上げ、現時点でどのような構造になっているかを、インフラストラクチャ、バックエンドアプリケーション、開

みなさまこんにちは、プロダクト開発ギルド長 bashです。この組織ではプロダクト開発運用を中心に「猛者が猛者を呼ぶ・猛者が猛者を磨き上げる"しくみ"をつくる」をテーマに、もっぱら開発を担う職や役割(プロダクトマネージャー、プロダクトデザイナー、コミュニティーマネージャー、エンジニア)の事業横断職能組織、開発サイクル改善活動、Developer Relationsの各部署を管轄しています。お見知りおきのほどよろしくお願いします。 さて、ピクシブ株式会社では社員のコミュニティ活動を推奨しています。各種技術ごとのテックコミュニティーをはじめ、様々なドメインで有志がコミュニティという形で勉強会やカンファレンスを開催して会社や組織をまたいで知の交流が行われており、その上に業務活動が成り立っているといっても過言ではありません。 以前こちらの記事で制度を紹介しましたが、よりシンプルな仕組みへとアップデー

はじめに こんにちは、インフラ部のsue445です。 ピクシブでは2023年末に自社のデータセンターとAWSとをDirect Connect Gatewayで、データセンターとGoogle CloudとをCloud Interconnectで、それぞれインターコネクト（閉域網接続）を開通しました。 現在PastelaではDirect Connect Gatewayを、pixivcobanではCloud Interconnectをそれぞれ利用してオンプレミスのデータセンターと閉域網接続を行っています。 皆さんの会社でもデータセンターと各クラウドとを専用線などで閉域網接続は行っているかもしれません。しかし複数クラウドでの開通というのはあまり無い事例だと思います。 このエントリでは複数クラウドでの閉域網接続を通して得られた知見や、AWSとGoogle Cloudの微妙な仕様の違いを紹介させていた

まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間や検索APIのレイテンシが大幅に短縮されました。また、今後のスケールに対応可能になり、新機能開発においても全文検索が容易に利用できるようになりました。 本記事では、pixivの全文検索基盤の歴史や、今回オンプレミス環境でElasticsearchクラスタを構築し、リプレイスを完了するまでの取り組みについてご紹介します。 こんにちは。pixivのnamazuです。最近、私たちのチームで進めていたpixivの全文検索基盤のリプレイスが完了しました。この機会に、pixivの全

こんにちは、プラットフォーム開発部で認証認可基盤の開発を担当しているabcangです。 先日pixivでパスキーが利用できるようになりました。パスキーはパスワードに代わる認証方法で、顔認証・指紋認証・PINなどのデバイスの認証機能を使ってpixivや関連サービスにログインすることができます。 パスキーはデバイスやクラウドサービス(iCloudやGoogleなど)ごとに作成する必要があるため、1アカウントで複数のパスキーを作成することは一般的です。そのため、パスキーを削除するときなどに判別しやすくするには、パスキーに適切な名前をつけることが重要になります。しかし、ユーザーに適切な名前をつけてもらうのは大変なので、pixivでパスキーを作成した場合はそれらしい名前をデフォルトで設定しています。今回はそれらしい名前をどうやって設定しているかご紹介します。 AAGUIDを使用する AAGUID(A

こんにちは！ピクシブでバックエンドエンジニアとして働いているこのぴーです。 今回はpixivコミックストアの作品検索機能をMySQLの全文検索からElasticsearchに移行したときの手順と移行後の効果についてお話していこうと思います。 背景 pixivコミックストアのバックエンドはRuby on Railsで作成していて、今回Elasticsearchへ移行する作品検索機能はMySQLの全文検索を使用して実装されていました。 作品数が少なかった実装当時は問題なく動いていたのですが、取り扱う作品数が数十万作品となった現在、スロークエリの大部分を検索クエリが占めるほど性能が劣化してしまう事態となっていました。 さらに、インクリメンタルサーチによりクエリが大量に発行されたことが引き金となる障害が発生したため今回Elasticsearchへと移行することとなりました。 Elasticsear

こんにちは。プラットフォーム開発部兼財務データ企画部のshigeniiと申します。 普段はデータ基盤の運用保守、および、全社的なデータ活用やデータ駆動推進を担当しています。 今回は、財務に関する情報の収集からその可視化までの過程をシステム化することで、事業計画や予算策定のプロセス改善に結び付けた我々の取り組みについて、システム化に焦点を当てながら書き綴りたいと思います。 この記事がバックオフィス業務において、同じような課題を抱えている方に少しでもご参考になれば幸いです。 経緯 財務レポート可視化プロジェクト システム化にあたっての具体的な取り組み Before After システム化にあたっての課題 今回の対応 全体的なシステム構成 財務レポートを作るまでのながれ 説明1．各業務システムのデータを取得 説明2．マスタ情報の取得・作成 説明3．データの加工・突合機能 説明4．データに対するセ

はじめに 初めまして。プラットフォーム開発部にてデータ基盤の整備をしているazukiと申します。 今回はdbt(Data build tool)を導入した経緯と非中央集権的なdbtの使い方についてご紹介したいと思います。 今回は導入に関してまとめていますので、dbtの運用面の詳細は別記事で解説予定です。 データモデリングツール導入の背景 ピクシブではプロダクトの多さを理由に非中央集権データ組織を採用しています。 ドメインチームがメインでデータの取り組みやデータモデリングを行い、データ駆動推進室やデータ基盤チームはそのサポートや整備を担当しています。 その背景に関しては、【PIXIV MEETUP 2023】の方でお話していますのでぜひご覧下さい。 speakerdeck.com 今までBigQueryのデータ加工SQLは自社で開発したツールで管理していました。 pythonから変数埋め込み

こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work

FANBOX部でエンジニアをしているkumaです。 先日、那覇文化芸術劇場 なはーとにてRubyKaigi 2024が開催されました。昨年に引き続き、本年も学生支援企画として、RubyKaigiに参加したい学生さんを支援する取り組みを行いました。 inside.pixiv.blog 本記事では、今年の学生支援企画をメインで担当したkumaによる企画の振り返りを行います。 参加人数について 今年の学生支援企画についても昨年と同様、書類選考+面接1回という流れで参加者を決めていきました。面接では カンファレンスに参加したことがあるか RubyKaigiに参加するモチベーションは何か 普段どのようなことをやっているのか Rubyに関係あるかどうかは不問としました RubyKaigiに参加するにあたって懸念していることはあるか といった内容を質問し、総合的に判断して通過者を決定しました。 最終的に

こんにちは。ピクシブ24新卒のyuyukunです。 現在はOJTとしてpixivの開発・運用を行う部署に配属されています。PHPを勉強しながら、pixivの開発で直面している課題を解決したり、そもそもpixivではどうやって機能を提供しているのか？について日々学んでいます。 社内では、特にPHPでの開発のためにPhpStormを利用している方が多くいます。僕は普段からエディタとしてNeovimを利用しており使い慣れていることから、NeovimでPHPの開発環境を構築してみることにしました。 今回は、僕がNeovimを使ってpixivのコードを読んだり、開発したりしている環境を紹介します。一部ではありますが、主な機能として何を使っているのか、使ってみてどうだったかを書いてみようと思います。 スクリーンショットはサンプルのPHPプロジェクトを実際にNeovimで開いて編集している途中の様子で、

はじめに こんにちは、VRoid部所属のエンジニアのyueです。 この度VRoid Hubで3Dモデルの配信サーバーの見直しを行い、技術選定から始めRustとZstandard (zstd)を採用した実装に切り替えました。 結論から見るに従来のNode.js製サーバーと比べて以下のことを実現しました。 最大のレスポンス時間が 1.5　~　2.5s から 300　~　400msまで低下 平均のレスポンス時間が 700　~　800ms から 150　~　200msまで低下 サーバーのCPU使用率が ~　50% から ~　10%まで低下 docker image のサイズが ~　346mb から ~　21mb程度まで削減 配信されるファイルサイズが平均 10 ~ 20% 軽量化されました レスポンス時間 CPU使用量 (上からAVG(MAX), AVG, AVG(MIN)) メモリー使用量に関し