JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いて…

Pythonでいい感じにバッチを作ってみる - prefectをはじめよう

アプリケーションコードをきれいに保ちつつ、PynamoDBのモデルをいい感じに定義してテスト用のコードを書く方法を紹介します。

PynamoDBで良い感じにTestableなモデルを定義して、DynamoDB Localを使ってテストする方法

JX通信社シニア・エンジニア兼データ基盤担当大臣の@shinyorke（しんよーく）です. 最近やった「ちょっとした贅沢」は「休日, 自宅で片手に野球を見ながらUberEatsで注文したランチを楽しむ」です. ⚾と飲食を提供してくださる皆さまに心から感謝しております…

データ基盤を支える技術 - ETLフレームワークの実践的な選び方・組み合わせ方

こんにちは、サーバーサイドエンジニアの @kimihiro_n です。 最近は FastAPI という Python の Web フレームワークが社内で密かなブームとなっています。 今回はその FastAPI を使ったエラー定義まわりの話をしたいと思います。 FastAPI とは FastAPI の概…

FastAPI で独自に定義した API エラーも仕様書に自動反映したかった話

はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時…

Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る

（今更ですが）新年あけましておめでとうございます！ JX通信社でシニア・エンジニアをしています, @shinyorke（しんよーく）と申します. 最近は週に2, 3回, ジムで10kmちょい走っています.*1 JX通信社のエンジニアチームでは, 月に一度みんなが集まる月次勉…

Nuxt.js + FastAPIを使ったデータエンジニアリングなデモ作り - 社内勉強会でデブサミのデモをしました

この記事はJX通信社 Advent Calendar 2019 の23日めの記事です。 昨日は Yosk さんの 名刺作成をデザイナーの業務から外して、効率化させた話 でした。 こんにちは、サーバーサイドエンジニアの @kimihiro_n です。 今回は Python の Immutable を最大限活用…

Immutable Python ~ NamedTuple で書く副作用のないプログラム

「JX通信社Advent Calendar 2019」20日目の記事です。 こんにちは。2019年9月からJX通信社のエンジニアとなった鈴木（泰）です。好きな食べ物はオムライスです。 本日は、Python Clickユニットテスト・レシピ集 - CLIではじめるテスト駆動開発（その１）と題…

Python Clickユニットテスト・レシピ集 - CLIではじめるテスト駆動開発（その１）

JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています. このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試…

PySparkはじめました - 分散処理デビューする前にやったこと

Pythonエンジニアの @kimihiro_n です。 今回は先日行った社内勉強会の話を。 社内勉強会 弊社では月1回、社内の開発者で勉強会を行っています。 内容はLT大会だったり、もくもく会だったり、ハンズオンだったりと幹事の人が好きにテーマを設定して実施して…

報道を自動化するエンジニアはゲーム自動化の夢を見るか

この記事はJXAdvent Calendarの17日目の記事です。 こんにちは、以前秩父での開発合宿の記事を書いたぬまっち(@nuMatch) です。 弊社のSlackにはユーザーからのコメントが届くチャンネルがあります。 その内訳は Android-Review : Google Playに投稿されるユ…

ユーザーレビューを感情分析するBotについて