JX通信社はPyCon JP 2021のゴールドスポンサーとしてスポンサーさせていただきました。 今回弊社平瀬さんがLocastの内容で登壇されました！内容はこちらからご覧ください。 speakerdeck.com その際、会社のブースではPythonを使ったミニゲームを実施していま…

PyCon JP 2021 でのミニゲームをGoogle Cloud RunとFirebase Hostingで作った話

はじめまして。JX通信社でデータアナリストをしている @nrtaking です。 弊社では、7/23〜8/8に行われた東京オリンピック、8/25〜9/5に行われた東京パラリンピックにあわせて関連した日本語ツイートを全量収集し、Twitter Japanなど各社に提供していました。…

GCPをフル活用して東京五輪の2週間で約5000万ツイートをさばいた話

背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示し…

BERTの推論速度を最大10倍にしてデプロイした話とそのTips

エンジニアの鈴木（泰）です。 今回は、multiprocessingとthreadingとasyncioの違いとはなんだろう？という問に挑戦してみたいと思います。 この問の答えをグーグル先生に聞いてみると、非常にたくさんの情報がヒットします。しかしながら、どの情報も断片的…

Python multiprocessing vs threading vs asyncio

JX通信社シニア・エンジニアかつ, 最近は自社のテックイベント「JX Press Tech Talk」の司会者をやってる@shinyorke（しんよーく）です. 6/23（水）に, 「JX Tech Talk #python Pythonista 達が語る速報サービス開発の舞台裏」というイベントを開催しました.…

JX Press Tech Talk #python で「StreamlitとFlaskではじめる爆速プロトタイピングとTV砲対策」というトークをしました

（ちょっと遅れましたが）新年あけましておめでとうございます JX通信社シニア・エンジニアで, データサイエンスからプロダクト開発までなんでもやるマンの@shinyorke（しんよーく）と申します. Stay Homeな最近は大河ドラマを観るのにハマってます&推しの作…

データサイエンティストの飛び道具としてのStreamlit - プロトタイピングをいい感じにする技術

JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いて…

Pythonでいい感じにバッチを作ってみる - prefectをはじめよう

アプリケーションコードをきれいに保ちつつ、PynamoDBのモデルをいい感じに定義してテスト用のコードを書く方法を紹介します。

PynamoDBで良い感じにTestableなモデルを定義して、DynamoDB Localを使ってテストする方法

JX通信社シニア・エンジニア兼データ基盤担当大臣の@shinyorke（しんよーく）です. 最近やった「ちょっとした贅沢」は「休日, 自宅で片手に野球を見ながらUberEatsで注文したランチを楽しむ」です. ⚾と飲食を提供してくださる皆さまに心から感謝しております…

データ基盤を支える技術 - ETLフレームワークの実践的な選び方・組み合わせ方

こんにちは、サーバーサイドエンジニアの @kimihiro_n です。 最近は FastAPI という Python の Web フレームワークが社内で密かなブームとなっています。 今回はその FastAPI を使ったエラー定義まわりの話をしたいと思います。 FastAPI とは FastAPI の概…

FastAPI で独自に定義した API エラーも仕様書に自動反映したかった話

はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時…

Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る

（今更ですが）新年あけましておめでとうございます！ JX通信社でシニア・エンジニアをしています, @shinyorke（しんよーく）と申します. 最近は週に2, 3回, ジムで10kmちょい走っています.*1 JX通信社のエンジニアチームでは, 月に一度みんなが集まる月次勉…

Nuxt.js + FastAPIを使ったデータエンジニアリングなデモ作り - 社内勉強会でデブサミのデモをしました

この記事はJX通信社 Advent Calendar 2019 の23日めの記事です。 昨日は Yosk さんの 名刺作成をデザイナーの業務から外して、効率化させた話 でした。 こんにちは、サーバーサイドエンジニアの @kimihiro_n です。 今回は Python の Immutable を最大限活用…

Immutable Python ~ NamedTuple で書く副作用のないプログラム

「JX通信社Advent Calendar 2019」20日目の記事です。 こんにちは。2019年9月からJX通信社のエンジニアとなった鈴木（泰）です。好きな食べ物はオムライスです。 本日は、Python Clickユニットテスト・レシピ集 - CLIではじめるテスト駆動開発（その１）と題…

Python Clickユニットテスト・レシピ集 - CLIではじめるテスト駆動開発（その１）

JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています. このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試…

PySparkはじめました - 分散処理デビューする前にやったこと

Pythonエンジニアの @kimihiro_n です。 今回は先日行った社内勉強会の話を。 社内勉強会 弊社では月1回、社内の開発者で勉強会を行っています。 内容はLT大会だったり、もくもく会だったり、ハンズオンだったりと幹事の人が好きにテーマを設定して実施して…

報道を自動化するエンジニアはゲーム自動化の夢を見るか

この記事はJXAdvent Calendarの17日目の記事です。 こんにちは、以前秩父での開発合宿の記事を書いたぬまっち(@nuMatch) です。 弊社のSlackにはユーザーからのコメントが届くチャンネルがあります。 その内訳は Android-Review : Google Playに投稿されるユ…

ユーザーレビューを感情分析するBotについて