仕事内容
全ての施策の起点となるデータ分析基盤、およびレコメンド機能の開発を担います。ただ運用保守をおまかせするのではなく、拡張余地のある基盤であり、制約の少ない状態で構築可能なため、スキルを最大限発揮し、データエンジニアとして十分な実績を積むことができます。
※現状はGoogle Cloudを使用していますが、目的に応じて他クラウドも使用していきます。
▼業務内容の一例
◆データパイプラインの構築：以下の機能を持つパイプラインを構築します。
・ 各種データをBigQueryに集約する
・ BigQuery等のGoogle Cloud上のサービスから他システムへデータを配信する
◆データマートの作成
・ BigQueryに集約したデータを基に、用途・目的に応じたデータマートの作成、及び作成の自動化を行います。
◆データの可視化
・ Google Kubernetes Engine上に構築したRedashで、データの可視化を行います。
◆データの活用
・ BigQueryに集約したデータを基に、レコメンド機能等の追加開発や運用改善を行います。
【技術スタック】
・クラウド基盤: Google Cloud
・使用しているクラウドサービス: BigQuery、 Cloud Composer、 Vertex AI、 Cloud Run、 Dataproc、 Dataflow、 Cloud Monitoring など
・開発言語: Python、 SQL、 Go など
・BI: Redash、 Tableau
・その他ツール: Github、 Slack、 Jira、 Confluence
※現状はGoogle Cloudを使用していますが、目的に応じて他クラウドも使用していきます。
▼業務内容の一例
◆データパイプラインの構築：以下の機能を持つパイプラインを構築します。
・ 各種データをBigQueryに集約する
・ BigQuery等のGoogle Cloud上のサービスから他システムへデータを配信する
◆データマートの作成
・ BigQueryに集約したデータを基に、用途・目的に応じたデータマートの作成、及び作成の自動化を行います。
◆データの可視化
・ Google Kubernetes Engine上に構築したRedashで、データの可視化を行います。
◆データの活用
・ BigQueryに集約したデータを基に、レコメンド機能等の追加開発や運用改善を行います。
【技術スタック】
・クラウド基盤: Google Cloud
・使用しているクラウドサービス: BigQuery、 Cloud Composer、 Vertex AI、 Cloud Run、 Dataproc、 Dataflow、 Cloud Monitoring など
・開発言語: Python、 SQL、 Go など
・BI: Redash、 Tableau
・その他ツール: Github、 Slack、 Jira、 Confluence
応募資格
・Google Cloud環境で下記いずれかの実務経験
・ビッグデータを活用したレコメンド機能の設計・開発および運用経験
・DWH、DataPipeline、ELT等の設計・開発および運用経験
・Python、SQLの利用経験(1年以上)
【歓迎】
・画像処理、自然言語処理、機械学習の利用経験
・リアルタイムでの分析基盤構築の業務経験
・Go言語の利用経験
・ビッグデータを活用したレコメンド機能の設計・開発および運用経験
・DWH、DataPipeline、ELT等の設計・開発および運用経験
・Python、SQLの利用経験(1年以上)
【歓迎】
・画像処理、自然言語処理、機械学習の利用経験
・リアルタイムでの分析基盤構築の業務経験
・Go言語の利用経験
