CTOのプロフィール

CTOのプロフィール

Policy

データエンジニア 森 広志 の経歴、得意分野についてのページです。

  • 技術難易度の高いチャレンジングなニーズに対応する。
  • ロジカルシンキングを用いた分かり易い説明。
  • プロジェクトメンバーのスキル向上を重視する。

Work Experience

ミッションクリティカルな大規模システム開発を多数経験。

開発メンバー500人規模のプロジェクトでのDBAチームリーダー、開発メンバー100人規模のプロジェクトでのデータ連携基盤リードアーキテクトを担当。

経験年数は約25年以上。

データ基盤 構築プロジェクト

  • データ連携基盤構築
  • データウェアハウス構築
  • 基幹系システムのアプリケーションDBA
  • データ仮想化基盤構築

技術コンサルティング

  • データ連携基盤導入
  • データウェアハウス導入

Areas of Expertise

大量データを扱い複雑で難易度の高い技術領域を専門分野とする。パフォーマンスチューニングや複雑な技術課題の解決を得意とする。
例えば以下のような経験がある。

  • 200トランザクション/秒を扱うデータベースの統計情報の設計や実行計画の最適化
  • ETLのクラスタ化とマルチスレッド化
  • 数百億件を扱うデータウェアハウスのアーキテクチャ設計
  • 高可用性が求められるデータ連携基盤のアーキテクチャ設計

下記のとおりデータ基盤の重要技術であるDB、ETLについて高い知見を持つ組織で原理から学んだ。

  • 前職の日本IBMでは、RDBについてスキルを習得。※RDBは1970年代にIBMによって作られた。
  • 前々職の三菱電機インフォメーションネットワークでは、ETL(Informatica)についてスキルを習得。※Informaticaは2000年頃に三菱電機インフォメーションネットワークによって日本語版製品化が行われ日本での販売が開始された。

Skills

パフォーマンスチューニング


データ連携基盤

  • アーキテクチャデザイン
  • 設計／構築

データベース

  • アーキテクチャデザイン
  • 設計／構築

WordPress

  • 基盤導入
  • サイト制作

Certifications

  • ORACLE MASTER Platinum Oracle Database 11g
  • データベーススペシャリスト試験(IPA)
  • Google Cloud Certified Professional Data Engineer
  • AWS Certified Data Analytics – Specialty
  • LPIC-3: 304 (Virtualization and High Availability)
  • Project Management Professional (PMP)
  • TOEIC800

Portfolio

掲示板系WEBサイトの分類機能

掲示板系WEBサイトの投稿をVertex AIで分析してスパム投稿を識別する。また、テーマに無関係な投稿を判別できるように要約する。
使用技術：Python、GCPのBigquery、Vertex AI

GitHub – data2coordi/pub_gcp_vertex_for_web: 掲示板系WEBサイトにはすばらしい情報があるが、スパムやテーマとは無関係の投稿も存在し利用には時間コストを要する。 本システムはPython、GCPのBigquery、Vertex AIを使って問題を軽減することを目的としている。

掲示板系WEBサイトにはすばらしい情報があるが、スパムやテーマとは無関係の投稿も…

スパルタパーソナルカラー塾WEBサービス
https://github.com/data2coordi/pub_makeup

問診WEBサービス
https://github.com/data2coordi/pub_check_my_color_plugin

AIパーソナルカラー診断アプリ
https://github.com/data2coordi/pub_makeup.git

Bigqueryの大量データ生成スクリプト

Bigqueryは大量データを処理するが性能検証用にテストデータを作成するのは大変である。 そこで、Bigqueryで大量データを生成するSQLを作成した。 SQL一発で作成するので非常に高速。またシンプルなので柔軟にカスタマイズ可能。
使用技術：Bigquery

GitHub – data2coordi/pub_bigquery_generate_data: Bigqueryは大量データを処理するが性能検証用にテストデータを作成するのは大変である。 そこで、Bigqueryで大量データを生成するSQLを作成した。 SQL一発で作成するので非常に高速。またシンプルなので柔軟にカスタマイズ可能。

Bigqueryは大量データを処理するが性能検証用にテストデータを作成するのは大…

Bigqueryの性能検証

Bigqueryの性能を検証しました。 基本的内容に加えて公開されていないようなAdvancedな部分にも踏み込んでいます。 検証環境や検証用のSQLも下記で説明しているのでご活用ください。
使用技術：Bigquery

GitHub – data2coordi/pub_bigquery_pf_ev: Bigqueryの性能を検証しました。 基本的内容に加えて公開されていないようなAdvancedな部分にも踏み込んでいます。 検証環境や検証用のSQLも下記で説明しているのでご活用ください。

Bigquery 統計情報のクエリプランへの影響の検証

Bigqueryはどの程度、データ傾向を考慮してクエリプランを決めているのか検証している。
使用技術：Bigquery

https://github.com/data2coordi/pub_bigquery_query_plan_ev

Career History

2022 – 2023：日本IBM（Data Engineer）

データ仮想化基盤構築プロジェクトでDeveloperチームのリーダーを担当

  • 特徴：グローバルプロジェクト
  • 成果：海外と日本でグローバルにデータを連携するシステムを構築

2017-2022：日本IBM（Database Engineer）

大規模基幹システム刷新プロジェクトでDBAチームリーダーを担当 

  • 特徴：超大規模プロジェクト。PJメンバーは500人規模
  • 成果：統計情報の設計／生成、実行計画最適化、パフォーマンスチューニング、DB論理モデリング、DB物理モデリング

2014-2017：三菱電機インフォメーションネットワーク（Data Engineer）

新規基幹システム構築プロジェクトでデータ連携基盤リードアーキテクトを担当

  • 特徴：大規模プロジェクト。PJメンバーは50人〜100人規模
  • 成果：データ連携基盤の標準化、クラスタ化。マルチスレッド化による処理時間の改善。

〜2014：三菱電機インフォメーションネットワーク（DWH Engineer）

データ基盤アーキテクトとして、データ基盤の導入支援、データ基盤の構築、パフォーマンスチューニング等を担当

お問い合わせはこちら
ホーム