39社のデータ基盤アーキテクチャ特集 - ツールの技術選定のポイントと活用術
8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータ基盤アーキテクチャをまとめた記事です。各社の技術選定の背景や工夫などの知見を得ていただく場となれば幸いです。
※ツール名・ご寄稿企業名共にアルファベット順で掲載しております
BigQuery
BigQuery は、Google Cloud の費用対効果に優れたフルマネージド型の分析データ ウェアハウスです。ペタバイト規模に対応しており、膨大な量のデータに対してほぼリアルタイムで分析を行うことができます。
▼BigQueryとは？機能や特徴・製品の概要まとめページはこちら
https://findy-tools.io/products/bigquery/49
▼Findy Tools編集部コメント
BigQueryの利用者は、主に大規模なデータ処理の効率性や運用の簡便さを重視している傾向があります。フルマネージドでリソース管理の手間が少なく、スケーラビリティに優れている点が評価されています。特に他のGoogle Cloudサービスとの連携のしやすさや、従量課金制によるコストパフォーマンスの高さが導入の決め手となるケースが多いようです。非エンジニアでも扱いやすく、ビジネスメンバー主導の分析環境が整う傾向も見られます。
株式会社enechain
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社enechainのBigQueryレビュー】
▼アーキテクチャの意図・工夫
計算ジョブはNestJSのStandalone Applicationとして起動され、BigQueryに対してジョブを投げます。 ジョブの結果は、そのままBigQueryのテーブルにinsertされるか、RDB（CloudSQL）やCSVとしてCloud Storageにアップロードされます。 全体のワークフローの管理にはArgo Workflowsを用いています。
計算ジョブは一回の計算で数十に及びます。 そのため、どこかで計算が失敗してもリトライが可能なように冪等性を意識した実装をしています。
▼レビュー詳細はこちらから
大規模計算基盤としてのBigQuery導入事例
株式会社hacomono
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社hacomonoのBigQueryレビュー】
▼アーキテクチャの意図・工夫
アーキテクチャ図の上半分 (RDS & Aurora → Embulk → BigQuery → Tableau) は顧客へのBIダッシュボード提供サービス向け、下半分は社内分析向けとなっています。 それぞれ開発・運用チームが異なるため現状この構成となっております。
▼レビュー詳細はこちらから
株式会社hacomonoのBigQuery導入事例
株式会社Insight Edge
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社Insight EdgeのBigQueryレビュー】
▼アーキテクチャの意図・工夫
BigQueryはCloud Storage上のCSVファイルを直接読み取る機能もありますが、 本件では文字コードの変換などいくつか前処理してBigQueryにデータを格納する必要があったため、 Cloud Functionsを使用してファイルを前処理して、BigQueryにデータを格納するようにしました。
▼レビュー詳細はこちらから
データサイエンティストがBigQueryを導入して、管理負担も分析リードタイムも改善したって話
株式会社LayerX
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社LayerXのBigQueryレビュー】
※ 2024年10月現在、Snowflakeへの移管を行っています
▼アーキテクチャの意図・工夫
データ基盤では BigQuery を中心に構成されており、データ取り込みは BigQuery に対応する OSS、SaaS を実装速度、料金、メンテナンスコストのバランスを見ながら選定しています。
データはなるべく Raw data のまま BigQuery に取り込み、データ変換やモデリングは dbt (data build tool) に寄せて BigQuery のパワーで解決することでデータパイプラインをシンプルに保つように意識しています。
▼レビュー詳細はこちらから
株式会社LayerXのBigQuery導入事例
株式会社オープンロジ
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社オープンロジのBigQueryレビュー】
▼アーキテクチャの意図・工夫
- 変更履歴の管理
- embluk を利用してデータベースの変更差分を流し込み、分析関数を利用して最新データを参照できるようにした
- 過去データも全て残るので、同一レコードの変更履歴も確認できるようなった
- embluk を利用してデータベースの変更差分を流し込み、分析関数を利用して最新データを参照できるようにした
- リアルタイム同期
- Datastream for BigQuery を導入することでニアリアルタイムなデータを参照できるようにした
- Datastream for BigQuery を導入することでニアリアルタイムなデータを参照できるようにした
▼レビュー詳細はこちらから
株式会社オープンロジの BigQuery 導入事例
PharmaX株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【PharmaX株式会社のBigQueryレビュー】
▼アーキテクチャの意図・工夫
弊社では、専任のデータ分析エンジニアを設けておらず、アプリケーションエンジニアがデータ分析基盤の構築も担当しています。そのため、専門性の高くないエンジニアでもメンテナンスできるように、シンプルかつ流用性のあるアーキテクチャを意識してツールやデータフローを選定しています。
▼レビュー詳細はこちらから
アプリケーションログ分析のためのCloud DataflowとBigQueryを活用したデータパイプライン構築事例
株式会社レアジョブテクノロジーズ
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社レアジョブテクノロジーズのBigQueryレビュー】
▼アーキテクチャの意図・工夫
なるべくマネージドサービスを利用して管理コストを減らしています。
- Aurora MySQLからDBクラスターのS3エクスポート機能を利用しデータ抽出
- Storage Transfer Serviceを利用してS3とGCS間のデータ転送
- データ加工はBigQueryのScheduled Queryを利用
データ抽出/データ転送/データ取込はECS上に構築したAirflowから実行しています。 AWSのマネージドAirflowサービス(MWAA)はコストの面から利用していません。
▼レビュー詳細はこちらから
レアジョブグループ データ基盤としてのBigQuery導入事例
WED株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【WED株式会社のBigQueryレビュー】
▼アーキテクチャの意図・工夫
- アプリケーションで使用しているデータベース(AlloyDB)からDatastreamを利用してBigQueryへデータを転送しています。直接BigQueryと連携できるものは連携を行い、他企業等からデータを提供されているものに関してはCloudComposerを使用してBigQueryにデータを入れています。
- CloudComposerを使用してETLを行いMetabaseのダッシュボードで扱いやすいデータにしています。
- 約12億枚(2024/08現在)のレシートデータとそれに付随するデータがあるので特にレコード数が多いテーブルにはパーティションフィルタを必須にしてなるべくクエリにかかるスキャン量を減らしています。
- BigQueryの社内での利用者も増えているのでクエリの履歴やかかったコストなどもINFORMATION_SCHEMAから取得&監視を行いコストが多くかかっているクエリを検知できるようにしています。
▼レビュー詳細はこちらから
WED株式会社のBigQuery導入背景と活用事例
Databricks
Databricksは、レイクハウスを基盤とするプラットフォームが、あらゆるデータとガバナンス要件をサポートするオープンな統合環境を提供。インテリジェンスエンジンが、ビジネスの特性に即したデータ処理を可能にします。
▼Databricksとは？機能や特徴・製品の概要まとめページはこちら
https://findy-tools.io/products/databricks/11
▼Findy Tools編集部コメント
Databricks 利用者は、コストパフォーマンスやパフォーマンス向上を重視する傾向があります。特に、Redshiftとの比較でコストを抑えつつ高速なクエリ処理を実現したケースが多いようです。非構造化データの加工やセルフ分析環境の構築が容易であり、ETLやデータ分析の効率が大幅に改善されたとの報告も多く見られます。Databricks を使ったデータ基盤ではメダリオンアーキテクチャを採用した例が多いそうです。
株式会社データ・ワン
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社データ・ワンのDatabricksレビュー】
▼アーキテクチャの意図・工夫
- Redshiftでデータ基盤を構築していたときから、 ETLのワークフロー管理にはDigdagを利用し、JDBCでRedshiftに接続する構成をとっていました。そのため、Databricks移行後も、Digdagを引き続き利用し、JDBCでSQL Warehouseに接続する構成をとっています。
- データ量が多いこともあり、Redshift利用時は、全てのデータをRedshiftのストレージにロードすることはせず、CVSやParquetファイルとしてS3に格納しているものをSpectrumを利用してクエリしていました。Databricks移行後は、生データを除いてDelta Lake形式で保存するようにしていっています。
- アドホックな分析に関してもSQL Warehouseを利用し、コンソールからSQLを実行しています。
▼レビュー詳細はこちらから
RedshiftからDatabricksへの移行と活用法
株式会社エブリー
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社エブリーのDatabricksレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
弊社ではメダリオンアーキテクチャを採用したデータ基盤を作っております。データソースとしてアプリやサーバーのイベントをDatabricksで読み込み、Bronze、Silver、GoldのレイヤーでETLを組んでいます。集計したデータはダッシュボードやAI/MLに活用しています。
▼レビュー詳細はこちらから
Databricksを活用してDELISH KITCHENのレシピレコメンドを開発した話
株式会社カケハシ
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社カケハシのDatabricksレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
Databricksの機能のみを使って
- コード共有したい
- だれでも自由に処理を拡張したい
- テグレが起こらないようにしたい
を実現する環境になっています。
すごい基本的な機能を使って作っている環境ですが、分析用のNotebookがあり、そこから共有できそうな関数を切り出したモジュールを作っておいてインポートして使います。そのモジュールのテストコードを動かせるようなNotebookを作っておき、それを定期実行、スケジューラー登録されたJobsから実行することによってテストをするというような環境になります。
▼レビュー詳細はこちらから
GitHubを使わずDatabricksだけでお手軽にライブラリ共有やCIができる環境を作ってみた
株式会社SalesNow
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社SalesNowのDatabricksレビュー】
▼株式会社SalesNowのDatabricks選定理由
"非構造化データ"の加工/価値化をできるだけシンプルに行いたい希望に対し、Databricks社が提唱している"メダリオンアーキテクチャ"がマッチしていました。この"メダリオンアーキテクチャ"を最もシンプルに実現できるのがDatabricksだったため、採用に至っています。
▼レビュー詳細はこちらから
メダリオンアーキテクチャを実現するDatabricksによって進化したSalesNowのデータ基盤
dbt
dbt (data build tool)は、データ変換と分析ワークフローの自動化を支援するオープンソースツールです。SQLを使用してデータトランスフォーメーションを定義し、データモデルの開発、テスト、ドキュメント化を簡素化します。
▼dbtとは？機能や特徴・製品の概要まとめページはこちら
https://findy-tools.io/products/dbt/37
▼Findy Tools編集部コメント
dbtは、SQLベースでデータモデルを定義できるため、学習コストが低く、エンジニア以外のメンバーも扱いやすいツールとして評価されています。導入の理由としては、他ツールとの相性や、デファクトスタンダードとしての位置づけ、拡張性が挙げられました。利用者の多くは、低コストで運用可能な点や、データリネージの可視化による依存関係の把握が容易であることを重視しているようです。
KDDIアジャイル開発センター株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【KDDIアジャイル開発センター株式会社のdbtレビュー】
▼アーキテクチャの意図・工夫
弊社内で利用できるリソースを最大限に活用してかつまずはシンプルなアーキテクチャからということで上記のような構成となっています。
GitHub Actionsから直接dbt Coreを呼び出してSnowflakeに対してSQLを発行するといった作りです。
ソースデータは社内の他のSnowflakeアカウントからデータシェアしたものを利用しているためこのようなシンプルな構成でも実用に耐えうるものとなっています。
▼レビュー詳細はこちらから
KDDIアジャイル開発センターのdbt導入事例：dbtとGitHub ActionsでシンプルなELTを実現
株式会社kubell（旧Chatwork株式会社）
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社kubellのdbtレビュー】
▼dbt導入の成果（一部抜粋）
プロジェクトの立ち上げ当初は想定していなかった、以下のような利用拡大にも対応できる開発体制を構築できました。
- データ基盤を利用する側のアナリストも開発に参加するようになった。（アナリストが自ら必要なデータモデル（意味層）をdbtで実装するように）
- 別ドメイン（他会社、事業）のデータ基盤構築に対して、素早く横展開できた。
▼レビュー詳細はこちらから
kubell（旧Chatwork）のデータ分析基盤でのdbt活用について
ピクシブ株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【ピクシブ株式会社のdbtレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
赤い線がdbtに関連するところです。ポイントは3つあります。
- 外部テーブルをdbtで管理
- dbt専用の開発環境データセット
- 既存のシステムからの移行とエコシステム
▼レビュー詳細はこちらから
dbt Core導入における非中央集権データ組織のデータモデリング環境構築
株式会社PREVENT
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社PREVENTのdbtレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
データ基盤については、生データを転送してデータレイクのように貯めておく「ソースLayer」と、データ加工を行い各種インターフェイスにつなげる「プロダクトLayer」にわけています。
データの中には、個人単位の医療情報を含むセンシティブなデータもあるため、ソースLayerへのアクセス権は、限られた開発メンバーのみに絞っています。
▼レビュー詳細はこちらから
秘伝のたれを解放する：小規模チームではじめたdbtの導入例
ラクスル株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【ラクスル株式会社のdbtレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
- データモデリング
- ディメンショナルモデリング（スタースキーマ/スノーフレークスキーマ）や Data Vault ではなくワイドテーブルを採用
- 非エンジニアが分析する上でJOINが一つのハードルとなるが、分析に必要なデータを予め1つのテーブルにJOINしておくことでその問題を解消
- ディメンショナルモデリング（スタースキーマ/スノーフレークスキーマ）や Data Vault ではなくワイドテーブルを採用
▼レビュー詳細はこちらから
ラクスル株式会社のdbt導入事例(ダンボールワン編)
STORES株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【STORES株式会社のdbtレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
- 敢えて細かく役割を分けることで、どこで何をすべきかを明確にし、常にセオリーに沿ってデータモデリングを行えるようにしている。
- warehouse,martにて、dbt のephemeralモデルで共通処理を定義することで、本来物理化する必要のないテーブルやビューを作らず、かつロジックのサイロ化を防止している。
▼レビュー詳細はこちらから
STORES株式会社のdbt導入事例
株式会社タイミー
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社タイミーのdbtレビュー】
▼dbt導入の成果（一部抜粋）
dbt Cloudを導入することで、マネージドなインフラ環境でデータ変換処理を迅速にEmbulkから移行できました。これにより、dbt CloudでDAG構成を組むことで複雑なデータ変換処理が可能となり、複雑なデータモデリングの実装が実現しました。dbt Cloud内でのテスト記述や様々なメトリクスの監視ができるため、ジョブ管理や保守が容易になり、データの品質も向上しました。コードはSQLベースで書かれているため、アナリティクスの一部のメンバーも変換処理やモデリングに参加できました。
▼レビュー詳細はこちらから
株式会社タイミーのdbt導入事例
株式会社ヤプリ
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社ヤプリのdbtレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
アーキテクチャ選定で意識したこと
- 本番環境に影響を出さずに本番相当の開発環境を提供すること
- チームでの基盤開発を可能にすること
- GitHub におけるブランチフローや自動化といった開発作法・作り込みなどはDSグループのスキルセットで対応可能な範囲に収めること
▼レビュー詳細はこちらから
データ組織・基盤をスケール可能にするために dbt Core を導入した話
Fivetran
Fivetranは、データパイプラインの構築と管理を自動化するためのフルマネージドなデータ統合プラットフォームです。企業がさまざまなデータソース（クラウドアプリケーション、データベース、イベントストリームなど）からデータを抽出し、データウェアハウスやデータレイクに統合するのを支援します。
▼Fivetranとは？機能や特徴・製品の概要まとめページはこちら
https://findy-tools.io/products/fivetran/339
▼Findy Tools編集部コメント
Fivetranの利用者は、開発や保守コストを最小限に抑える必要がある少人数チームが多いようです。Fivetranの差分転送機能や削除データ同期機能がコスト削減に貢献しているようです。導入によりリードタイムの短縮や工数削減が実現され、データ信頼性も向上するため、特にデータパイプライン構築において選ばれる傾向があります。
SHE株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【SHE株式会社のFivetranレビュー】
▼Fivetran導入の成果（一部抜粋）
データの信用性の確保
削除データの同期を含む差分転送の実装に成功しました。これにより、データの完全性と信用性を担保することができ、データ分析や活用において信頼できるデータ基盤を構築することができました。
▼レビュー詳細はこちらから
Fivetranで実現した各マイクロサービスからのデータの集約と削除データの同期
株式会社タイミー
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社タイミーのFivetranレビュー】
▼Fivetran導入の成果（一部抜粋）
- 利用できるコネクタ数は標準でも多いが、国内SaaS等未対応なものについても by request program により対応することも可能で、データ連携の際のファーストチョイスになり、散らばっていた連携をある程度まとめることができた。
- 設定や運用に関する工数を削減できた。特に運用に関して言えば、導入前後の半年の比較でembulkの頃は約7人日分のタスクがあったのに対し、Fivetranにすることで1.5時間分まで削減できた。
▼レビュー詳細はこちらから
株式会社タイミーにおけるFivetran導入の契機と得られた効果
Lightdash
Lightdashは、データウェアハウスに直接接続してデータを探索、可視化、共有するためのオープンソース分析プラットフォームです。特にdbt（data build tool）とシームレスに連携し、リアルタイムでのデータ分析やダッシュボードの作成を支援します。
▼Lightdashとは？機能や特徴・製品の概要まとめページはこちら
https://findy-tools.io/products/lightdash/360
▼Findy Tools編集部コメント
Lightdashの利用者は、費用削減やデータガバナンス、dbtとのシームレスな連携を重視する傾向があるようです。特に、企業単位での課金形態により、ユーザー数の増加が容易で、データ活用の推進に役立つケースが多いようです。また、dbtのSQL管理や検証環境の整備が、開発者にとって効率的なワークフローを支える傾向が見られます。
Retty株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【Retty株式会社のLightdashレビュー】
▼Lightdash導入の成果（一部抜粋）
BIツールを使って分析するユーザー数を増やせたうえに、費用を50%以上削減できました。
dbtとの親和性から移行前よりも、チャート・ダッシュボードの作成や更新サイクルが回しやすくなりました。
加えて、移行に際し不要なダッシュボードの棚卸しもできました。
▼レビュー詳細はこちらから
Retty株式会社のLightdashの導入事例
Looker
Lookerは、会社のデータの調査、共有、可視化を支援するツールです。 これを使用することで、ビジネス上の意思決定をより的確に行えるようになります。
▼Lookerとは？機能や特徴・製品の概要まとめページはこちら
https://findy-tools.io/products/looker/7
▼Findy Tools編集部コメント
Lookerの利用者は、データガバナンスやアクセス管理の強化、データの民主化を重視するケースが多いようです。LookMLを活用し、データ定義の一元管理が可能な点や、インテグレーションの多様性によりデータを既存のワークフローに組み込めることが評価されています。
株式会社スペースマーケット
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社スペースマーケットのLookerレビュー】
▼アーキテクチャの意図・工夫
Looker導入時点ではDWHが存在しておりませんでしたが、導入と同時にDWHの環境選定も行いました。結果として、業務ツールであるGoogle製品との相性が良いことや、GCPのMLなどの付随機能が優れている点などを鑑みてBQを採用しました。そして、DWHができたことでGoogleAnalyticsやAmplitude 、Zendeskなど社内で使用していた様々なサードパーティツールのデータをBQに集約しLookerで可視化する、というスキームが構築できました。
▼レビュー詳細はこちらから
Lookerの導入効果をレビューでご紹介(ayase-y-株式会社スペースマーケット)
Snowflake
Snowflakeは、クラウドネイティブのデータウェアハウスプラットフォームで、企業がデータの課題に対処し、データを最適化して活用するのに役立ちます。その特徴として、クラウドベースの運用、分離されたストレージと計算、高度なセキュリティ、SQLのサポート、使いやすいインターフェースが挙げられます。
▼Snowflakeとは？機能や特徴・製品の概要まとめページはこちら
https://findy-tools.io/products/snowflake/10
▼Findy Tools編集部コメント
Snowflakeの利用者は、AWSとの相性や開発者体験、迅速なスケーリングやコスト管理を重視する傾向があるようです。特にリアルタイム性やクエリ処理の高速化が評価されており、データの取り込みや運用の手軽さが導入理由として挙げられています。また、全社的なデータ活用や効率的なアドホック分析環境の構築に成功した例が多いようです。コストパフォーマンスや将来性にも魅力を感じるユーザーが多い印象です。
株式会社Algoage
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社AlgoageのSnowflakeレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
- 運用を楽にすること
- 管理コストの低いマネージドなツールを利用することで管理コストを下げている。
- そのうちの一つとしてSnowflakeを採用した
- 他にも、AWS LambdaやFivetranなど、管理にかかる労力の低いツールを積極的に採用している
- そのうちの一つとしてSnowflakeを採用した
- 管理コストの低いマネージドなツールを利用することで管理コストを下げている。
▼レビュー詳細はこちらから
Snowflakeの導入効果をレビューでご紹介(越境-株式会社Algoage)
株式会社Awarefy
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社AwarefyのSnowflakeレビュー】
▼Snowflake導入の成果（一部抜粋）
- プロダクトの進化にあわせて柔軟に運用できるデータ分析基盤を構築できた
- 全社で KPI をモニタリングするためのダッシュボードが構築できた
- アドホック分析を快適に行える環境が構築できた
▼レビュー詳細はこちらから
株式会社AwarefyのSnowflake導入事例
dely株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【dely株式会社のSnowflakeレビュー】
▼Snowflake導入の成果（一部抜粋）
データをMLやアプリケーションで利用する上で、リードタイムを短縮するという目的が達成できたのは大きかったです。また、Snowflakeの機能を活用することで、運用の工数を掛けずに、安定して、成果に繋げることができるようになった点で満足しています。
▼レビュー詳細はこちらから
Snowflakeの導入効果をレビューでご紹介(harry-dely株式会社)
株式会社GENDA
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社GENDAのSnowflakeレビュー】
▼アーキテクチャの意図・工夫
現状は比較的オーソドックスでシンプルな構成で利用しています。 社内のデータの統合が徐々に進んできていますので、ここからさらなる取り組みを仕込んでいるところです。
▼レビュー詳細はこちらから
Snowflakeの導入効果をレビューでご紹介(こみぃ-株式会社GENDA)
株式会社マインディア
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社マインディアのSnowflakeレビュー】
▼アーキテクチャの意図・工夫
- RDSやS3からSnowpipeを利用してデータベースに蓄積されるように構築
- BtoCサービスのデータもSnowflakeで管理することによってデータの一元化に対応
- SnowflakeからMarketplaceへの展開、TableauやLookerなどBIツールとの連携
▼レビュー詳細はこちらから
Snowflakeの導入効果をレビューでご紹介(株式会社マインディア)
株式会社ナウキャスト
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社ナウキャストのSnowflakeレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
- データのサイロ化を解消するために一つのアカウントにデータは基本的に集約しつつ、適切な権限管理を行えるような Role を簡単に作成できる仕組みを用意
- マルチデータプロダクトを取り扱えるように、インフラを簡単に作成できる Terraform module を用意したり、 dbt に関連するテンプレートを用意し必要なコードはコマンド一つで作成できるような仕組みを用意
▼レビュー詳細はこちらから
Snowflake と dbt / Terraform を組み合わせモダンなデータ基盤を構築
ノバセル株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【ノバセル株式会社のSnowflakeレビュー】
▼アーキテクチャの意図・工夫
弊社では、データウェアハウスとしてSnowflakeを採用しているため、データ基盤の他のコンポーネントについてはModern Data Stackを採用しております。ETL/リバースETLツールとしてはtroccoを採用しています。UIがわかりやすく、非エンジニアでも慣れると構築が可能になるため、ビジネスサイドのメンバーも利用しています。ウェアハウス内での各種管理を簡易化するため、TerraformやdbtといったOSSツールを活用しながら安全かつ利便性の高いデータパイプラインを整備しています。
BIツールとしては、当初はRedashを採用していましたが、ビジネスサイドのメンバー増に合わせて、Tableauの導入を行いました。利用シーンやユースケースに合わせて使い分けています。
▼レビュー詳細はこちらから
Snowflakeの導入効果をレビューでご紹介(yamnaku-ノバセル株式会社)
株式会社PLAY
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社PLAYのSnowflakeレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
プレイヤーから送信された視聴動向データは、最初に Fargate 上で稼働するアプリケーションによって形が整えられてから、Kinesis Data Streams に取り込まれます。ここでデータは 2 本のストリームに分けられ、一方はそのまま生データとして S3 に保存され、他方は Kinesis Data Analytics（現在は Managed Service for Apache Flink に名称変更）に流すことでリアルタイム分析を行っています。
▼レビュー詳細はこちらから
視聴動向データの分析基盤を Redshift から Snowflake に乗り換えた話
TROCCOⓇ
TROCCOⓇは、ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどのデータエンジニアリング領域をカバーしたデータ基盤SaaSです。 素早く安全にデータの連携・整備・運用を自動化し、データ活用環境を提供いたします。
▼TROCCOⓇとは？機能や特徴・製品の概要まとめページはこちら
https://findy-tools.io/products/trocco/17
▼Findy Tools編集部コメント
TROCCOⓇは、日本企業のニーズに合わせたコネクタ対応や手厚い日本語サポートが評価されているようです。特に、非エンジニアでもデータ転送を簡単に設定でき、ローコード／ノーコードの環境で運用できる点が支持されています。また、導入後の運用コストの低さやデータ統合の自動化が進み、全社的なデータ活用を促進しているという成果が見られます。利用者は短期間でデータ基盤を再構築し、効率的なデータ活用を実現する傾向があるようです。
アソビュー株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【アソビュー株式会社のTROCCOⓇレビュー】
▼アーキテクチャの意図・工夫
- データウェアハウスは、GAなどGoogle系サービスのデータ取得の親和性や一部GCPサービスを利用していたことからBigQueryを選定
- BIツールは、分析しやすさに定評のあるTableauに統一
- GCPのサービスアカウントのBigQueryへの書き込み権限の方向性を統一することで、データがどこから来ているのかが分かりやすいようにしている
▼レビュー詳細はこちらから
troccoを使ってデータ分析基盤構築の第1歩目を踏み出そう！！
atama plus株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【atama plus株式会社のTROCCOⓇレビュー】
▼アーキテクチャの意図・工夫
現在はデータ収集部分をtroccoとDatastreamを組み合わせ、下記のように使い分けています。
- trocco：外部SaaSや新規アプリ向け
- Datastream：転送テーブルが多くリバースETLも実施したいアプリ向け
まずはtroccoから始めて、データ基盤のstaging環境構築のニーズが出たドメインから、IaCやワークフローエンジンとの相性を加味してDatastreamに移行しています。
▼レビュー詳細はこちらから
データエンジニアがいなくても大丈夫。初めてのデータ基盤構築にはtroccoがおすすめ
コミューン株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【コミューン株式会社のTROCCOⓇレビュー】
▼アーキテクチャの意図・工夫
データ転送部分に特化して活用した。データ加工の部分はdbt cloudを中心に活用している。
▼レビュー詳細はこちらから
専任データエンジニアがいなくても安心！データ基盤立ち上げにおすすめのTROCCO
株式会社キュービック
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社キュービックのTROCCOⓇレビュー】
▼アーキテクチャの意図・工夫
広告/成果レポートのインポートに一定のコストが掛かっており、自動化をしたかったため上記のような構成図にしています。 また、データマート機能によりRedshiftに蓄積したローデータの加工ができるようになったため、trocco APIを活用して整形/集計ロジックの実行トリガーとしても活用しています。
▼レビュー詳細はこちらから
データ分析基盤リニューアルの要
ドクターメイト株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【ドクターメイト株式会社のTROCCOⓇレビュー】
▼アーキテクチャの意図・工夫（一部抜粋）
- 全社データ集約
保守性を高めるためにBigQuery環境を3層構成（lakeプロジェクト群・warehouseプロジェクト群・martプロジェクト群)にしています。- lakeプロジェクト群には各データソースから収集したデータをなるべく加工せずに格納しています。
- TROCCOのデータ転送先にはこのプロジェクトを接続しています。これによりTROCCOを別の手段に置き換える事態が発生しても変更を容易にすることが可能と考えています。
- ここでkintoneのデータ転送の対応や設定の容易さなどが決め手となりTROCCOの導入に至りました。
- TROCCOのデータ転送先にはこのプロジェクトを接続しています。これによりTROCCOを別の手段に置き換える事態が発生しても変更を容易にすることが可能と考えています。
- lakeプロジェクト群には各データソースから収集したデータをなるべく加工せずに格納しています。
▼レビュー詳細はこちらから
これで全社データ集約を実現できました。お手軽で運用コストをかけないETLのファーストチョイスに！まずはFreeプランで試してみよう！
エムスリーキャリア株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【エムスリーキャリア株式会社のTROCCOⓇレビュー】
▼アーキテクチャの意図・工夫
アーキテクチャ構築にあたっては、専門のデータエンジニアでなくてもデータ転送が手軽に実現できることと、データ基盤のメンテナンスにかかる運用コストを最小化できるフルマネージド構成であることを重視して構築しました。
▼レビュー詳細はこちらから
Web開発エンジニアでも手軽にデータ転送したい！troccoでデータ基盤を構築した話
株式会社M&Aクラウド
会員限定コンテンツ無料登録してアーキテクチャを見る
【株式会社M&AクラウドのTROCCOⓇレビュー】
▼アーキテクチャの意図・工夫
データ基盤のDWHとして採用したBigQueryに対して、troccoを用いてデータソースであるMySQL、 Salesforceからデータ転送を行っています。
BigQueryでの転送では、個人情報カラムの削除や一部カラムのハッシュ化といった加工を行っています。
また、当初想定していた使い方ではありませんが、MySQLのデータをSalesforceへ転送するETLとしても活用しています。
弊社のWebプラットフォームに蓄積された企業情報やユーザー情報、買収ニーズといった各種データをtrocco上で加工してSalesforceに連携しています。
▼レビュー詳細はこちらから
スモールスタートで導入できるクラウド型ETL
マイベスト株式会社
会員限定コンテンツ無料登録してアーキテクチャを見る
【マイベスト株式会社のTROCCOⓇレビュー】
▼アーキテクチャの意図・工夫
データソースの所在と状態が把握しやすいように、データ抽出処理・リバースETLはTROCCOに集約しています。 直近だと、データマートの活用が社内でも増えてきているため、データマートの作成方針やSQLのレビューのためにDataformとTROCCOを併用して運用しています。
▼レビュー詳細はこちらから
データ基盤の立ち上げのスモールスタートにおすすめ
