支援例
Snowflake と Databricks の連携設計支援
業種: Data Platform
背景
既存のSnowflake資産を活かしながら、AI活用や大規模処理に向けてDatabricks / Lakehouseとの連携を検討していました。両基盤の役割分担を明確にすることが重要でした。
課題
既存の Snowflake 資産を活かしながら、AI活用に向けた Lakehouse 連携を検討していました。
想定スコープ
- Snowflake既存資産、Databricks活用候補、BI、AI、データ加工の役割分担を対象に設定。
- データ共有、ファイル連携、ETL / ELT、権限、コスト、鮮度を比較。
- 将来的なLakehouse移行ロードマップまで含める。
支援内容
データ配置、連携方式、責務分担、移行フェーズを整理し、段階的な連携モデルを設計しました。
技術ポイント
- SnowflakeとDatabricksのデータ配置、責務、連携頻度を業務用途ごとに整理しました。
- データ共有、外部テーブル、ファイル連携、ETL / ELTなど複数の連携方式を比較しました。
- BI、機械学習、データ加工の処理特性を踏まえ、基盤間の重複を避ける設計にしました。
進め方
- Snowflake上の主要データ、利用部門、BI資産、AI活用候補を確認しました。
- 連携方式ごとのコスト、鮮度、運用負荷、セキュリティ観点を整理しました。
- 段階的にDatabricksへ拡張するロードマップと検証項目を作成しました。
成果物
- Snowflake / Databricks 役割分担図。
- 連携方式比較表と推奨構成。
- 段階移行ロードマップ、検証項目、運用論点一覧。
リスクと対策
- 二重管理によるデータ不整合を避けるため、正本データと派生データの責務を定義。
- 連携コストや遅延を抑えるため、用途別に連携頻度と方式を選定。
- 権限管理が分断しないよう、利用者・データ分類・監査観点を両基盤で整理。
使用技術
成果
既存資産を活かしながら Databricks 活用へ拡張するための技術方針を明確にしました。
- Snowflakeを残す領域とDatabricksへ拡張する領域の判断基準が明確になりました。
- 既存投資を活かしながらLakehouse活用へ進める現実的な構成を整理できました。
- AI活用に向けたデータ連携の技術リスクを事前に洗い出せました。
次フェーズ
- 代表データで連携方式を検証。
- AI利用候補からDatabricks側へ段階拡張。
- Snowflake側の継続利用領域と移行領域を確定。