はじめに

社内のデータ活用のためにデータ活用基盤を構築したものの、うまく利活用が進んでいないといったお悩みはありませんか。
データを中央に集約したものの、管理が大変になったり、活用までに時間がかかったりといった悩みを抱えているお客様の声をよく伺います。
そのような悩みに対して、データ管理の新しいアプローチである「データメッシュ」型のアーキテクチャが注目されています。
データメッシュはデータの所有権と責任を各利用部門といった「ドメイン」に分散させることで、組織間のデータ活用を促進しようとするものです。
しかし、従来の中央集権型によるデータ活用基盤をすでに導入している組織にいきなりデータメッシュを導入することは簡単ではありません。
本記事では、変化していく組織に合わせてどのようにデータメッシュを導入していくかについて、事例とともに紹介します。

中央集権型の課題

従来のデータ活用基盤は、すべてのデータを一箇所に集約し、全社横断的な組織である「中央組織」がデータを管理する運用を行っていますが、これには以下のような課題があります。

利用部門から見た課題感：データのリアルタイム性欠如

  • データ活用基盤に集約されたデータを利用する各利用部門は、欲しいデータがあると中央組織にデータ提供を依頼します。
    しかし、多くの利用部門が一つの中央組織に提供依頼をするため、各利用部門へのデータ提供が遅れデータの活用までに時間がかかることがあります。

中央組織から見た課題感：集中する負荷

  • データの一元管理による中央組織の作業負担は大きく、ミスや漏れのリスクがあります。
  • 中央組織は、各利用部門が欲する領域の異なるデータに対して収集～加工/変換し、管理する必要があるため、データの性質を理解し品質を担保し続けることには大きな労力がかかります。

データメッシュのアプローチ

上記のような中央集権型で抱える課題に対する打ち手の一つとして、データメッシュがあります。
データメッシュでは、各利用部門である「ドメイン」が自らの領域のデータを「プロダクト」として管理し、責任を持つことでデータ利用までのリードタイムを大幅に減らすことができます。

利用部門の利点

  • 各ドメインが自分たちのデータニーズに迅速に対応できるため、データのリアルタイム性が向上し、意思決定が加速します。
  • データのライフサイクル全般に対しより深く理解している各ドメインが開発・管理することで、品質の担保されたデータを利用できます。

中央組織の利点

  • データ収集、加工〜各ドメインへの提供に対する作業負荷を減らし、ミスや漏れのリスクを低減します。
  • 中央に集約されたデータの品質を担保することへの労力が大幅に削減されます。

自由が利く一方で、最初から各ドメインが各自のルールを整備して自走することや、中央組織がドメイン間での運用性を保つことは難易度が高いという新たな課題にも目を向ける必要があります。

事例

先に述べた新たな課題に対し、中央集権型からデータメッシュへ切り替えるには、その時の組織の状況を確認しながら段階的に変化させていくことが求められます。
実際に、データ活用の拡大に伴いデータ活用基盤の在り方を見直したお客様の事例を紹介します。

1. 中央集権型への苦悩

あるお客様では、情報システム部門が中央組織として中央集権型のデータ活用基盤の運用をしていました。
しかし、蓄積されたデータを用いた新たなサービス創出などのデータを活用したビジネス拡大に伴い、データ流通のアジリティを高めるためには以下が問題となっていました。

  • 加工データの申請から利用部門への提供までのリードタイムの増大
  • 情報システム部門の作業負荷の増大

2. データ活用基盤の在り方の再定義

この状況を打開するため、お客様は新規のデータ活用基盤の構築を契機に、データ活用基盤の在り方自体を見直すプロジェクトを開始しました。
そこで我々はお客様の企業特性や技術基盤、人材面など多角的な視点からデータメッシュの導入を提案し、以下のように検討を進めました。

2-1. 企業特性を踏まえた段階的な整備

お客様の企業の特性として、会社として中長期的なデータ活用戦略/方針は定められているものの、データ活用施策の実施は各部門にゆだねられていました。
また、初期段階での大規模な投資は避けたいという経営面での制約がありました。
これらの企業特性とデータメッシュを掛け合わせ、まずは直近のビジネスニーズに対応する小規模基盤を構築し、今後は随時発生する要望に対して段階的な拡張が可能な基盤設計を策定しました。

2-2. 組織・人材の段階的な整備

データメッシュの導入には、各ドメインがデータの管理に責任を持つ必要があります。
新しいデータ基盤の構築やガバナンスの再整備などにあたって、各ドメインに業務とデータ基盤を管理できる人材が必要となりますが、必ずしも各ドメインに双方の人材が揃っていたわけではありませんでした。
そこで人材が揃っている組織は最初からドメインとして切り出し、人材が揃っていない組織はドメインとして自走できるまでは情報システム部門がサポートすることにしました。
このようにドメインの運用体制を工夫することで人材を段階的に揃えていくことが可能になりました。

2-3. 既存資産の活用による付加価値

データメッシュの導入においては、データメッシュを実現するための機能を提供する製品の選定も重要です。
新たなデータメッシュ製品導入も検討しましたが、お客様は既にDWH（データウェアハウス）としてSnowflakeを導入済みであったため、機能性とコストの観点からSnowflakeを有効活用する方向で検討を進めました。

検討内容

  • 「データシェアリング」機能を利用し、ドメイン間で簡単かつ迅速にデータを共有する仕組みを実現。
  • コンピュート層とストレージ層が完全分離されている特徴を利用し、ドメインが増えるごとにドメイン用のコンピュートリソースを追加拡張することで、ストレージ料金は抑えつつドメイン間でリソース競合が起こらない構成を策定。

結果、既存資産であるSnowflakeを最大限に活用することで導入コストを抑えつつ、従来の利用用途を超えた価値を持つ基盤を実現することができました。

上記検討ポイントを踏まえながら、中央集権型からデータメッシュへの切り替えを推進しました。

まとめ

データを活用したビジネスをより一層加速させるために、中央集権型からデータメッシュへ切り替えることはデータ流通のアジリティを高める上でも非常に効果的です。
しかし、データメッシュの導入には、組織の状況に応じて、データ活用基盤の在り方自体を見直す必要があります。
そのためには、企業特性や技術基盤、人材面、既存資産の活用等の観点で個々のお客様の組織の現状やあるべき姿を捉え、効果的かつ実現可能な導入プロセスを検討することが不可欠です。
今後導入を検討される方にこの記事が参考になれば幸いです。

※記載されている 商品名、またはサービス名は、各社の登録商標または商標です。

記事に関するお問い合わせ