株式会社primeNumber(本社:東京都品川区、代表取締役CEO 田邊 雄樹)は、データカタログサービス「COMETA®(コメタ)」の機能を拡充、新たにdbt(data build tool)の連携機能を搭載しました。
https://primenumber.com/cometa
dbtは、dbt Labs社が提供するデータ変換ツールです。有償の「dbt Cloud」、オープンソースソフトウェアの「dbt Core」の2種類が提供されており、SQLをベースとしたデータウェアハウスを構築するためのツールとして、データエンジニアを中心に幅広く使われています。
今回の連携により、COMETA®でdbtを使ったカラムリネージ(※1)が利用できるようになります。これまでCOMETA®でカラムリネージを利用するには、primeNumberのデータ基盤総合支援サービス「TROCCO®(トロッコ)」を併用する必要がありましたが、dbtメタデータ連携によってCOMETA®の画面上でカラムリネージを確認できます。
お客さまはdbtを通じてカラムリネージを取得し、データ同士の依存関係を簡単に把握できます。これにより基盤の全体像を把握、管理することで、障害発生時に影響範囲を迅速に確認し、データの信頼性を向上させることが可能となります。
(※1)カラムリネージ(データリネージ):データがどのような経緯で取得され、どのような分析を行うのかといった一連の流れを管理することで、データの信頼性向上やエラーへの対処を行うための機能。詳細はprimeNumberの解説をご覧ください。
データリネージ(Data Lineage)とは?データマネジメントに欠かせないデータリネージについて解説 | TROCCO®(トロッコ)
https://blog.trocco.io/glossary/data-lineage
カラムリネージのサポート
dbtによって生成されたSQLクエリを解析することで、カラムレベルのリネージ情報を提供します。COMETA®がカタログ化したテーブルの詳細ページそれぞれからカラムリネージ情報にアクセスでき、実際にそのテーブルがどのようなSQLにより生成され、どのようなテーブルが参照されているかを簡単に確認できます。
dbtで管理しているメタデータの取り込みと検索
dbtプロジェクトで管理しているテーブルの説明やタグなどの情報をCOMETA®が取り込むことで、検索機能を使って簡単に目的のデータにアクセスできるようになります。
連携の設定
COMETA®はお客様のdbtプロジェクトが生成する成果物を参照することで、メタデータを取り込みます。お客様のファイルストレージ(S3)にdbtの成果物を定期的に転送いただき、COMETA®上でそのファイルストレージへの認証情報などを設定することで、COMETA®は最新の成果物からdbtのメタデータを取得できるようになります。
今後もprimeNumberはCOMETA®の機能を充実させ、お客さまがCOMETA®を最適なサービスと組み合わせながらデータ活用を推進できるよう支援いたします。
データの発見・理解・活用に重点を置いたデータカタログサービスです。保有するデータの活用リードタイム短縮、ガバナンス、品質モニタリングを可能にし、データによる意思決定を行う文化を醸成します。また、データ活用のフェーズや、部署横断など社内でのデータ活用の展開範囲に応じたご利用が可能なよう、小さく始めて順次拡張いただける料金体系にてサービスを提供いたします。同時に、COMETA®の提供のみにとどまらず、primeNumberが有する他ソリューションを並行して活用する包括的なサポートも提供してまいります。
URL:https://primenumber.com/cometa
我々は、「あらゆるデータを、ビジネスの力に変える」データテクノロジーカンパニーです。データが爆発的に増えていく時代に、誰もがすばやく、簡単にデータを使える環境を構築し、データ活用までのプロセスを最適化。高度なテクノロジーと独自のアイデアで、世界中のビジネスを支援します。
■ 会社名
株式会社primeNumber(英文名:primeNumber Inc.)
■ 代表
代表取締役CEO 田邊 雄樹
■ 設立
2015年11月
■ オフィス
〒141-0021
東京都品川区上大崎三丁目1番1号 JR東急目黒ビル5F
■ 企業サイト
https://primenumber.co.jp/
■ 事業内容
・データ基盤の総合支援サービス「TROCCO®」の開発・運営
・データの発見・理解・活用を促進するデータカタログ「COMETA®」の開発・運営
・データテクノロジー領域の課題解決を実現するプロフェッショナルサービスの提供
株式会社primeNumber
広報担当 村島夏美
e-mail:pr@primenumber.co.jp