DataKit - データコレクター

DataKitはGuanceのオープンソースデータ収集Agentです。ホストやKubernetesに導入し、メトリクス、ログ、トレースを収集します。Guanceへの送信前に解析、フィルタリング、タグの追加ができます。
ホスト、コンテナ、データベースから収集 Pipelineで送信元のログを処理 OpenTelemetryとPrometheusに接続

Data Collection Agent

DataKitとは何ですか?

DataKitはお客様の環境で動作します。ホストやデータベースのメトリクス、コンテナログを収集し、アプリケーションからOpenTelemetryのデータを受け取れます。Guanceワークスペースではサービス、環境、インスタンス単位で調査できます。

DataKitの特徴 主な機能
インフラとデータベースの収集

インフラとデータベースの収集

ホストのCPU、メモリ、ディスクのメトリクスを収集できます。MySQLやPostgreSQLなどのインスタンス、クエリ、リソースも監視できます。

Kubernetesクラスターから収集

Kubernetesクラスターから収集

DaemonSetでノード、Pod、コンテナのデータを収集します。新規Podへのトレースやログ収集設定の注入にはDataKit Operatorを利用できます。

送信前にデータを処理

送信前にデータを処理

Pipelineでログのフィールド抽出、型変換、レコードの除外、機密情報のマスキングを行い、ステータスコードや処理時間で検索・集計できるようにします。

既存の収集経路を活用

既存の収集経路を活用

OTLPでOpenTelemetryのメトリクス、ログ、トレースを受信し、Prometheus Exporterもスクレイプできます。既存の計装とExporterをそのまま利用できます。

環境に合わせた導入方式

環境に合わせた導入方式

ホスト、Docker、Kubernetes、オフラインでの導入に対応します。ホストでは基本コレクターが既定で有効になります。必要な連携を追加してください。

Core Capabilities

データの収集・処理から相関分析まで

本番サービスの遅延が増えたら、サービスと環境でリソースメトリクスを比較し、同時刻のログやトレースを確認します。収集時にフィールドとタグを整えておくことで、同じ条件で調査できます。

データの関連付け

service、env、versionなどのタグを統一します。アプリケーションログにtrace_idがある場合は、設定により対応するトレースと関連付けられます。

パイプラインデータ処理

Pipelineでログやテキストの解析、フィールド抽出、型変換、フィルタリング、機密データのマスキング、タグの補完を行い、検索、アラート、集計分析で扱いやすいデータに整えます。

収集状態の確認

データがワークスペースに届かない場合はDataKit Monitorでコレクターの状態を確認し、デバッグやログで収集・送信の問題を調べます。

複数ホストの収集設定を管理

DCAでDataKitの動作状態を確認できます。一括設定に対応するホストでは、複数のコレクター設定をまとめて変更し、実行結果を確認できます。

導入環境

Workflow

推奨する導入手順

01

まずDataKitをデプロイしてください

新規導入には2.xを推奨します。Guanceでホストやノードのデータ受信を確認してから、アプリケーションとデータベースに必要なコレクターを有効にします。

02

タグと処理ルールを設定

サービス名と環境タグを統一して本番とテストを区別します。よく検索するログフィールドを抽出し、必要に応じてフィルタリングやマスキングを行います。

03

ワークスペースでデータを確認

サービス、環境、時間範囲でメトリクス、ログ、トレースを検索します。タグの一貫性とフィールドの検索可否を確かめ、よく使うクエリをダッシュボードに保存します。

DataKitエコシステムのサポート エコシステム連携
OpenTelemetry

OTLPでOpenTelemetryのメトリクス、ログ、トレースを受信

Fluentdが収集したログデータの受信をサポートします

Fluentdが収集したログデータの受信をサポートします

Telegrafが収集したメトリクスの受信をサポートします

Telegrafが収集したメトリクスの受信をサポートします

Scheck クラウドネイティブのプログラム可能なセキュリティ検査プラグイン

Scheck クラウドネイティブのプログラム可能なセキュリティ検査プラグイン

Prometheusのメトリクスを収集・受信

Prometheusのメトリクスを収集・受信

Statsdメトリクスの受信をサポートします

Statsdメトリクスの受信をサポートします

FAQ

よくある質問

DataKit 2.xと1.xはどう選びますか?

現行のメインバージョンは2.xで、新規導入とアップグレードに推奨されます。1.xは主に旧システムとの互換性のために使用します。インストール元が異なるため、更新前にシステム要件と現在のバージョンを確認してください。

DataKitはOpenTelemetry、Prometheus、Telegrafと併用できますか?

はい。OpenTelemetryにはOTLP、PrometheusにはExporterのスクレイプまたはリモート書き込み、TelegrafのメトリクスにはHTTP出力を使用します。データソースに合ったDataKitの入力を有効にしてください。

DataKitはログや指標がどのように相関分析を行うのを助けているのでしょうか?

収集時にサービス名、環境、ホスト、コンテナ、Pod、バージョンなどの統一タグを補完します。Pipelineで非構造化ログを処理し、同じリソースを軸にメトリクス、ログ、トレース、アラートを関連付けます。

すでにカスタムシステムや内部指標を持っている場合、DataKit経由でアクセスできますか?

はい、できます。 DataKitはカスタムデータ収集、PythonD、オープンAPI、パイプライン処理をサポートしており、社内のビジネス指標、オペレーションスクリプトの結果、専門的な技術スタックデータをGuanceに統合するのに適しています。