コンテンツにスキップ

ClickHouse出力

clickhouse出力は、選択したイベントをHTTP経由のJSONEachRowバッチとして、指定したClickHouseデータベースのadder_events_v1に保存します。この出力は、起動時にMergeTreeテーブルを作成し、event_timeの月単位でパーティションを分けます。

関連情報はコマンドリファレンスと出力連携リファレンスです。

YAML設定では、outputにclickhouseを指定し、plugins.output.clickhouseの下に接続情報とイベント種別を設定します。

output: clickhouse
plugins:
output:
clickhouse:
url: https://clickhouse.example.org:8443
database: analytics
username: adder
password: YOUR_PASSWORD
event-types: blocks,transactions,rollbacks,governance
キーデフォルト値説明
urlhttp://127.0.0.1:8123ClickHouseのHTTP接続先です。
databasedefault保存先のClickHouseデータベースです。
usernamedefaultClickHouseユーザーです。
password空任意のClickHouseパスワードです。
event-typesblocks,transactions,rollbacks,governance,drep-registration,drep-update,drep-retirement保存するイベント種別をコンマ区切りで指定します。

次の制約を満たす値を指定してください。

  • urlには、ホスト名を含むhttp://またはhttps://のHTTP originを指定します。認証情報、クエリ、フラグメント、パスは指定できません。ただし、パス/は使用できます。
  • usernameは空にできません。
  • databaseは空にできず、空白、/、または\\を含めることはできません。
  • passwordを指定する場合、localhostまたはループバックアドレス以外ではhttps://を使用します。
  • event-typesには、パラメーター表に示した対応値を少なくとも1つ指定します。未対応の値や空のリストは拒否されます。
  • HTTPリクエストはリダイレクトを追跡せず、リダイレクト先へ認証情報を転送しません。

出力は、次の列を持つadder_events_v1テーブルにJSONEachRow形式で行を挿入します。

フィールド型内容
schema_versionUInt8行スキーマのバージョンです。現在の値は1です。
event_hashStringイベント全体のJSONに対するSHA-256値です。重複を比較するために使用しますが、一意キーではありません。
event_typeLowCardinality(String)イベントの値です。値にはinput.block、input.transaction、input.rollback、input.governance、input.drep-registration、input.drep-update、input.drep-retirementがあります。
event_timeDateTime64(9, 'UTC')イベントのUTC時刻です。ナノ秒精度で保存します。
event_jsonStringイベント全体のJSONです。

テーブルはMergeTreeとして作成し、event_timeの月でパーティションを分けます。並び順は分析用であり、チェーンの再生順を全体として保証しません。

  • 出力は、100件に達した時点、または1秒が経過した時点のいずれか早い方でフラッシュします。
  • 1回のフラッシュで1つのINSERTを実行します。出力はHTTPステータスとレスポンス本文を確認し、ClickHouseがクエリ処理後に本文で返すエラーも検出します。エラーがない場合、出力はバッチ全体の完了を確認します。個々のイベントの完了は個別に確認しません。
  • 出力はasync_insert=0とwait_end_of_query=1を指定し、ClickHouse側の非同期挿入設定に関係なく、HTTPの成功が挿入完了を示すようにします。
  • Adderの停止時には、受け付け済みのイベントを処理し、10秒の期限内に残りのバッチを1回フラッシュします。
  • バッチに失敗すると、出力はエラーをログに記録し、空きがある場合はエラー通知を送信して、失敗したバッチを破棄します。そのバッチをローカルに保持せず、永続キューも使用しません。同じバッチの再送で重複行が発生し得るため、失敗したバッチを自動再試行しません。
  • ClickHouseが受け付けるDateTime64(9)の範囲を外れるevent_timeを持つイベントは、バッチに追加する前に拒否します。出力はイベントごとにそのエラーを報告し、同じバッチ内の有効な行を破棄しません。

正常に挿入した行はすべて保持します。同じイベントのJSONから生成した同じevent_hashを持つ行も保持します。出力はdeduplicate_insert=disableとinsert_deduplicate=0を指定してClickHouseの挿入重複排除を無効にするため、同一ブロックをロールバック後に再適用すると、別の発生として保存します。

ロールバックは通常のinput.rollback行として保存し、以前に保存した行を削除しません。


Doc Holiday logo

Docs authored by Doc Holiday