コンテンツにスキップ

システムアーキテクチャ

eivizの全体設計と処理の流れについて解説します。

eivizは、映像・音声合成を担うバックエンド「Mixer」と、各OS向けのフロントエンド「ホストUI」を明確に分離した設計を採用しています。

  • Mixer(Rust + wgpu): 映像合成、音声ミックス、入力取り込み、ネットワーク送出、セッション管理を担います。
  • ホストUI: 操作インターフェースの提供やプレビュー描画領域の確保を行い、内部のC ABIを通じてMixerと通信します。

実行入口はhosts/に集約しており、GUIを持たないhosts/headlessも同じ制御契約を使います。共有するRustクレートはcrates/にあります。

外部からの制御(vMix互換HTTP/TCP、Protobuf WebSocket)はMixer内のControlServiceが一元的に受け付け、ディスパッチャを経由して処理されます。

flowchart TB
  subgraph proc["Mixerプロセス"]
    host["ホストUI"]
    abi["C ABI"]
    subgraph mixer["Mixer"]
      ctrl["制御とセッション"]
      clock["ミックスクロック"]
      ingest["入力の取り込み"]
      send["ネットワーク送出"]
      audio["音声グラフ"]
    end
  end
  host --> abi --> ctrl
  ctrl --> clock
  ingest --> clock
  clock --> send
  clock --> audio
  clock --> host

リモート接続時は、クライアント側のEiviz.RemoteがWebSocketで接続先ホストのControlServiceにコマンドを送り、映像はNDIまたはOMT経由で受信します。

flowchart LR
  subgraph client["リモートGUIプロセス"]
    rui["ホストUI"]
    recv["受信用Mixer"]
  end
  subgraph server["ホストまたはheadless"]
    ctrl2["ControlService"]
    gpu["Mixer GPU"]
    ndi["NDI / OMT"]
  end
  rui -->|Protobuf ws| ctrl2
  ctrl2 --> gpu
  gpu --> ndi
  ndi --> recv
  recv --> rui
領域 Mixer ホストUI
映像合成・トランジション 実行 操作要求を発行
デバイス制御(GPU/音声) 管理・入出力 設定値を渡す
リアルタイムプレビュー ネイティブサーフェスへ描画 ウィンドウハンドル(HWND/NSView)を提供
サムネイル・シーン一覧 GPUから縮小読み戻し UIへの表示

MixerとUIの間では、リアルタイム描画用のサーフェスを除いてGPUポインタの直接受け渡しは行わず、リソースは整数IDで管理されます。

UIスレッド、映像入力スレッド、音声処理、ネットワーク送出はそれぞれ独立したスレッドで動作します。

  • 映像入力は各ソース専用のスレッドでバッファに蓄積され、マスタークロックの周期でMixerへ供給されます。
  • 処理遅延が発生した場合は映像合成をスキップし、音声クロックを優先することでリアルタイム性を保ちます。
  • 映像と音声の同期はフレームバッファ(既定3フレーム)によって維持されます。
flowchart LR
  ui["UI"] --> mixer["Mixer制御"]
  cap["入力"] --> buf["フレーム緩衝"]
  mixer --> clock["ミックスクロック"]
  buf --> clock
  clock --> pvw["プレビュー"]
  clock --> net["OMT / NDI"]
  clock --> spk["音声出力"]

単色ジェネレータ、カメラ入力、動画ファイル、Sceneの合成結果、Mixing UnitのPreview/Program出力は、すべて同一のソースID空間で管理されます。これにより、あるMixing Unitの出力を別のMixing Unitの入力レイヤーとして再帰的に利用できます。

flowchart LR
  gen["ジェネレータ"] --> id["ソースID"]
  inp["入力"] --> id
  scene["シーン"] --> id
  mu["Mixing UnitのPVW/PGM/MV"] --> id
  id --> compose["合成"]
  compose --> mu

内部的には各ソースがGPUテクスチャ(TextureView)として保持されており、合成エンジンやGUIプレビューはそれらをサンプリングして描画します。

マスターフレームの1サイクルは以下の流れで進行します。

  1. 入力取り込み: 各入力スレッドが最新フレームを確定。
  2. 映像合成: Mixing UnitごとにPreviewとProgramを描画し、トランジションやOverlay、Multiviewを合成。
  3. 送出準備: 出力設定に応じてGPUスロットへのコピー、またはUYVY形式でのCPU読み出しを実行。
  4. エンコードと送信: 出力先ごとに割り当てられたスレッドが圧縮とネットワーク送信を実行。
  5. 音声処理: 同一のタイムスタンプで音声バスをミックスし、各出力へ送出。
sequenceDiagram
  participant Cap as 入力
  participant Buf as 緩衝
  participant Clock as ミックスクロック
  participant GPU as 合成
  participant Out as プレビューと送出
  Cap->>Buf: フレーム
  Clock->>Buf: 取得
  Clock->>GPU: PVW / PGM / mix / overlay
  GPU->>Out: テクスチャ
  Clock->>Out: 音声

段階ごとのハードウェアアクセラレーション

Section titled “段階ごとのハードウェアアクセラレーション”

GPUフレーム型とアップロード/取り込みの契約は全プラットフォームで共通で、異なるのは プラットフォーム固有のimport処理だけです。起動時にaccel ...として選択中の経路を ログへ出すため、性能報告では実際の経路を特定できます。

段階 Windows macOS Linux
ファイル/UVCデコード Media Foundation(ハードウェアトランスフォーム、D3Dマネージャー) AVFoundation/VideoToolboxからCVMetalTextureCacheへ Vulkan Video
フレームアップロード ReBARまたはVulkan host-visible ring Unified Memoryの共有MTLTexture ring Vulkan staging/host-visible
NDI取り込み ReBAR/Vulkan ingest ring lease付きUnified Memory ring Vulkan ingest ring
MP4書き出し Media FoundationのハードウェアH.264/HEVC AVAssetWriter/VideoToolboxのH.264/HEVC 非対応
RTMPライブ映像 OpenH264(ソフトウェア) VideoToolbox H.264(OpenH264フォールバック) OpenH264(ソフトウェア)
Replayエンコード VMX1 CPUエンコーダー。GPU ringは画素コピー VMX1 CPUエンコーダー。GPU ringは画素コピー VMX1 CPUエンコーダー
DeckLink入出力 Proモジュール+ハードウェア 非対応 Proモジュール+ハードウェア

macOSはWindowsがハードウェアデコードを使う場面でソフトウェアデコードに落ちている わけではありません。デコードはVideoToolboxで、デコード済みサーフェスをCPUコピー なしでMetalへimportします。MP4書き出しもプラットフォームのメディアエンジンを使います。 macOSのRTMPライブはVideoToolbox H.264を使い、ハードウェアエンコードが使えない場合だけOpenH264へフォールバックします。Replayは引き続き全OSでソフトウェアです。 macOSの主な性能トレードオフは、大きなWindowsディスクリートGPUに対するGPUスループットで あり、コピーやデコード経路のアーキテクチャ上の不利ではありません。

macOSはVideoToolbox H.264の経路をRTMPモジュール内に閉じ込め、クロスプラットフォームの エンコーダーインターフェースを強制していません。RTMPマルチプレクサはすでにAVCCと SPS/PPSシーケンスヘッダーを扱うため、macOS側はワイヤーフォーマットを変えずにOpenH264を 迂回できます。VideoToolboxのハードウェアエンコードが使えない場合はOpenH264へ フォールバックします。Replayは引き続きH.264ではなくVMX1コーデックです。

16GB M3 MacBook AirのMetalヘッドレスセッションで、1080p59.94のMixing Unit 4台、9ペイン Multiview、4Kスチル、1080pファイル、内蔵カメラ、ネットワーク出力2系統を動かしました。 eiviz statsは5秒ごとにrender_ms、フレーム予算、RSS/VRAM、surface_lostを出します。

シナリオ プロセスCPU render_ms 備考
Unit 4台+Multiview+スチル 約22% 1.3〜1.7ms RSS 1.0GB、VRAM 654MB
ファイル+カメラを追加 約31% 1.3〜1.9ms NV12デコード+VideoToolbox変換
OMT+NDI出力を追加 スイッチング中 約130% 1.3〜2.9ms NDIのCPU SpeedHQエンコードが支配的
出力を無効化 約45% 1.3〜2.0ms 同じファイル/カメラ負荷

59.94Hzの予算は16.68msなので、合成そのものには6〜12倍の余裕があります。surface_lostは 0のままで、フレーム期限の未達もありませんでした。Unit 4台でRSSは約1.35GB、VRAMは約682MB でした。最大のコストはNDI SDKのソフトウェアエンコーダーで、これは全OSでCPUです。OMTは 受信者がいないときエンコードを省略できます。ファイル/カメラはNV12で受け取り、VTPixelTransferSessionでBGRAへ変換してから zero-copyでMetalへimportする。これによりAVFoundationのBGRA変換がCPUパスから外れ、 ファイル+カメラのケースは約47%から31%へ下がりました。

ARM64のyuv422_to_bgraはスカラー実装でしたが、NEON版で1080pが5.21msから1.51msへ 約3.5倍高速化しました。このカーネルはCPUでYUV 4:2:2を変換する経路で使われ、macOSの AVFoundation経路はNV12+VideoToolbox変換を使います。

この数値は1台・1プリセットの実測で、Windowsとの直接比較ではありません。ヘッドレス セッションとeivizctlの操作で再現でき、eiviz statsは通常実行でもソーク実行でも出ます。

映像パイプラインはwgpuをベースとしつつ、プラットフォーム固有の高速化を行っています。

  • Windows: Direct3D 12を使用。Resizable BAR(ReBAR)対応環境ではCPUからVRAMへ直接書き込みを行うことで、システムメモリ経由のコピーを削減します。
  • macOS: Metalを使用。Apple Silicon環境ではUnified Memoryを活かし、共有メモリ領域経由で効率的な転送を行います。
  • ファイル再生やUVC入力はCVMetalTextureCacheを使い、デコード済みのCVPixelBufferをCPUコピーなしでMetalテクスチャへ渡します。NDI取り込みもlease付き共有テクスチャ環で同じUnified Memory経路を使います。

内部では48 kHzステレオのオーディオグラフを処理します。各Mixing Unitが専用のMU Busを1本持ちます。ヘッドホンは、メーターのヘッドホンアイコンで選択したMixing UnitまたはInputの音声を出力します。Inputは送り先のMixing Unitとゲインの設定を持ち、FollowではPreview/Programの切り替えに連動します。Overlayの音声も連動可能です。詳細はMU Busを参照してください。

DeckLink入出力やRTMP配信、有料プランに応じた上限制御は署名済みのProモジュールが担います。Mixerは起動時にC ABI経由でProモジュールを一度だけ読み込み、プロセス終了まで常駐させます。モジュールを含まない公開(OSS)ビルドはCommunityプランの上限値のみで動作します。eiviz-pro.requiredを含む公式パッケージでは、モジュールの欠落や署名不正、ABI不一致が発生した場合に起動エラーとなり、Communityプランへのフォールバックは行いません。

現在のプランで許可されていない呼び出しにはERR_NOT_SUPPORTED_PLAN、機能実装がリンクされていない場合はERR_IOを返します(判定時はプランの有効確認が優先されます)。ホストUIはmixer_capabilitiesの取得結果に基づいてDeckLinkやRTMPの表示を制御し、ホスト側のコンパイル時Proフラグには依存しません。

有料プランの認証には署名付きチケットを使用します。Proモジュール内に埋め込まれたEd25519公開鍵で検証を行い、OSの現在時刻と保存された最終確認時刻の進んでいる方を基準に有効期限を判定します。ハードウェア情報から生成したソルト付きマシンフィンガープリントの過半数が一致した場合に同一マシンと識別します。ホストUIはチケットの読み込みとステータス表示のみを担当し、プラン判定ロジックは持ちません。各プランの上限はプランにまとめています。

scripts/macos-video-encoders.swiftでVideoToolboxのエンコーダー一覧を確認できる。M3実機では H.264(com.apple.videotoolbox.videoencoder.ave.avc)、HEVC (com.apple.videotoolbox.videoencoder.ave.hevc)、ProResのハードウェアエンコードと、 H.264/HEVC/AV1のハードウェアデコードが利用できる。VideoToolboxにAV1エンコーダーはなく、 macOSにVulkan Videoもない。Metal+VideoToolboxが正道となる。

コーデック ハードウェアEncode ハードウェアDecode 現在のeivizでの用途
H.264 あり あり MP4書き出し。RTMPはVideoToolbox(OpenH264フォールバック)
HEVC あり あり MP4書き出し
AV1 なし あり 未使用
ProRes あり — 未使用

RTMPのH.264バックエンドはVTCompressionSession(リアルタイム、Bフレームなし、短いGOP) を使い、NV12を直接入力して既存muxerへ渡す。次に小さい候補はReplayで、VMX1が既に GPU FDCT/量子化を使っているため、ハードウェアHEVC化はクリップシークのための All-Intra/短GOPのトレードオフを伴う。AV1のソフトウェアエンコードはファンレスM3の ライブ1080p60には不向きで、AV1ハードウェアデコードは既に利用可能。Vulkan Videoは macOSでは選択肢にならない。

最新リリース(v0.5.0-kagaribi16.1)