評価・比較方法

Visual AI Labでは、AI画像・動画生成モデルを日本の実務シーンで実際に使えるかどうかを判断するため、同一条件での比較、再現性の記録、人間による最終評価を行っています。原則として4秒の動画（画像は1枚）を1つの制作ショット単位として比較しています。

4秒ベンチマークの意味と限界

Visual AI Lab では、生成AI動画が実制作でショット単位に生成・確認・編集されること、および継続的なモデル比較コストを考慮し、4秒を標準ベンチマーク尺としています。

Level 1 Baseline Clip Benchmark: 原則4秒、同一条件、各モデル原則1Runの初回出力を比較します。基礎的な動き、入力維持、カメラ制御、初期の時間的一貫性を評価します。
Level 2 Stability / Duration Test: 8〜10秒の長尺生成を重要テーマに限定して実施し、時間的ドリフト、動作完遂、長時間破綻を評価します。
Level 3 Production Workflow: 複数ショット、再生成、選別、編集を含む実務工程での実効コストと人間作業時間を記録します。

4秒評価は、基礎的な動き、入力維持、カメラ制御、初期の時間的一貫性を比較するものであり、8秒以上の長時間安定性、音声同期、完成動画全体の品質、編集後の再現性を保証するものではありません。

用語の定義

サイト内で使う集計単位を以下のように定義しています。

用語	定義
Run	1モデルに対する1回の生成実行
タスク	1つの入力・プロンプト・制作目的の組み合わせ
3-Runタスク	同一モデル・同一条件で3回生成したタスク
比較ケース	1タスクを複数モデルで比較した単位
テーマ	ラーメン、うちわ、商品回転などの題材単位
カテゴリ	能力、用途、日本市場適合性などの分類
記事	比較結果を解説する編集コンテンツ

比較対象の選定

比較対象は、テキスト→画像（T2I）、画像→画像（I2I）、テキスト→動画（T2V）、画像→動画（I2V）の各モデルから、事実上利用可能なものを選定します。
各モデルは公開されているAPIまたは公式・代理プラットフォームを経由して実行します。
「ACTIVE」として掲載されているモデルのみを比較ページやランキングに含めます。

同一条件比較

同一プロンプト、同一キーイメージ、同一設定で各モデルの出力を生成します。
画像生成では解像度、aspect ratio、品質パラメータを可能な限り揃えます。
動画生成では尺、fps、解像度、推論ステップ数、ガイダンススケール等を記録します。
コストは各モデルの公式価格または実測APIコールに基づき、1枚・4秒あたりの推定コストとして換算します。

評価タイプの分離

すべての比較に、評価タイプを表示します。

Baseline / Common Prompt: 共通プロンプト・共通条件で各モデルの基礎性能を比較します。
Model-Optimized: モデルごとに推奨されるプロンプトや設定を使った比較です。Baseline と混同して「公平なテスト」と表記しません。
Production Workflow: 後処理、再生成、アップスケール、ComfyUI 等を含む実務工程での結果です。

評価基準

各モデルの出力は、プロンプト忠実度、被写体の一貫性、動きの質、時間的安定性、背景の崩れなどを 5 段階でスコアリングします。
商用的な使いやすさ（commercial_usability）は品質スコアとは分離し、別項目として扱います。総合平均には含めず、個別の参考情報として表示します。
最終的な判定は「first_run_usable（そのまま使える）」「reroll_needed（再生成が必要）」「unusable（使えない）」の 3 つに分類し、初回Runの採用判定内訳として可視化します。
失敗タグ（顔の崩壊、手の崩壊、物体モーフィング、カメラ指示無視、背景崩壊、時間的チラつき、プロンプト不一致等）を付与し、破綻傾向を可視化します。

人間評価と自動化

記事制作、集計、初期分類は自動化してよいものの、以下は人間が最終確認します。

出力画像・動画
評価点・失敗タグ
記事の結論
モデル名、価格、バージョン
法務・商用条件
スポンサー表示
比較テンプレートの整合性

自動評価（Gemini 等）は補助的にのみ利用し、最終的な評価スコアは管理画面 `/admin/evaluations` からの手動評価を原則とします。

サンプルの透明性

プロンプト数、1プロンプトあたりの生成数、掲載した出力の選び方を公開します。
失敗出力を含めた総生成数、API経路、モデルバージョン、生成日を記録します。
解像度、尺、品質設定、再生成回数を明示します。
最良出力のみ掲載する場合は、選抜条件を明記します。

信頼度と計算ルール

本サイトに掲載する平均スコア、ランキング、勝率は以下のルールで計算しています。

1プロンプト1Run原則: 各モデルは各プロンプトについて最新の1Runを使用します。同一プロンプトで複数回生成した場合も、最新Runを代表として扱います。
スコア平均: 各Runの品質スコア（commercial_usability を除く）を平均し、モデルごとに全対象プロンプトの平均値を出します。
除外ルール: 生成失敗、コンテンツポリシー拒否、usable 判定、または品質スコアが全くないRunは平均・勝率計算から除外します。
共通テスト: 「共通テストランキング」では、比較対象の全モデルに評価が揃っているプロンプトのみを使います。これにより母数が同じ公平な比較を維持します。
勝率: 各プロンプトにおいて最も高い平均スコアを獲得したモデルを1勝とカウントします。
コスパ: 1枚または4秒あたりの推定コストに対する平均スコアで算出します。価格が不明な場合は公式価格またはAPI実測コストを推定値として使用します。
サンプルサイズ: カテゴリや能力別ページに掲載するランキングは、対象プロンプト数が少ない場合「初期評価」として表示します。参考値として扱い、統計的に確定した結論ではありません。

日本適合性の定義

画像と動画では「日本市場で使えるか」の判断軸が異なります。

画像モデルの日本適合性: 1枚の出力で、日本語テキスト・日本人・日本の商材・商品背景・ロゴ・商標混入の有無を一次評価します。静止画のため、時間的崩壊は考慮しません。
動画モデルの日本適合性: 4秒（標準）または長尺クリップで、時間的一貫性・被写体維持・日本語テキスト保持・ローカルシーン理解を評価します。動き・カメラ制御・音唇同期等も含みます。
commercial_usability: 品質スコアとは別に、広告・EC・SNS・店舗素材としてそのまま使えるかを5段階で判定します。権利・クレジット・利用規約は記事内で明記します。

曖昧なカテゴリの取り扱い

「日本の動物」「日本の風景」「日本人」など、対象が曖昧になりやすいカテゴリは以下のように再定義・運用しています。

対象の具体化: 「日本の動物」では種名（柴犬、タヌキ、コノハズク等）を明示し、プロンプトに品種・環境・撮影条件を含めます。
商用利用シーンへの接続: カテゴリ名ではなく、EC・広告・SNS・店舗PR・不動産など実務シーンをプロンプトに反映します。
文化特有要素の明示: 日本の祭り・伝統衣装・都市景観・食品表現など、海外モデルが学習しにくい要素を個別にテーマ化します。
初期評価ラベル: テーマ数が少ないカテゴリは「初期評価」として扱い、比較母数が限定的であることを読者に明示します。

スポンサー・広告方針

スポンサー、記事制作費、無料クレジット、アフィリエイトの関係を読者が認識できるよう明記します。
広告費と引き換えに評価点を変更したり、ランキング上位に固定したりすることはありません。
スポンサーが比較対象の場合はその旨を明示し、スポンサーでない競合にも同じ生成条件を適用します。
テストの除外条件と失敗条件は事前に定義します。

更新・訂正

記事・比較ページには最終更新日を表示します。
価格・規約は確認日を表示します。
誤りを修正した場合は変更履歴を残します。
古い比較には「旧バージョン」表示を付け、更新しない記事はアーカイブ化を検討します。

本サイトの比較は、厳密な学術ベンチマークではなく、制作実務に基づく実証レビューです。掲載内容はモデルアップデートや価格変更により変動する可能性があります。最新情報は各モデル提供元の公式ドキュメントをご確認ください。