評価・比較方法

Visual AI Labでは、AI画像・動画生成モデルを日本の実務シーンで実際に使えるかどうかを判断するため、同一条件での比較、再現性の記録、人間による最終評価を行っています。

比較対象の選定

比較対象は、テキスト→画像（T2I）、画像→画像（I2I）、テキスト→動画（T2V）、画像→動画（I2V）の各モデルから、事実上利用可能なものを選定します。
各モデルは公開されているAPIまたは公式・代理プラットフォームを経由して実行します。
「ACTIVE」として掲載されているモデルのみを比較ページやランキングに含めます。

同一条件比較

同一プロンプト、同一キーイメージ、同一設定で各モデルの出力を生成します。
画像生成では解像度、aspect ratio、品質パラメータを可能な限り揃えます。
動画生成では尺、fps、解像度、推論ステップ数、ガイダンススケール等を記録します。
コストは各モデルの公式価格または実測APIコールに基づき、1枚・4秒あたりの推定コストとして換算します。

評価タイプの分離

すべての比較に、評価タイプを表示します。

Baseline / Common Prompt: 共通プロンプト・共通条件で各モデルの基礎性能を比較します。
Model-Optimized: モデルごとに推奨されるプロンプトや設定を使った比較です。Baseline と混同して「公平なテスト」と表記しません。
Production Workflow: 後処理、再生成、アップスケール、ComfyUI 等を含む実務工程での結果です。

評価基準

各モデルの出力は、プロンプト忠実度、被写体の一貫性、動きの質、時間的安定性、背景の崩れ、商用的な使いやすさなどを 5 段階でスコアリングします。
最終的な判定は「first_run_usable（そのまま使える）」「reroll_needed（再生成が必要）」「unusable（使えない）」の 3 つに分類します。
失敗タグ（顔の崩壊、手の崩壊、物体モーフィング、カメラ指示無視、背景崩壊、時間的チラつき、プロンプト不一致等）を付与し、破綻傾向を可視化します。

人間評価と自動化

記事制作、集計、初期分類は自動化してよいものの、以下は人間が最終確認します。

出力画像・動画
評価点・失敗タグ
記事の結論
モデル名、価格、バージョン
法務・商用条件
スポンサー表示
比較テンプレートの整合性

自動評価（Gemini 等）は補助的にのみ利用し、最終的な評価スコアは管理画面 `/admin/evaluations` からの手動評価を原則とします。

サンプルの透明性

プロンプト数、1プロンプトあたりの生成数、掲載した出力の選び方を公開します。
失敗出力を含めた総生成数、API経路、モデルバージョン、生成日を記録します。
解像度、尺、品質設定、再生成回数を明示します。
最良出力のみ掲載する場合は、選抜条件を明記します。

スポンサー・広告方針

スポンサー、記事制作費、無料クレジット、アフィリエイトの関係を読者が認識できるよう明記します。
広告費と引き換えに評価点を変更したり、ランキング上位に固定したりすることはありません。
スポンサーが比較対象の場合はその旨を明示し、スポンサーでない競合にも同じ生成条件を適用します。
テストの除外条件と失敗条件は事前に定義します。

更新・訂正

記事・比較ページには最終更新日を表示します。
価格・規約は確認日を表示します。
誤りを修正した場合は変更履歴を残します。
古い比較には「旧バージョン」表示を付け、更新しない記事はアーカイブ化を検討します。

本サイトの比較は、厳密な学術ベンチマークではなく、制作実務に基づく実証レビューです。掲載内容はモデルアップデートや価格変更により変動する可能性があります。最新情報は各モデル提供元の公式ドキュメントをご確認ください。