本文へ移動
相談する

BLOG

Gemini 4 Carbonは図面や表をどこまで読めるか。MKAで見る精度と費用

Googleが提供を始めたGemini 4 Carbonを、図面・表・スキャン資料を使う新評価MKAから読み解きます。得点と1件あたりの費用、業務に持ち込む前に測りたいことを整理します。

図面やグラフに光が当たるイメージイラスト

図や表を読み、完成したファイルまで採点する

建物の図面と設備一覧を突き合わせて、改修対象を表にまとめる。図面の記号や表の列が読めても、別資料の同じ設備を結び付け、結果を正しい形式で出すところまでできるかは別の問題です。Googleは11月10日、Gemini 4 Carbonの提供開始とともに、Artificial Analysisと開発した評価MKAを発表しました。

MKAは、図面、スキャン、グラフなどを含む資料を使い、レポートや表計算などの成果物を作る課題を集めたものです。複数の資料をまたぐ作業では、読み違いが途中で起きても最終ファイルは整って見えます。そこで評価では、成果物を開き、ページの表示や数式も調べます。

GoogleによるMKAの評価設計

採点は事実の正確さ75%、見せ方25%

本評価は10分野の200課題です。各課題には専門家が用意した採点項目があり、事実の正確さに75%、視覚デザインに25%の重みを置いています。モデルは同じエージェント実行環境とツール、ターン上限で評価されます。採点の対象は完成した成果物で、点数は案件をそのまま納品できる割合とは異なります。 公開順位で使うClimb WSRは、採点項目のうち難しい項目に絞った、重み付きの達成率です。

200課題は非公開ですが、形式を確認できる別の10課題は公開されています。自社向けに試すときは、公開例を評価の型として読み、実際の資料形式に近い入力と、正解を確認できる採点項目を用意できます。

Googleによる課題数・採点項目・公開例の説明

Carbonの54%と、1件あたり6.29ドルをどう読むか

評価を運営するArtificial Analysisの11月10日の発表では、Gemini 4 Carbon(High)が54%、Claude Fable 5.2(Max)が57%でした。公表値を整数で丸めた表示です。1件あたりの平均費用はCarbonが6.29ドル、Fableが31.97ドルで、同じ公表表の値を比べると約5.1倍の差があります。

MKAでGemini 4 Carbon Highは54%、1件6.29ドル。Claude Fable 5.2 Maxは57%、1件31.97ドル。
得点は難しい採点項目の達成度を重み付きで集計したClimb WSR。費用はArtificial Analysisが11月10日に発表した1課題あたりの平均。

どちらの設定を選ぶかは、評価で数ポイントを取る価値と、処理件数、確認にかかる時間で変わります。ここでの費用はベンチマークで報告されたモデル実行の平均です。APIの単価や設定のほか、実務では資料の準備、再実行、人が根拠を確認する費用もかかります。

Artificial Analysisの結果と費用の内訳

自社の資料で、どの誤りを見逃せないか決める

図面や帳票を扱うなら、平均点の前に、重大な誤りを定義します。設備番号を取り違える、図面の改訂版を間違える、円と千円を混ぜる。こうした項目は、一つでも外すと後工程で修正が必要です。自動で成果物を使う範囲は、それぞれの誤りと確認の手間を測って決めます。

たとえば設備台帳なら、回答に参照した図面のページと改訂番号を付けてもらい、担当者が見直す時間を含めて同じ入力で比べます。Googleの発表では、Carbonは有料のGemini APIなどで使えます。価格は導入時点の条件で確認し、評価の1件あたりの費用は比較の出発点にします。

Gemini 4 Carbonの提供条件と料金