実機検証

会議・議事録

確かめること:同じ会議音声を入れたとき、固有名詞と数字がどこまで正しく残るか。

各社とも「高精度」と書いていますが、精度の定義も測定条件も公表されていません。実務で問題になるのは全体の一致率ではなく、社名・製品名・金額・日付を間違えるかどうかです。

入力データ

同一の会議音声1本(日本語・4名・約30分・オンライン会議の録音)。固有名詞30語と数値20件を含み、意図的に発話が重なる箇所を3か所含めます。

測る項目

固有名詞の一致 / 数値の一致 / 話者の区別 / 要約の誤り / 所要時間

対象ツール

Notta / Rimo Voice / YOMEL / ACES Meet

手順と評価方法を見る

1. 同一の音声ファイルを各ツールに同条件で投入する(話者数の事前指定などの補助設定は使わない)
2. 出力された文字起こしと自動要約をそのまま保存する。人手で修正しない
3. 事前に用意した正解リスト(固有名詞30語・数値20件)と突き合わせる
4. 要約に事実と異なる記述が含まれていないかを1件ずつ確認する

測る項目	測り方
固有名詞の一致	正解リスト30語のうち、表記どおりに出力された語数を数える
数値の一致	金額・日付・件数20件のうち、値が一致した件数を数える
話者の区別	発話が重なる3か所で、話者が入れ替わらずに記録されたかを見る
要約の誤り	要約中の記述のうち、音声に無い内容が入っていた件数を数える
所要時間	アップロードから結果が閲覧できるまでの時間を計測する

この検証では分からないこと

• 英語や方言、多拠点接続など、この音声と異なる条件での精度
• 長時間(1時間超)の会議での精度の変化
• 専門用語辞書を登録した場合の改善幅(初期状態のみを測るため)

経理・会計

確かめること:状態の良くない領収書を含めたとき、金額・日付・取引先をどこまで自動で埋められるか。

読み取り精度は各社が数値を公表していますが、測定に使った原本は公開されていません。経理の負担を決めるのは、きれいな領収書ではなく、折れた感熱紙や手書き領収書の扱いです。

入力データ

同一の領収書30枚(印字20枚・感熱紙の褪色3枚・手書き3枚・スマホ撮影で傾きのあるもの4枚)。税率が混在するもの(8%と10%)を5枚含めます。

測る項目

金額の一致 / 日付の一致 / 取引先名の一致 / 税率の判別 / 修正の手間

対象ツール

バクラク / 楽楽精算 / マネーフォワード クラウド / freee会計

手順と評価方法を見る

1. 同じ画像ファイルを各サービスへ同条件でアップロードする
2. 自動入力された内容を、修正せずそのまま記録する
3. 正解データ(原本から人手で作成)と項目ごとに突き合わせる
4. 人が直す必要があった項目数を数える

測る項目	測り方
金額の一致	30枚の合計金額欄が原本と一致した枚数
日付の一致	年月日が完全一致した枚数
取引先名の一致	登録名として使える形で読み取れた枚数
税率の判別	8%/10%混在の5枚で、税区分が正しく分かれた件数
修正の手間	1枚あたり人手で直した項目数の平均

この検証では分からないこと

• インボイス登録番号の照合結果(制度対応の可否は各社の公表内容で確認します)
• 会計ソフト連携後の仕訳の正しさ(本検証は読み取りまでを対象とします)
• 大量枚数を一括処理したときの処理時間

資料作成

確かめること:同じ指示と同じ資料を渡したとき、そのまま社内に出せる文章がどれだけ返るか。

汎用AIの比較はベンチマーク点数で語られがちですが、業務で効くのは「渡した資料の範囲内で書くか」「日本語のビジネス文書として直しが要らないか」です。

入力データ

同一の指示文1本(社内向け導入報告書・A4一枚・宛先と目的を明示)と、添付資料2点(数値表1枚・議事メモ1枚)。追加の会話は行わず、1回の指示のみで出力させます。

測る項目

資料外の記述 / 修正箇所 / 指示の遵守 / 再現性

対象ツール

ChatGPT / Claude / Gemini (Google Workspace) / Microsoft 365 Copilot

手順と評価方法を見る

1. 各ツールの標準設定・無課金または最下位有料プランで実行する
2. 同じ指示文と同じ添付資料を渡し、1回目の出力をそのまま保存する
3. 出力を印刷し、社内文書として出す前に直す必要がある箇所へ印を付ける(判断基準は事前に文書化しておく)
4. 添付資料に無い数値や事実が入っていないかを1件ずつ照合する

測る項目	測り方
資料外の記述	添付資料に根拠が無い数値・事実の混入件数
修正箇所	社内に出す前に直す必要があった箇所の数
指示の遵守	文字数・宛先・見出し構成など、指示した形式を満たした項目数
再現性	同じ指示を3回繰り返し、出力の品質がどれだけ振れるか

この検証では分からないこと

• プロンプトを作り込んだ場合の到達点(初回1回の指示のみを対象とするため)
• 英文や専門文書での品質
• 上位プラン・API経由での挙動の違い

業務自動化

確かめること:同じ業務フローを組むのに、初見でどれだけ時間と手戻りが発生するか。

自動化ツールは月額よりも「組める人がいるか」で失敗します。ところが導入難易度は各社とも公表しておらず、実際に組んでみないと分かりません。

入力データ

同一の要件1件:「特定の差出人からのメール添付をクラウドストレージへ保存し、担当者へチャット通知する。件名に特定の語を含む場合のみ実行する」。接続先サービスは全ツールで同じものを使います。

測る項目

所要時間 / 詰まった箇所 / 必要な権限 / 無料枠での完走

対象ツール

Zapier / Make / n8n / Dify

手順と評価方法を見る

1. アカウント作成から計測を開始する
2. 公式ドキュメントのみを参照して構築する(外部の解説記事は使わない)
3. 動作確認まで到達した時点で計測を終了する
4. 途中で詰まった箇所と、その原因を記録する

測る項目	測り方
所要時間	アカウント作成から動作確認完了までの実測時間
詰まった箇所	公式ドキュメントだけでは解決できなかった箇所の件数
必要な権限	構築の過程で管理者権限や情シスの承認が必要になった箇所
無料枠での完走	無料プランの範囲内で最後まで到達できたか

この検証では分からないこと

• 複雑な分岐や大量実行時の安定性
• 長期運用でのエラー発生率
• 有償の構築支援を受けた場合の所要時間