ChatGPTだけ使っていれば十分なのか、他のAIはどうなのか。

気になりませんか？

この回では、経理の仕事を題材に、同じ頼み方をClaude2、Llama2、Geminiに試した結果と、無料で触れる主要なAIの特徴をまとめます。

どのAIを選ぼうか迷っている方は、ぜひ読んで下さい！


題材は、仕訳入力の自動化

ChatGPT以外の文章生成AIにも、同じプロンプトを入れてみました。

題材は、経理の仕訳データの入力を、マクロで自動化する方法です。

並べたのは、Anthropic社のClaude2、Meta社のLlama2、Google社のGeminiの3つ。

ただし、この勝負は原稿を書いた2024年2〜4月ごろの、当時のモデル（Claude 2、Llama 2、Gemini、ChatGPT）での結果です。

モデルはその後も新しくなっているので、勝敗は、その時点のものとして読んで下さい。


Claude2とChatGPTの対決

Claude2は、米国のスタートアップ、Anthropicが開発したAIチャットで、制限つきですが無料で使えます。

以前はChatGPTより質が低いと言われていましたが、最近かなり良くなったと聞いたので、試しました。

日本語の回答は、仕訳のExcelと証憑のPDFを一か所のフォルダで管理する、Excelの書式をそろえる、PDFとExcelのファイル名を対応させる、マクロやPythonでPDFから項目と金額を拾い、会計ソフトに取り込むマクロを作る、という流れでした。

照合の手作業は残して単純作業だけを自動化し、派遣社員には照合や月次決算を任せる、という役割分担にも触れています。

英語のプロンプト（Google翻訳）では、データ形式の標準化、マクロによる転送の自動化、会計ソフトへの直接インポート、OCRでのPDF抽出、RPAツールの検討、入力作業の一部外注、という6点が出ました。

内容に問題はありませんが、情報量はChatGPTより少なめです。

多ければよい、とは限りませんが、今回はChatGPTに分がありました。

結果は、ChatGPTの勝ちです。


Llama2とChatGPTの対決

Llama2は、FacebookやInstagramを運営するMeta社のAIで、性能はGPT-3.5と同じくらいと言われています。

今回はLlama-2-70bで確かめました。

日本語の回答は、元のプロンプトの流れに沿いつつ、ExcelのVBAで仕訳の入力と照合を自動化し、バッチ処理まで回すという内容でした。

英語では、OCRで証憑のPDFから数字を取り出し、Excelのテンプレートに流し込むワークフローを提案しています。

Adobe Acrobat、ABBYY FineReader、Tesseract OCRといったツール名も並び、品質チェックの実施や、派遣社員によるOCR結果の確認まで書かれていました。

日本語訳は、ChatGPTに頼んでいます。

情報量はChatGPTより少ないものの、ChatGPTが箇条書き中心だったのに対し、Llama2は手順がより具体的でした。

各工程を掘り下げていけば、ChatGPTを上回る精度になるかもしれません。

結果は、引き分けです。

ここまでの3つは、いずれも無料で使えます。


GeminiとChatGPTの対決

2024年2月にBardから名前が変わったGeminiも試しました。

回答は、卸売業の経理担当者の負担を減らす大切さから始まり、構成がきれいに整っていました。

  • 自動化の利点：業務時間の短縮、ミスの減少、コストの削減、業務の見える化
  • 進め方：現状の分析（仕訳の種類と量、書式、入力方法、システム環境）、ツールの選定（マクロ、専用ソフト、RPAの特徴と難易度を比較）、導入と設定、テストと運用
  • 導入事例：マクロで残業を約40時間減らした卸売業、専用ソフトで決算業務の時間を約30%短縮した卸売業
  • 補足：手順は一般的なので、導入前に社内のIT部門へ相談すること

さすがは検索エンジン最大手のGoogleです。

分かりやすくまとまっていました。

ただ、事例の数字が実在のものかは、確かめる必要があります。

それでも、構成の完成度は文句なしにGeminiが上でした。

結果は、Geminiの勝ちです。


比べて見えたこと

同じ頼み方でも、AIによって、情報量、具体性、構成の作り方が違います。

1つのAIだけで結論を出さず、複数の答えを並べて、いいところを取るのも手です。


主要な文章生成AIの特徴

ここからは、同じプロンプトを複数のAIに入れて採点する企画の準備として、各AIの特徴と採点基準を整理します。

日常生活、学校、会社で使うプロンプトを、5つずつ想定して比べました。

  • ChatGPT-3.5（無料版）：OpenAI社の生成AI。2024年4月から、会員登録なしでも使えます。ログインしないと日本語表示にはなりませんが、日本語で入力すれば日本語で答えます。GPT-4より精度は落ちるものの、慣れるまでは十分です。なお、2024年8月時点では、GPT-3.5はGPT-4o miniに置き換わり、使えません。実質的なグレードアップです
  • ChatGPT-4（有料版）：3.5に満足できない方や、GPTsとDALL-E3を使いたい方向け。精度が高く、月額20ドル（約3,200円）
  • Perplexity AI：調べもの向けの生成AI。レポート作成やリサーチに十分使えます。会員登録すると、4時間に5回のPro検索（GPT-4）が使えるので、課金せずにGPT-4を試したい方におすすめ
  • Gemini（無料版）：Googleの生成AI。以前の名前はBard。有料の上位版（Gemini Advanced）もありますが、ここでは無料版を使いました
  • Microsoft Copilot（無料版）：旧名称はBing Chat。ソースコードや画像の生成も無料でできます（商用利用できないものがあるので注意）。初心者なら、いちばんおすすめ
  • ChatGPT-4o（有料版）：2024年5月に追加。GPT-4より生成が速く、日本語など英語以外の精度も上がりました。大型アップデートで、無料ユーザーも使えます
  • Claude 3.5 Sonnet（無料版）：2024年6月に出たClaudeの新バージョン。画像は作れませんが、「アーティファクト」機能で、ゲームやウェブサイトを作れます
  • ChatGPT-4o mini（無料版）：2024年7月に追加。GPT-3.5より質がかなり上がり、無料で使えるのはうれしいところ。おそらくGeminiを意識して作られたのでしょう


採点のものさし

次の4点を、5段階で評価します。

  • 正確性：誤情報の少なさ
  • 読みやすさ：中学生でも読める文章か
  • ボリューム：文字数や文章数の多さ
  • 文章の難易度：低いほどよい（難しい言葉には、分かりやすい説明があるか）

星の数の合計に5をかけて、100点満点にします。

Perplexity AIは、追加の質問をすべて「スキップ」しています。

無料のAIにも、得意・不得意があります。

調べものならPerplexity、入り口にはMicrosoft Copilot、慣れたらChatGPTやGeminiの有料版、という使い分けが考えられます。

まずは気になるものを1つ、触ってみて下さい。

AIに抵抗がある方も、少しだけで構いません。