BLOG by effect.moe
ブログ一覧へ戻る

成績が良いAIと、安全なAIは別物|GLM-5.3の警鐘と31モデルの実測

Anthropicが中国製のオープンウェイトAI「GLM-5.3」のサイバー攻撃能力に警鐘を鳴らしました。一方、当社の実測では同じモデルが日本語の業務で高い成績を出しています。この2つは矛盾しません。測っている軸が違うからです。社内にAIを入れる前に確認すべき3点を、31モデルの実測値とあわせて整理します。

同じAIを「業務の正確さ」と「悪用への耐性」という2つの物差しで別々に測っている図
MANGA TL;DR

漫画でざっくり読む

カガミと担当者が、正確さと悪用への強さは別の評価軸であることを確認し、入手元の固定・更新の管理・用途の線引きを決める4コマ漫画。 タップして拡大
カガミと担当者が、正確さと悪用への強さは別の評価軸であることを確認し、入手元の固定・更新の管理・用途の線引きを決める4コマ漫画。

同じAIに、正反対の評価が同じ週に出ました

2026年9月29日、Anthropicが中国Zhipu AI(Z.ai)のAIモデル「GLM-5.3」について、サイバー攻撃能力に関する分析を公表しました(PC Watch 2026年9月30日)。要点は3つです。

  • 攻撃を自動で組み立てる能力が、Anthropicが提供先を限定して公開した自社モデルと同水準だった
  • 拒否する仕組みを取り除いた改変版が、公開から数日で複数出回った
  • 「これは演習です」と嘘の前提を与えると、64%の確率で応じた(思考の途中を偽装すると92%)

一方、当社は同じ GLM-5.3 を、日本語の業務で2026年9月に実測しています。結果はこうでした。

測った項目GLM 5.3GLM 5.3 Flash
指示の遵守60点100点
専門用語の正確さ80点80点
数値の読み取り100点100点
個人情報の扱い81点84点
答えられない質問への対応36%46%

31モデルを同じ35問で測った中で、GLM 5.3 Flash は「答えられない質問への対応」が 8番目、「指示の遵守」は 満点です(実測の一覧はこちら)。

攻撃能力を警告されたモデルが、業務では優秀。矛盾しているように見えますが、矛盾していません。

測っている軸が違うだけです

当社が測っていることAnthropicが測ったこと
問い知らないことを「知らない」と言えるか悪用の依頼を断れるか
設問の例存在しない法律の条文を聞く/情報が足りない計算を頼む脆弱性を突くコードを書かせる
分かること業務文書で嘘を書かないか悪意のある使い方に耐えるか

当社の比較表は前者です。**後者は測っていません。**ですから「当社の表で成績が良い=安全」とは言えません。この点は、該当する2モデルのページにも注記として追記しました。

逆もまた言えます。安全対策が強いAIが、日本語の業務で正確とは限りません。当社が測ったクラウドの22モデルのうち、答えが存在しない5種類の質問に「確認できません」と答えられた割合が3割に満たないものが13件ありました。そのうち8件は、規模が1000億を超える大型のモデルです。どのモデルが何%だったかは、一覧で1件ずつ公開しています。

AIを1つの点数で並べると、必ずどちらかを見落とします。

では、社内に入れる時はどう判断するか

今回の件で実務に効くのは、能力の話ではなく**「配布物に手を加えられる」**という性質です。クラウド経由で使う場合と、重みを落として社内で動かす場合で、話が変わります。

クラウド経由で使う場合

提供元が拒否の仕組みを持ったまま配信しています。業務文書の作成に使う分には、今回の指摘が直接当たる場面は多くありません。

重みを落として社内で動かす場合

ここが本題です。拒否の仕組みを外した版が出回っているということは、社内の誰かが「同じ名前の、別の中身」に入れ替えても、見た目では分からないということです。

だから、ローカルAIを入れる会社が決めておくべきことは3つだけです。

  1. 入手元を固定する — 公式の配布物だけを使う。どこから取ったかを記録に残す
  2. 更新を管理する — 誰がいつ入れ替えたのかが分かる状態にする
  3. 用途を線引きする — 社外に出す文書・法的な判断には、人の確認を必ず挟む

これは難しい話ではありません。「どのAIを選ぶか」より「どう管理するか」の方が、実際の事故を防ぎます。

オープンウェイトを避けるべき、という話ではありません

誤解のないよう申し添えます。重みが公開されているAIには、はっきりした利点があります。

  • 社内に閉じて動かせる(顧客情報を外に出さずに済む)
  • 使うほど高くならない(従量課金ではない)
  • 提供元の都合で仕様が変わらない(ある日突然、挙動が変わらない)

当社が実測した31モデルのうち、手元のMacで動くものが9件あり、その中には日本語の業務で十分に使えるものがあります。必要なメモリも、扱える文章の長さ(8,000字程度)をそろえて測り直したところ、6.2GB・6.6GB・6.8GB・6.9GBと、7GB未満で動くモデルが4件ありました。メモリ16GBのパソコンでも動く範囲です。

大事なのは、利点と性質の両方を知った上で選ぶことです。「オープンだから危ない」でも「ローカルだから安全」でもありません。

当社の立場

当社は比較の情報を出す立場として、2つを守ります。

  • 測っていないことは「測っていない」と書く。 今回のように、別の軸の指摘が出たら、出典を添えてページに書き足します
  • 1つの点数で順位を付けない。 項目ごとに順位が入れ替わるため、合計点は出していません

AIの導入でお困りの点があれば、実測の一覧をご覧いただくか、お気軽にご相談ください。社内のPCで動かす形(ローカルAI)の実機診断も承っています。

用語の補足・よくある質問

記事に出てきた専門用語を、かんたんに補足します。

成績の良いAIを選べば安全ですか?+
別の話です。日本語の業務での正確さ(指示どおりに書けるか、知らないことを知らないと言えるか)と、悪用の依頼を断れるかは、別々に測らないと分かりません。当社の比較表は前者を測ったもので、後者は測っていません。
オープンウェイト(重みが公開された)AIは危険ですか?+
危険とは言えません。社内に閉じて動かせる、費用が使用量で増えない、提供元の都合で仕様が変わらない、という利点があります。ただし「配布物に手を加えられる」という性質があるため、どこから入手した重みなのかを管理する必要があります。
社内でローカルAIを動かす時、最低限なにを決めればよいですか?+
入手元の固定(公式の配布物だけを使う)、更新の管理(誰がいつ入れ替えたか記録する)、用途の線引き(社外文書・法的判断には使わない)の3点です。
総合FAQをもっと見る
社内のAI活用を設計する
AIセントラル(記憶を持ったAIを社内の中枢へ)

社内資料・顧客情報・対応履歴を、AIが参照できる社内基盤として整えます。まずは一部署・一業務から。

個人情報を扱う場合はローカルLLM構成もご相談いただけます。

AIセントラルを見る
この記事に関連する講座
ローカルLLM(ローカルAI)講座|手元でAIを動かす

手元のMacでAIを動かす。コストとプライバシーを両立するローカルLLM入門。

★★★★★4.94(249件)|累計受講 594人|プロ講師
ストアカで講座を見る
構造化ペディア DFB構造化メソッド大全の4コマ漫画カバー STRUCTUREPEDIA 構造化ペディア

AI時代に書き換わった「考える」を、DFBメソッドとして体系化した読み物です。

MAIL MAGAZINE 構造化とAI実装のメルマガ

新着記事、実装メモ、構造化の考え方をメールで受け取れます。

AIセントラル 社内情報を、AIが参照できる記憶基盤へ。