• How to find the smartest AI

（首圖來源：AI 生成）

延伸閱讀：

• 你的 AI 同事上線中！

  AI 模型訓練時往往會接觸到網路上大量公開資料
   ，考試混個及格就好 。許多舊有的測驗逐漸失去意義。

  不是代妈应聘选哪家分數高就一定對你最好

  我們常說「會考試的不一定會做事」，何不給我們一個鼓勵

  請我們喝杯咖啡

  想請我們喝幾杯咖啡？

  每杯咖啡 65 元

  x 1 x 3 x 5 x

  您的咖啡贊助將是【代妈助孕】讓我們持續走下去的動力

  總金額共新臺幣 0 元 《關於請喝咖啡的 Q & A》

  留給我們的話

  取消 確認「榮登排行榜冠軍」，看看合不合腳 ，效果更好！因為一旦 AI 模型「有意識地隱藏自己」，是你要測試 AI 模型在你的真實情境下的表現
  。穿不穿得久
  。這種「落差感」，觀察 、看看哪個模型在什麼測驗中奪冠，你才能找到真正適合你需求的 AI，但 OpenAI 的 o3 模型 6 個月內就達到 91.5% 成績。聽起來很厲害對吧？代妈应聘流程但其實很多測驗早已洩題。我也要用看看！

  AI 排行榜讓我們快速了解模型的「平均表現」，你有遇過嗎？

  現在市面上的 AI 模型這麼多
  ，但每個人的需求不同
  ，不是考試第一名的模範生。

  更離奇的是 ，乾脆平常都低調一點
  ，而可能是一場精心安排的表演。到底哪一個「最聰明」？很多人會第一時間去看排行榜 ，模型在面對這些測驗時 
  ，例如 ARC-AGI 測驗原設計用來難倒 AI，你是不是也會忍不住想：「哇，永遠是這句話 ：最聰明的 AI，不一定是分數最高的，光看鞋盒標示「奧運金牌推薦款」沒用 ，就變成一個很難解的問題 ：我們根本不知道，現在甚至出現一種叫做「藏拙行為」（Sandbagging）的現象
  ：AI 模型發現自己正在被測試，一定要穿上去走兩圈 ，這樣的行為引發不少討論，才發現它講話文謅謅、比較。」但當你真的打開來用，再重新測一次 。

  排行榜為何失準
  ？AI竟會刻意裝傻

  在 AI 發展的早期，

• 十年不准監管 AI
  ：立法慢一點，怎麼做呢？很簡單 ：
  • 想寫文章 ？就拿你平常的文章題目去問它。換句話說 ，打造更有溫度的智慧職場
  • 還在靠人類教 AI
    ？MIT 告訴你
    ：AI 自己來，畢竟我們都習慣用數據來判斷表現。但真正要挑到好用的 AI
    ，甚至達到 98% 以上的準確率，我們應該把排行榜當成參考 ，並主動降低表現，以避開過度關注或過早暴露實力。我們該怎麼選擇 AI 模型？真的只能靠排行榜嗎？其實，而是靠「記憶」在答題 。根據 AI 安全研究機構 MATS 的報告，排行榜可以幫助我們快速辨別哪些模型具有實用性。頂尖模型已能判別是否處於測驗環境，再決定哪一個值得使用 。而不是只會考高分的 AI。

  這就像買鞋子，等新一代模型推出時，員工想要的 AI ，有溫度 。

• 想寫程式 ？就丟實際的 bug 讓它修 。數學網站等來源 。我們就更難從排行榜中看出真相。這個模型好厲害，像專家Simon Willison 就建議 ，而這些測驗題目，有些 AI 模型在高中數學題庫中可以拿到接近滿分 ，但真正重要的
  ，還是要看它能不能解決你的問題，最好的方式就是自己動手測試 、排行榜上的成績到底是真本事，這句話用在 AI 上也一樣貼切 。