這個網站 https://local.ai 提供了完整的本地運行 AI所需要的硬體資源, 模型選擇, 並將跑分提供給大家做參考.
以往我們要找對應的資料可以在論壇上看看別人的經驗與硬體配置, 如什麼 CPU / DRAM / GPU / VRAM 等參數, 跑什麼模型什麼量化得到多少 tokens/sec 的數字, 當然後來有了 Can I Run AI – https://www.canirun.ai/ 來查找.
現在可以透過這個 local.ai 服務來查找其他人硬體的跑分結果, 或是想執行什麼模型你可以先準備對應的硬體, 更容易找出適合的資源與預算, 也就是可以由這個服務取得真實的硬體執行結果的資訊!
不過無論你有沒有要跑本地 AI, 都可以先申請自己的專用網址, 請透過以下我的推薦碼連結進行申請:
https://local.ai/timhuang/invite
一方面我也有機會可以獲得獎勵的硬體, 另一方面你也可以獲得一個專用的網址哦! (註冊需要用到你的 huggingface 帳戶)
繼之前的 Gemini CLI 開發 (請參考這篇 – https://diary.tw/archives/2705), 由於最近的 Google I/O 大會, 宣佈了將下架 Gemini CLI, 轉到 Antigravity CLI, 所以我也得對應調整一下開發工具到 Antigravity CLI (簡稱 agy).
為了安裝 agy, 先看了一下官方資料, 原來必須先裝 Antigravity (IDE) 後才能安裝 Antigravity CLI (不過現在拿掉了 – https://antigravity.google/download#antigravity-cli), 有兩件事我需要先確認才能將 Gemini CLI 轉到 Antigravity CLI:
如之前這篇 https://diary.tw/archives/2689提到, 目前已是開通 Gemini AI Pro 方案的狀況下, 想說來試看看 Gemini CLI 寫寫程式, 看看效果如何, 結果用起來還挺方便好用的.
從無到有打造一個程式, 不用半天的時間, 第一個寫的小程式是python 專案, 利用 speedtest-cli 來進行網路的測速, 並且記錄到 sqlite 資料庫, 再利用 streamlit (這個是 Gemini CLI建議的) 來進行 dashboard 的介面展示, 整個專案很快就完成了, 的確非常快速方便, 畫面如下:
昨天看到消息: https://www.techbang.com/posts/128668-google-ai-pro-free-5tb-for-ai-creations
由於原本一直是 Google One 的 200GB 每月 90元方案, 不過因為去年有台哥大的 Perplexity AI 一年方案, 已使用了一年, 剛好因為換 Google Pixel 10 Pro 手機, 也提供了一年的 Gemini AI Pro 方案, 所以變成了每個月 0元 2TB空間, 才剛用一個月不到, 馬上就被升級到 5TB, 這樣真的很划算耶, 空間大而且又有 Gemini AI Pro, 很划算耶.
剛登入 Google Drive 來看, 已經被升級到 5TB 空間了, 真棒!
繼續閱讀:
從這裡看來的: https://blogs.cisco.com/ai/llm-security-leaderboard
Cisco 透過技術方法來分析與檢討目前坊間的LLM大語言模型的資安能力, 希望透過這樣的方式來評估現有的LLM於應用時應該要補強或留意之處.
排行榜在這裡: https://leaderboard.aidefense.cisco.com/rankings
看起來 Anthropic 的 Opus, Sonnet, Haiku 都有不錯的表現, 其他大廠的LLM也都不惶多讓, 透過右上角的 All Models 的切換, 我們可以看到所有被測試的 LLM 表現.
測試的方法在這裡可以看到: https://leaderboard.aidefense.cisco.com/methodology