這個網站 https://local.ai 提供了完整的本地運行 AI所需要的硬體資源, 模型選擇, 並將跑分提供給大家做參考.
以往我們要找對應的資料可以在論壇上看看別人的經驗與硬體配置, 如什麼 CPU / DRAM / GPU / VRAM 等參數, 跑什麼模型什麼量化得到多少 tokens/sec 的數字, 當然後來有了 Can I Run AI – https://www.canirun.ai/ 來查找.
現在可以透過這個 local.ai 服務來查找其他人硬體的跑分結果, 或是想執行什麼模型你可以先準備對應的硬體, 更容易找出適合的資源與預算, 也就是可以由這個服務取得真實的硬體執行結果的資訊!
不過無論你有沒有要跑本地 AI, 都可以先申請自己的專用網址, 請透過以下我的推薦碼連結進行申請:
https://local.ai/timhuang/invite
一方面我也有機會可以獲得獎勵的硬體, 另一方面你也可以獲得一個專用的網址哦! (註冊需要用到你的 huggingface 帳戶)
-- viewing this page|-- online sitewide