分類
好用軟體

gpt-oss開源模型動手玩

OpenAI 公佈兩個 gpt 開源模型:

  • gpt-oss-120b
  • gpt-oss-20b

可以參考這篇管方資料:

https://openai.com/zh-Hant/index/introducing-gpt-oss/

最方便下載來玩的方式是使用 ollama (可以參考之前這篇介紹: https://diary.tw/archives/2609)

由於 ollama 在之前的更新, 已經提供在 GUI 上直接選擇模型並進行問答, 所以在更新後的 ollama 介面上可以看到 gpt-oss-20b:

當然也還是可以使用 console 執行, 使用指令 ollama run gpt-oss

C:\Users\tim>ollama run gpt-oss
pulling manifest
pulling b112e727c6f1: 100% ▕██████████████████████████████████████████████████████████▏  13 GB
pulling fa6710a93d78: 100% ▕██████████████████████████████████████████████████████████▏ 7.2 KB
pulling f60356777647: 100% ▕██████████████████████████████████████████████████████████▏  11 KB
pulling d8ba2f9a17b3: 100% ▕██████████████████████████████████████████████████████████▏   18 B
pulling 55c108d8e936: 100% ▕██████████████████████████████████████████████████████████▏  489 B
verifying sha256 digest
writing manifest
success
>>> /show info
  Model
    architecture        gptoss
    parameters          20.9B
    context length      131072
    embedding length    2880
    quantization        MXFP4

  Capabilities
    completion
    tools
    thinking

  Parameters
    temperature    1

  License
    Apache License
    Version 2.0, January 2004
    ...

>>> Send a message (/? for help)

接下來就可以在本地執行這個 OpenAI 的開源 gpt 模型了.

 

分類
好用軟體

在本地端執行DeepSeek模型

最近火熱的 DeepSeek LLM模型, 你玩過了嗎?

其實也可以很容易地在地端執行這個 LLM模型, 當然也可以執行其他廠家的 LLM模型. 使用的工具為這個十分好用的 ollama:

https://ollama.com/

ollama 這個開源工具是用來簡化在地端執行這些 LLM模型的工具, 方便快速地可以在本地部署執行環境, 而且也可以在本地提供 API服務的功能.

先來看看在 Windows/Mac/Linux 下如何運行, 它將執行環境打包可以下載的安裝檔, 安裝完成後是利用 console 來執行互動式指令, 以 Windows 為例, 先下載一個安裝程式, 安裝完成後, 利用 console 來執行, 常用指令如下: