AI

跑 AI 的選擇

如果要跑AI，我們會需要有VRAM的顯示卡，當然CPU也可以跑，可是速度很不理想。大部分的瓶頸都會是在VRAM這一部份，8G其實有點免強，但還過得去。網路上能用租的，按時間來算，我是還沒用過。一張高階顯示卡都要好幾萬或是破十萬，而且都是吃電怪獸，我還是傾向低功耗的選擇。所以我目前在考慮以下的方案。

這個APU大概是今年最有話題性的產品，32個執行緒，45-120W，最高到 128GB 的 unified memory，也就是說我可以分配 100G 給 GPU 拿來跑 LLM。

真的要把 AI 跑好跑滿，又想要省電，這台一直是我在觀察的。大概有 4070 等級的推算能力，又能有 128G 的記憶體。我的期望是他能跑好 ComfyUI，跟 Ollama，期待他的上市。

市面上有很多擴充顯示卡的設備，但規格有點凌亂，產品線不多，而且要另外再買電源盒，連接的方式又不一定可以讓顯示卡全力地跑。如果要走這一條路，我會認真地考慮一下直接組一台主機。

Mac Mini 是一個很有趣的選擇，也能直接拿來當伺服器來跑，但這條路一定又是另外一個大坑。