hugging face 在 linux 下其實很難裝，尤其想用 CPU 跑的話要加一票參數，大家都會預設你有 N 牌顯卡，然後一票限定 python3.10 甚至像 Bitnet.cpp 限定 python3.9 不然會遇到一些詭異的問題（主要是 source code 的語法沒向上相容）venv 用好用滿... 嘛，主流都跑到 python3.12 了 ...

而 Bitnet.cpp 模型跑出來整個怪怪的 fu ... 可以設定 thread 數量來燃燒 CPU，速度其實不錯，但就答案無法使用而已，整個走火入魔的 fu

然後如果用 conda 來裝的話基本上超無腦，我裝了 anaconda 根本不用走一票苦痛之路

但按照 hugging face 官方的 doc 的話 ... 嘛 ... QwQ

anyway 只能說我們還在一個尷尬的時代，docker 能直通顯卡應該會好點，苦痛之路應該都能省掉，但事實上 AI 不應該靠顯卡才是，我們目前還在黑暗時代了

至於其他的，經過這票後我的感想只有 ... 花錢買 token 應該是個好選擇，而非在家燃燒自己的電腦，除了扛電費還要扛硬體折舊的

至於如果純買 token 的話，用 Ruby 來串 API 就是個好選擇了，畢竟無腦的 ... 但我 Ruby 快忘光了，該來復健了才是

GitHub - open-webui/open-webui: User-friendly AI Int...明天來跑這份看看，不過會用有 GPU 的那台就是了，但 ... 看看怎麼弄才好，不然總感覺很容易把環境弄爛掉