Decentraliserad LLM på Proxmox

Setup för LLM’s på Proxmox Virtualizer på Bee-link GTi15 med docka och ext. GPUIntel Core Ultra 9 258H (Meteor Lake) → stark CPU + Intel Arc iGPU (Xe LPG) Extern docka med Sapphire NITRO+ 8GB (AMD GPU) → via eGPU-docka Ollama är ett program (runtime) som låter dig köra stora språkmodeller (LLM) lokalt på din egen dator eller server, t.ex. … Fortsätt läsa Decentraliserad LLM på Proxmox