Verhaar_Wiki

Site Tools

Trace:
marc:linux:llm_ai

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Next revision		Previous revision
marc:linux:llm_ai [2026/04/11 17:10] – created marcvmarc:linux:llm_ai [2026/04/12 18:11] (current) – marcv
Line 96: Line 96:
 * Als je merkt dat je meer diepgang nodig hebt, probeer dan de ''70B versie'' om te zien of de snelheid voor jou acceptabel is * Als je merkt dat je meer diepgang nodig hebt, probeer dan de ''70B versie'' om te zien of de snelheid voor jou acceptabel is
  
-Wil je dat ik uitleg hoe je LM Studio installeert en de juiste instellingen zet voor je 4070 Ti?+===== Llama 3.1 70B Lokaal Draaien op Windows 11 ===== 
 + 
 +Hier is een gedetailleerde handleiding om ''Llama 3.1 70B'' lokaal te draaien op jouw Windows 11 systeem met 4070 Ti (12GB VRAM) en 64GB RAM. 
 + 
 +== Belangrijke Verwachtingsmanagement == 
 + 
 +Voordat we beginnen, is het cruciaal om te begrijpen wat je kunt verwachten: 
 + 
 +- ''Modelgrootte'': Een 70B model in 4-bit kwantisatie is ongeveer ''40-45 GB'' groot 
 +- ''VRAM Beperking'': Je 4070 Ti heeft slechts 12GB VRAM, dus ongeveer ''30GB+ moet via CPU/RAM'' 
 +- ''Verwachte Snelheid'': ''2-4 tokens per seconde'' (leesbaar, maar niet snel) 
 +- ''RAM Gebruik'': Reken op ''45-50GB RAM'' tijdens gebruik 
 + 
 +Dit betekent dat je 64GB RAM essentieel is voor dit scenario. 
 + 
 +---- 
 + 
 +== Methode 1: LM Studio (Aanbevolen voor Beginners) == 
 + 
 +=== Stap 1: LM Studio Installeren === 
 + 
 +1. Ga naar https://lmstudio.ai 
 +2. Download de Windows versie 
 +3. Installeer en start het programma 
 + 
 +=== Stap 2: Model Downloaden === 
 + 
 +1. Klik op het ''zoek-icoon'' (vergrootglas) in de linkerbalk 
 +2. Zoek naar: ''Llama-3.1-70B-Instruct-GGUF'' 
 +3. Kies een uploader met goede reputatie (bijv. ''bartowski'', ''MaziyarPanahi'', of ''QuantFactory'') 
 +4. Kies een ''Q4_K_S'' of ''Q4_0'' bestand (ongeveer 40-42 GB) 
 +   - Vermijd Q5 of hoger - dat past niet in je RAM 
 +5. Klik op ''Download'' 
 + 
 +=== Stap 3: GPU Offloading Configureren === 
 + 
 +1. Klik op het ''model icoon'' (twee blokken) in de linkerbalk 
 +2. Selecteer je gedownloade model bovenaan 
 +3. Zoek de ''GPU Offload'' slider 
 +4. Schuif deze naar maximaal (of tot ongeveer ''12-14GB VRAM gebruik'') 
 +   - LM Studio toont visueel hoeveel VRAM wordt gebruikt 
 +5. Zorg dat ''CUDA'' is geselecteerd als backend 
 + 
 +=== Stap 4: Starten === 
 + 
 +1. Ga naar het ''chat icoon'' (bubbel) 
 +2. Klik op ''Load Model'' 
 +3. Wacht tot het geladen is (kan 5-10 minuten duren) 
 +4. Begin chatten 
 + 
 +---- 
 + 
 +== Methode 2: Ollama (Meest Efficiënt) == 
 + 
 +=== Stap 1: Ollama Installeren === 
 + 
 +1. Ga naar https://ollama.com 
 +2. Download de Windows installer 
 +3. Installeer en start Ollama 
 + 
 +=== Stap 2: Model Downloaden === 
 + 
 +Open PowerShell of Command Prompt en voer uit: 
 + 
 +<code>ollama pull llama3.1:70b</code> 
 + 
 +Dit downloadt automatisch de juiste kwantisatie. 
 + 
 +=== Stap 3: GPU Offloading Controleren === 
 + 
 +Ollama doet dit automatisch, maar je kunt controleren of het werkt: 
 + 
 +<code>ollama ps</code> 
 + 
 +Je zou moeten zien dat het model geladen is met GPU-acceleratie. 
 + 
 +=== Stap 4: Starten === 
 + 
 +<code>ollama run llama3.1:70b</code> 
 + 
 +---- 
 + 
 +== Methode 3: KoboldCPP (Beste Prestaties) == 
 + 
 +=== Stap 1: Download KoboldCPP === 
 + 
 +1. Ga naar de GitHub releases van ''Llama.cpp'' of ''KoboldAI'' 
 +2. Download de Windows executable (bijv. ''koboldcpp.exe'') 
 + 
 +=== Stap 2: Model Downloaden === 
 + 
 +Download hetzelfde GGUF-bestand als bij LM Studio: 
 + 
 +- ''Llama-3.1-70B-Instruct-Q4_K_S.gguf'' 
 +- Plaats in een map op je schijf 
 + 
 +=== Stap 3: Configureren === 
 + 
 +Start ''koboldcpp.exe'' met deze argumenten: 
 + 
 +<code>--gpu-layers 35 --context 4096 --threads 16</code> 
 + 
 +- ''--gpu-layers'': Aantal lagen naar GPU (pas aan tot ~12GB VRAM) 
 +- ''--context'': Context length (4096 is veilig) 
 +- ''--threads'': Aantal CPU threads (gebaseerd op je processor cores) 
 + 
 +=== Stap 4: Web Interface === 
 + 
 +KoboldCPP start een lokale webserver op ''http://localhost:5001'' 
 + 
 +---- 
 + 
 +== Optimalisatie Tips voor Jouw Setup == 
 + 
 +^ Instelling ^ Aanbeveling ^ Reden ^ 
 +| Kwantisatie | Q4_K_S | Beste balans tussen grootte en kwaliteit | 
 +| GPU Layers | Max 12GB VRAM | Voorkomt memory swapping | 
 +| Context Length | 4096-8192 | Hoger = meer RAM gebruik | 
 +| Threads | 12-16 | Afhankelijk van je CPU cores | 
 +| Batch Size | 512 | Verminderen als het vastloopt | 
 + 
 +---- 
 + 
 +== Probleemoplossing == 
 + 
 +=== Als het te traag is (<1 token/sec) === 
 + 
 +- Verminder context length 
 +- Verminder aantal GPU layers (meer CPU, maar soms sneller bij RAM bottleneck) 
 +- Overweeg een kleiner model (35B of 14B) 
 + 
 +=== Als het vastloopt (crash) === 
 + 
 +- Sluit alle andere toepassingen 
 +- Verminder context length 
 +- Gebruik Q3_K_S in plaats van Q4_K_S 
 + 
 +=== Als VRAM vol zit === 
 + 
 +- Verminder GPU layers in LM Studio 
 +- Sluit andere GPU-applicaties (games, browsers met video) 
 + 
 +---- 
 + 
 +== Alternatief: Llama 3.1 70B via API == 
 + 
 +Als lokale prestaties teleurstellend zijn, kun je overwegen: 
 + 
 +- ''Groq API'': Gratis tier beschikbaar, extreem snel 
 +- ''Together AI'': Betaald, maar zeer snel 
 +- ''Fireworks AI'': Goedkoop voor experimenten 
 + 
 +---- 
 + 
 +== Mijn Advies == 
 + 
 +Begin met ''LM Studio'' omdat: 
 + 
 +* Visuele feedback over VRAM/RAM gebruik 
 +* Makkelijk om te experimenteren met GPU offloading 
 +* Geen command line nodig 
 + 
 +Als je merkt dat de snelheid te laag is voor dagelijks gebruik, probeer dan eerst ''Llama 3.1 35B'' of ''Mistral Large 24B'' als tussenstap. 
 + 
 +===== Het Meest Bepladende Element in Uw Setup voor LLMs ===== 
 + 
 +Het meest bepalende element in uw setup voor LLMs is de ''12GB VRAM''. Dit bepaalt hoeveel informatie (de gewichten en activaties) tegelijkertijd op de snelste opslag (de GPU-geheugenbank) kan staan. 
 + 
 +---- 
 + 
 +== 🥇 Het Beste Advies: Qwen3.5 9B == 
 + 
 +Met uw hardware is het model ''Qwen3.5 9B'' de optimale keuze. 
 + 
 +=== Waarom dit model? === 
 + 
 +* ''Perfecte Passvorm (VRAM)'': Een 9 miljard parameter model past zeer comfortabel in 12GB VRAM, vooral wanneer u geavanceerde kwantisatietechnieken gebruikt (zoals Q4_K_M). U blijft een significant deel van uw VRAM over voor de context en het uitvoeren van de inferentie. 
 +* ''Prestatie/Capaciteit'': Het biedt voldoende parameters om redenering, complexe instructies en hoogwaardige tekstgeneratie uit te voeren (dit is veel beter dan een 4B of 2B model). 
 +* ''Snelheid'': Omdat het volledig in VRAM past, draait het snel en stabiel. 
 + 
 +---- 
 + 
 +== 🚫 Waarom de grotere modellen risicovol zijn? == 
 + 
 +U wilt niet simpelweg een groot model draaien, u wilt een ''snel'' model draaien. 
 + 
 +Modellen zoals ''Qwen3.5 35B A3B'' of ''Gemma 4 26B A4B'' zijn te groot voor stabiele en snelle werking op 12GB VRAM. Als u ze toch forceert, gebeuren twee dingen: 
 + 
 +* ''Trage Offloading'': Het systeem moet constant gegevens heen en weer verplaatsen tussen het trage system-RAM (64GB) en de snelle VRAM (12GB). Dit proces heet ''offloading'' en zal uw antwoordtijd enorm verlengen, waardoor een 35B model veel langzamer aanvoelt dan een goed geoptimaliseerd 9B model. 
 +* ''Instabiliteit'': Het systeem kan overbelast raken of crashen bij zeer lange contextvensters (veel tekst tegelijk laten verwerken). 
 + 
 +---- 
 + 
 +== ✨ Samenvatting per Scenario en Hardware == 
 + 
 +^ Modelklasse ^ Geschiktheid voor 12GB VRAM? ^ Prestatie vs. Snelheid ^ Wanneer gebruiken? ^ 
 +| Qwen3.5 9B | ⭐⭐⭐⭐ (Optimal) | Zeer hoog en snel | Algemeen gebruik, complexe Q&A, beste allrounder. | 
 +| Gemma/Nemotron (2-4B) | ⭐⭐⭐⭐ (Zeer goed) | Medium, extreem snel | Simpele, snelle taken waar de diepgang minder belangrijk is. | 
 +| Qwen3.5 35B+ | ❌ (Te groot) | Extreem hoog, maar traag | Vereist 24GB+ VRAM en een serveromgeving. Niet aanbevolen voor deze GPU. | 
 + 
 +---- 
 + 
 +== 🛠 Belangrijk Advies: De Quantization Stap! == 
 + 
 +Om de beste prestatie uit uw model te halen, is het cruciaal dat u ''kwantisatie (quantization)'' toepast wanneer u het model laadt. 
 + 
 +* ''Wat is kwantisatie?'': Het proces waarbij de precisie van de gewichten van het model wordt verlaagd (bijv. van 16-bit naar 4-bit). 
 +* ''Waarom?'': Dit maakt een gigantisch model kleiner en efficiënter, zodat het past in uw VRAM zonder significant kwaliteitsverlies. 
 +* ''Hoe?'': Gebruik inferentiekaders (frameworks) zoals ''llama.cpp'', ''GPT4All'', of bibliotheken die gespecialiseerd zijn in 4-bit kwantisatie (zoals ''bitsandbytes''). 
 + 
 +---- 
 + 
 +== Conclusie: Uw Workflow == 
 + 
 +# Kies het model: ''Qwen3.5 9B'' 
 +# Gebruik een framework om het te laden met ''Q4_K_M'' kwantisatie 
 +# Uw systeem-RAM van ''64GB'' is er goed voor, omdat u zo grote contextvensters kunt verwerken en de geheugenbehoefte tijdens lange sessies kan ondersteunen. Uw VRAM (12GB) zorgt echter voor de brute snelheid!
marc/linux/llm_ai.1775920251.txt.gz · Last modified: by marcv
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki