Hvorfor?
Jeg afprøver dette af flere årsager.
- Det giver større mulighed for at vælge mellem forskellige modeller og tilpasse dem.
- Det muliggør udvikling af åbne modeller en og en kollektiv, global og åben udvikling af kunstig intelligens.
- Det os uafhængige af de datacentre, der skal bruges til den kontinuerlige behandling af prompts.
- Vi tror på, at der er en værdi i den langsommelighed og fejlbarlighed lokale modeller tilbyder, som understøtter at vi også tænker selv og holde os årvågne overfor den kunstige intelligens’ fejlbarligheder.
Den gængse brug af generativ kunstig intelligens er idag baseret på løsninger, vi tilgår i skyen. Det vil sige, at vores input sendes og behandles i et datacenter med stor regnekraft et andet sted i verden. Alt vi gør, deles med tredjeparter. Tilmed er de hyppigst anvendte services (som OpenAI, Google etc.) proprietære, hvilket betyder at datagrundlag, træning m.v. er beskyttet og hemmeligholdt.
Når kunstig intelligens bruges lokalt, betyder det at vi downloader sprogmodellen og afvikler den lokalt på vores egen computer. Intet deles. Kun modeller udgivet under åbne licenser kan downloades og køres lokalt. Det betyder, at de også kan videreudvikles og tilpasses af brugere.
Grundlæggende bryder den uigennemsigtighed, som kunstig intelligens beror på, med degrowth-idealet om conviviality; at teknologier skal være mulige at forstå og tilpasse for brugerne, så disse kan gøre redskabet til middel for at indfri de ønsker og visioner de har for samfundet. Men hvad hvis conviviality er et mål på samfundsniveau, ikke nødvendigvis noget samtlige teknologier skal leve op til i lige høj grad? Fra et pragmatisk perspektiv er der behov for at understøtte, at maskinlæring og kunstig intelligens i højere grad bruges udvikles på følgende måder:
- prioriterer forklarlighed og i videst muligt giver tekniske igennemskuelig gennem peer-learning og open source
- reducerer miljøomkostninger ved i videst muligt omfang brug eksisterende hardware
- går fra cloud-baserede løsninger til community-styret infrastruktur
- gør kunstig intelligens til et spørgsmål og etik, værdier og demokrati på arbejdspladsen
Med venlig hilsen Bjarke
Hvordan?
- Download LM Studio
- Download en eller flere modeller, vælg med udgangspunkt i dit behov og din computers hardware, fx variationer af gpt-oss, nemotron og qwen
- Tilpas og leg med systemprompt, temperatur, contextvindue m.v.