Build ad uso specifico IA locale
Inviato: 28 dic 2025, 15:52
Da diverso tempo ormai, sto pianificando l'assemblaggio/restauro di una macchina con un solo esclusivo compito: lo sperimentare con l'IA in locale, e quindi, completamente in privato, 24h su 7d. Sono molti i vantaggi (e qualche sacrificio) nel fare qualcosa del genere, completamente slegato da piattaforme terze online: la più importante e rilevante, certamente, è il pensiero di fare questo in completa autonomia ed indipendenza, senza quindi affidare propri dati e le proprie conversazioni ad altri. Oltretutto, è affascinante l'idea stessa dell'allevare ed addestrare un assistente IA basandosi esclusivamente sulle proprie risorse e le proprie nozioni, spaziando dall'uso che se ne può fare di vero e proprio assistente segretario, in grado di assorbire le nostre informazioni per poi tirarle nuovamente fuori dal cassetto virtuale quando ne facciamo richiesta, magari facendo correlazioni ed individuando schemi, a tentativi diciamo più "socio-ludici" come l'imbastire un ambiente chiuso nella quale far vivere delle entità virtuali e vedendo come si comporterebbero tra loro e con noi, interfacciandoci. Lo ammetto, anche il fine sperimentale (e difficilmente attuabile con le mie risorse e quelle della macchina in costruzione) di un avanzato "Game of Life" powered by IA è quasi un'ossessione per me, da quanto la trovo terribilmente affascinante - almeno nel concetto. Probabilmente non mi sono mai ripreso del tutto dalla visione della pellicola "Il 13th Piano", a quanto pare.
L'assistente IA personale e privato sarà interfacciato a bot Telegram personalizzato, oltre che richiamabile e sfruttabile tramite interfaccia Open WebUI e dovrà essere in grado, secondo i miei programmi iniziali, di assorbire nozioni ed informazioni non solo dalle conversazioni tenute con il sottoscritto, ma anche fagocitando contenuti da differenti tipologie di documenti (MarkDown, TXT, DOC, CSV, PDF, etc.) che verranno sottoposti, oltre che assorbire sistematicamente altri dati da feeds RSS, quindi aggiornamenti siti in Rete etc.
La mia scelta, dopo varie indagini, è ricaduta sul restauro e l'aggiornamento di una macchina parzialmente già in possesso di quello che cerco: una workstation HP Z420 v2, ottima e solida macchina enterprise dotata in questo caso di:

Ecco come si presentava all'apertura del pannello laterale, molto solido - notare convogliatori di aria e ventola sulle RAM, dissipatore stock HP ad aria (non il modello a liquido, prodotto dalla stessa HP), la scheda video in tutta la sua lunghezza, ventole da 92mm in entrata/uscita dal case, con i loro supporti:


Oltre che per l'ottimo processore Ivy Bridge da 0.022 micron per Socket 2011 - nonostante i 130W di assorbimento max - da 12 cores e 24 threads, clock minimo @2.5GHz e max @3.3GHz, 3MB di cache L2 e 30MB di L3, la mia scelta si è concretizzata per la scheda video presente, dato che per quanto riguarda l'uso di modelli IA è la potenza della GPU e la dotazione di memoria video a fare da padroni: in questo caso la scheda già montata è decente, come decenti sono i 12GB di VRAM, anche se averne avuti 16GB avrebbe offerto più margine. Ad ogni modo, non volevo quantità di VRAM inferiori a questi livelli, senza spennarmi il portafogli (che comunque ho bruciato, tra questo e gli aggiornamenti, etc.).
I convogliatori di aria per la ventilazione si tolgono facilmente:

E qui è stato tolto il dissipatore stock HP, oltre che data una bella ripulita alla superficie della CPU:


Adesso non rimane altro che armarsi di pazienza ed attendere l'arrivo delle altre componenti, in modo da aggiornare la macchina e renderla il più possibile efficace per lo scopo.
L'assistente IA personale e privato sarà interfacciato a bot Telegram personalizzato, oltre che richiamabile e sfruttabile tramite interfaccia Open WebUI e dovrà essere in grado, secondo i miei programmi iniziali, di assorbire nozioni ed informazioni non solo dalle conversazioni tenute con il sottoscritto, ma anche fagocitando contenuti da differenti tipologie di documenti (MarkDown, TXT, DOC, CSV, PDF, etc.) che verranno sottoposti, oltre che assorbire sistematicamente altri dati da feeds RSS, quindi aggiornamenti siti in Rete etc.
La mia scelta, dopo varie indagini, è ricaduta sul restauro e l'aggiornamento di una macchina parzialmente già in possesso di quello che cerco: una workstation HP Z420 v2, ottima e solida macchina enterprise dotata in questo caso di:
- CPU: Xeon E5-2696 v2
- PSU: 600W
- RAM: 32GB DDR3
- GPU: nVidia RTX 3060 12GB GDDR6
- SSD: 2TB
Ecco come si presentava all'apertura del pannello laterale, molto solido - notare convogliatori di aria e ventola sulle RAM, dissipatore stock HP ad aria (non il modello a liquido, prodotto dalla stessa HP), la scheda video in tutta la sua lunghezza, ventole da 92mm in entrata/uscita dal case, con i loro supporti:
Oltre che per l'ottimo processore Ivy Bridge da 0.022 micron per Socket 2011 - nonostante i 130W di assorbimento max - da 12 cores e 24 threads, clock minimo @2.5GHz e max @3.3GHz, 3MB di cache L2 e 30MB di L3, la mia scelta si è concretizzata per la scheda video presente, dato che per quanto riguarda l'uso di modelli IA è la potenza della GPU e la dotazione di memoria video a fare da padroni: in questo caso la scheda già montata è decente, come decenti sono i 12GB di VRAM, anche se averne avuti 16GB avrebbe offerto più margine. Ad ogni modo, non volevo quantità di VRAM inferiori a questi livelli, senza spennarmi il portafogli (che comunque ho bruciato, tra questo e gli aggiornamenti, etc.).
I convogliatori di aria per la ventilazione si tolgono facilmente:
E qui è stato tolto il dissipatore stock HP, oltre che data una bella ripulita alla superficie della CPU:
Adesso non rimane altro che armarsi di pazienza ed attendere l'arrivo delle altre componenti, in modo da aggiornare la macchina e renderla il più possibile efficace per lo scopo.