Build ad uso specifico IA locale

[Indrid Cold]

Da diverso tempo ormai, sto pianificando l'assemblaggio/restauro di una macchina con un solo esclusivo compito: lo sperimentare con l'IA in locale, e quindi, completamente in privato, 24h su 7d. Sono molti i vantaggi (e qualche sacrificio) nel fare qualcosa del genere, completamente slegato da piattaforme terze online: la più importante e rilevante, certamente, è il pensiero di fare questo in completa autonomia ed indipendenza, senza quindi affidare propri dati e le proprie conversazioni ad altri. Oltretutto, è affascinante l'idea stessa dell'allevare ed addestrare un assistente IA basandosi esclusivamente sulle proprie risorse e le proprie nozioni, spaziando dall'uso che se ne può fare di vero e proprio assistente segretario, in grado di assorbire le nostre informazioni per poi tirarle nuovamente fuori dal cassetto virtuale quando ne facciamo richiesta, magari facendo correlazioni ed individuando schemi, a tentativi diciamo più "socio-ludici" come l'imbastire un ambiente chiuso nella quale far vivere delle entità virtuali e vedendo come si comporterebbero tra loro e con noi, interfacciandoci. Lo ammetto, anche il fine sperimentale (e difficilmente attuabile con le mie risorse e quelle della macchina in costruzione) di un avanzato "Game of Life" powered by IA è quasi un'ossessione per me, da quanto la trovo terribilmente affascinante - almeno nel concetto. Probabilmente non mi sono mai ripreso del tutto dalla visione della pellicola "Il 13th Piano", a quanto pare.

L'assistente IA personale e privato sarà interfacciato a bot Telegram personalizzato, oltre che richiamabile e sfruttabile tramite interfaccia Open WebUI e dovrà essere in grado, secondo i miei programmi iniziali, di assorbire nozioni ed informazioni non solo dalle conversazioni tenute con il sottoscritto, ma anche fagocitando contenuti da differenti tipologie di documenti (MarkDown, TXT, DOC, CSV, PDF, etc.) che verranno sottoposti, oltre che assorbire sistematicamente altri dati da feeds RSS, quindi aggiornamenti siti in Rete etc.

La mia scelta, dopo varie indagini, è ricaduta sul restauro e l'aggiornamento di una macchina parzialmente già in possesso di quello che cerco: una workstation HP Z420 v2, ottima e solida macchina enterprise dotata in questo caso di:

• CPU: Xeon E5-2696 v2
• PSU: 600W
• RAM: 32GB DDR3
• GPU: nVidia RTX 3060 12GB GDDR6
• SSD: 2TB

Ecco come si presentava all'apertura del pannello laterale, molto solido - notare convogliatori di aria e ventola sulle RAM, dissipatore stock HP ad aria (non il modello a liquido, prodotto dalla stessa HP), la scheda video in tutta la sua lunghezza, ventole da 92mm in entrata/uscita dal case, con i loro supporti:





Oltre che per l'ottimo processore Ivy Bridge da 0.022 micron per Socket 2011 - nonostante i 130W di assorbimento max - da 12 cores e 24 threads, clock minimo @2.5GHz e max @3.3GHz, 3MB di cache L2 e 30MB di L3, la mia scelta si è concretizzata per la scheda video presente, dato che per quanto riguarda l'uso di modelli IA è la potenza della GPU e la dotazione di memoria video a fare da padroni: in questo caso la scheda già montata è decente, come decenti sono i 12GB di VRAM, anche se averne avuti 16GB avrebbe offerto più margine. Ad ogni modo, non volevo quantità di VRAM inferiori a questi livelli, senza spennarmi il portafogli (che comunque ho bruciato, tra questo e gli aggiornamenti, etc.).

I convogliatori di aria per la ventilazione si tolgono facilmente:



E qui è stato tolto il dissipatore stock HP, oltre che data una bella ripulita alla superficie della CPU:





Adesso non rimane altro che armarsi di pazienza ed attendere l'arrivo delle altre componenti, in modo da aggiornare la macchina e renderla il più possibile efficace per lo scopo.

[Indrid Cold]

Arrivati in questi giorni altri pezzi per l'aggiornamento della macchina:



Mi auguro che il dissipatore Noctua entri correttamente, come letto in rete, nel case in questione - non sono sicuro che permetta nuovamente di montare i convogliatori stock dell'HP sulle memorie etc. - la Noctua è sinonimo di estrema qualità e prestazioni, non ho voluto affidarmi a soluzioni AIO a liquido, in questo caso: sono più "tradizionalista", ed oltretutto la soluzione stock HP AIO si trova solo (ovviamente) usata e quindi non affidabile per un uso continuativo. Solo in seguito ho scoperto un dissipatore stock "a camera di vapore" sempre HP, sulla carta per un modello successivo al mio: sembra che questo pezzo sia però perfettamente compatibile anche con lo Z420, ad averlo saputo prima avrei potuto farci un pensierino e mantenere la piena compatibilità strutturale e di lettura sensori ventola (vedremo questa come verrà percepita dalla scheda madre, non essendo "di casa").

Il disco rigido Western Digital Red Plus si occuperà di ospitare i backups periodici della macchina, e la capienza da 4TB lascia margine in abbondanza. Avrebbe fatto comodo un alloggiamento misto SSD + HD nel frontale del case, in modo da guadagnare di praticità con eventuali manovre di montaggio e smontaggio, ma purtroppo al momento non ne sono provvisto: monterò quindi tutto internamente, alla fine l'utilizzo è più "accendi e dimentica", senza necessità di troppi interventi fisici sulla workstation.

Il kit powerline Fritz!, da brand, è anch'esso sinonimo di massima qualità e prestazioni. Mi permetterà di far comunicare senza problemi e cali di velocità la macchina, relegata su un alto ripiano dello stanzino, con il router. Questa powerline, al contrario ad esempio dei modelli TP-Link ben più economici, cerca e riconosce attivamente altre periferiche delle stesso tipo montate nel proprio impianto elettrico, senza bisogno di pairing. Questo modello in particolare non ha funzionalità di ripetitore wifi, che non mi interessava, ma offre due porte RJ45 gigabit permettendo così anche di evitare la maggior parte delle volte l'uso di un piccolo switch di rete. Essendo Fritz! anche il mio router, un modello 7590 molto performante, tutto viene riconosciuto e diagnosticato senza problemi e velocemente, con tanto di aggiornamento del firmware relativo del kit.

[Indrid Cold]

Ecco la NVME da 2TB da accostare alla SSD, sempre da 2TB, già presente nel sistema. La NVME sfrutta un adattatore PCI-express. Ho avuto qualche piccolo problema di fissaggio della schedina all'adattatore, dato che la vitina di blocco era troppo corta e cedeva, facendo "scattare" la memoria fuori dalla sicura: ho avvitato il più possibile nuovamente ed assicurato il blocco con una goccia di colla rapida, per sicurezza. Al momento, l'adattatore è montato nello slot al di sopra della GPU. Successivamente, ho avuto conferma della corretta lettura dello storage NVME da sistema operativo, anche se il BIOS di questa workstation non lo vede direttamente, come previsto - niente boot da qui, ovviamente. In questo storage andrà la parte /data del sistema; tutto il resto andrà su SSD. I pads termici fanno spessore, la schedina flette un pò per questo, ma senza particolari problemi.



Altra pasta termoconduttiva Noctua, garanzia di qualità e prestazioni. L'uso di pads termici al posto della pasta di qualità è vivamente sconsigliata: pensavo di applicare pads "premium", dato che praticamente non seccano mai, ma le prestazioni della pasta (soprattutto di marca ottima come Noctua) sono impareggiabili. I pads restano efficaci per mosfet, VRAM, etc. - non per le CPU. Aspetto anche dei piccoli dissipatorini modello Raspberry Pi da mettere proprio sui mosfet nella parte superiore del socket CPU, ma avendo rimontato tutto credo che per ora li terrò da parte. Spero che i convogliatori con ventolina dell'HP assicurino un decente flusso di aria su RAM e questa sezione.



Prova di montaggio del dissipatore a torre Noctua NH-U12S chromax.black: non compatibile con il rimontare nuovamente i convogliatori di flusso d'aria con ventolina dell'HP, ma compatibile a livello di misure e soprattutto di distanza dalle memorie RAM. Il problema purtroppo è un altro, che mi ha convinto a rimontare, dopo averlo pulito per bene ed applicato pasta termoconduttiva di qualità, il dissipatore stock ad aria HP per questa workstation - ecco il problema:



Avevo sottovalutato il problema: maledetti standard proprietari delle grandi case! La prestante ventola del dissipatore Noctua ha connettore 4 pin; la scheda madre HP necessita di quello proprietario a 5 pin, da non poter correggere con adattatori universali, perchè qui il pinout è uno specifico e basta (ad esempio, il cavo adattatore Dell non va bene). Non si trovano cavi adattatori per connettore HP 5 pin, e quindi ho dovuto rimontare il dissipatore stock, dato che il non riconoscimento corretto della ventola da BIOS avrebbe procurato qualche grana, come ad esempio profili velocità sempre al massimo, ventola non riconosciuta e relativo allarme non disattivabile, etc.



Ecco il dissipatore ad aria "di casa", pulito e con ventola con il connettore corretto. Spero un giorno di trovare l'adattatore corretto per sostituirlo, ma per adesso farà il suo lavoro.



Questo è l'adattatore per montare alimentatori aftermarket diversi da quello di casa, più efficienti e silenziosi - ovviamente, anche qui, HP non poteva tirarsi indietro e non infastidirci con un connettore di alimentazione non standard sulla propria scheda madre. Mi è arrivato il modello BeQuiet! Dark Power 11, ma ancora non l'ho montato, colto di sorpresa dal problema del dissipatore Noctua.



La schermata diagnostica da BIOS della workstation. Purtroppo dei 128GB di RAM preventivati da montare, ne ho montati 96GB (16GB*6 banchi in coppie), dato che il seller di eBay si è sbagliato e non aveva la quantità richiesta (avvertendomi per mail solo all'arrivo del pacchetto). Comunque la quantità rimane generosa.

[Indrid Cold]

EVGA PD03 PCoIP Zero Client:

In attesa che arrivi la relativa scheda di interfacciamento Teradici Tera 2240 da montare sulla workstation LLM, mi è stato intanto consegnato il piccolo client by EVGA specifico per questo protocollo di gestione remota:



Questa è la scheda Teradici Tera PCoIP, ancora in viaggio:



Non conoscevo questo protocollo, mi ci sono imbattuto per caso e voglio provare a sfruttarlo per il mio progetto, per il quale mostra sulla carta di avere eccellenti potenzialità di controllo remoto - la scheda di interfacciamento si occuperà di redirezionare l'output video della GPU remota (la workstation funzionerà in maniera headless, ovviamente) per poi "trasmetterlo" via rete ed essere ricevuto e gestito da software specifico, o in modo più rapido da client a basso consumo PCoIP, come nel mio caso, senza essere vincolato all'accensione del PC principale.

Questo particolare thin client è un dispositivo compatto ed efficiente dal punto di vista energetico, progettato per ambienti VDI (Virtual Desktop Infrastructure). Offre un'esperienza desktop completa a partire da un host centralizzato su reti IP standard utilizzando la tecnologia PCoIP (PC over Internet Protocol). Senza GPU integrata e con un design di raffreddamento passivo, funziona silenziosamente e consuma meno di 15 W, il che lo rende ideale per implementazioni con spazio limitato e consumi ridotti.

Le caratteristiche principali includono il supporto per due display DVI-I con risoluzione fino a 1920x1200, 4 porte USB 2.0, audio HD e connettività Gigabit Ethernet. Utilizza il processore PCoIP TERA1100 e include 128 MB di RAM XDR. Il dispositivo è completamente gestibile tramite una console di gestione centralizzata.

Specifiche tecniche:

Processore: Processore PCoIP Zero Client TERA1100 (300 MHz MIPS)
Memoria: 128 MB di RAM XDR a 400 MHz
Uscite display: Due porte DVI-I single-link (risoluzione massima: 1920 x 1200 a 60 Hz per display)
Porte USB: 4 x USB 2.0
Audio: Uscita cuffie/linea stereo da 1/8", ingresso microfono da 1/8"
Networking: Gigabit Ethernet 10/100/1000 Base-T, supporto IPv6
Consumo energetico: Media 12 W, <15 W max
Dimensioni: 129,5 mm x 119,4 mm x 61 mm
Peso: 1,16 kg

Crittografia AES-128-GCM e Salsa-256.