GX10 o ET900N G3: come scegliere la macchina ASUS per l’IA locale?

Per imparare, sviluppare un assistente personale o provare un servizio ben definito, consigliamo di partire dal GX10 da 64 GB se il software e il modello rientrano comodamente nella memoria disponibile. Il GX10 da 128 GB è da valutare quando i modelli crescono, il contesto si allunga o più componenti IA devono coesistere. Controlla quindi le dimensioni dei modelli che desideri usare contemporaneamente. L'ET900N G3 risponde a un'altra categoria di esigenze: memoria GPU HBM3e, capacità coerente molto più elevata, gestione remota e infrastruttura di calcolo.

Queste indicazioni non sono risultati di benchmark. Qui confrontiamo le caratteristiche documentate e le loro implicazioni pratiche. Senza misurazioni sul tuo modello, non possiamo promettere una velocità in token al secondo o un numero preciso di utenti. L'obiettivo è selezionare la categoria di macchina giusta prima di provare una configurazione completa.

Una prima stima parte dai pesi del modello: numero di parametri × bit per peso ÷ 8. Per un modello denso da 32 miliardi di parametri, si tratta di circa 64 GB a 16 bit, 32 GB a 8 bit o 16 GB a 4 bit. Il calcolo usa gigabyte decimali e descrive solo i pesi teorici, senza i metadati di quantizzazione né le allocazioni del motore di esecuzione.

Occorre poi aggiungere la cache KV, che conserva informazioni legate al contesto della conversazione, i buffer usati per il calcolo, il sistema operativo e gli altri servizi. Un contesto più lungo e più conversazioni attive possono aumentare notevolmente l'occupazione. Un file di modello da 32 GB non significa quindi che una macchina da 32 GB sia sufficiente per eseguirlo senza difficoltà.

Lo stesso calcolo applicato a 70 miliardi di parametri dà circa 140 GB a 16 bit o 35 GB a 4 bit per i soli pesi. Mostra perché la quantizzazione cambia il dimensionamento, senza garantire che un determinato modello funzioni bene su un GX10. Bisogna verificare il supporto del formato, la qualità ottenuta e i tempi di risposta: rientrare in memoria è una condizione necessaria, non un verdetto sulle prestazioni.

Ingrandisci

Il GX10 da 64 GB può essere adatto a uno sviluppatore che conosce già il proprio modello, accetta una quantizzazione adeguata e vuole una macchina di lavoro dedicata. Un piccolo assistente interno, un prototipo di ricerca documentale o un ambiente di apprendimento possono rientrare in questa logica. ASUS si rivolge in particolare a modelli da 30 a 35 miliardi di parametri, con possibilità che dipendono dalla precisione e dal contesto.

Il vantaggio è mantenere la piattaforma GB10: CPU Arm a 20 core, GPU Blackwell integrata e larghezza di banda della memoria dichiarata di 273 GB/s. Ridurre la capacità a 64 GB non significa quindi dimezzare automaticamente tutte le prestazioni. Raggiungere il limite della memoria può però imporre un modello più piccolo, un contesto ridotto o una diversa organizzazione del servizio.

Il modello GX10-GG0062BN, identificato anche come 90MS0371-M001Y0, abbina questa memoria a un SSD NVMe PCIe 4.0 da 1 TB. Sceglilo per un'esigenza ben definita, non presumendo di poter aggiungere in seguito un banco di RAM: la memoria unificata di questa piattaforma non è proposta sotto forma di moduli DIMM aggiuntivi.

Il GX10 da 128 GB offre soprattutto più libertà di sperimentare: confrontare modelli più pesanti, conservare più contesto o eseguire un modello generativo insieme a servizi accessori. Per un assistente documentale, questi possono includere un modello di rappresentazione vettoriale (embedding), uno strumento di riordinamento dei risultati (reranker), un indice e i processi che preparano i documenti. Anche i loro requisiti di memoria e calcolo devono essere considerati.

Questa capacità aggiuntiva può evitare di cambiare macchina quando il progetto evolve. Non rende però sistematicamente più veloci le stesse richieste: entrambi i GX10 condividono la famiglia GB10 e la larghezza di banda dichiarata. Se il modello rientra già ampiamente in 64 GB e risponde abbastanza rapidamente, il vantaggio dei 128 GB è soprattutto il margine.

I tre modelli censiti sono GX10-GG0003BN da 1 TB, GX10-GG0026BN da 2 TB e GX10-GG0027BN da 4 TB. Secondo le schede consultate, i primi due usano un SSD PCIe 4.0, il terzo PCIe 5.0. Per un laboratorio che conserva più set di dati e più versioni quantizzate, 2 o 4 TB possono essere più pratici; questa scelta non modifica i 128 GB di memoria per il calcolo.

L'ExpertCenter Pro ET900N G3 combina una CPU NVIDIA Grace a 72 core Arm con una GPU Blackwell Ultra. Il suo pool di memoria coerente da 748 GB comprende 496 GB di LPDDR5X lato CPU e 252 GB di HBM3e lato GPU, collegati tramite NVLink-C2C. Non si tratta quindi di 748 GB di HBM3e. ASUS dichiara rispettivamente 396 GB/s e 7,1 TB/s per le due memorie: la loro collocazione e le loro caratteristiche restano importanti.

Questa architettura merita di essere valutata quando un progetto supera la capacità di un GX10 o sfrutta memoria GPU molto veloce, con software in grado di utilizzare correttamente la piattaforma. Può interessare gruppi di ricerca, sviluppatori di modelli voluminosi o responsabili di un servizio condiviso esigente. Non è automaticamente la scelta migliore per un piccolo assistente usato solo occasionalmente.

Alcune varianti aggiungono una scheda RTX PRO separata. La variante ET900N G3-8T-07, per esempio, include una RTX PRO 6000 Blackwell Max-Q con 96 GB di GDDR7 ECC. Questa memoria non si aggiunge automaticamente al pool GB300 per formare 844 GB uniformi. Occorre identificare il compito della scheda: visualizzazione professionale, un altro carico di calcolo o una pipeline progettata esplicitamente per più GPU. Acquistare questa opzione senza software che la sfrutti può aumentare inutilmente il preventivo.

Ingrandisci

L'inferenza consiste nell'eseguire un modello esistente. Un approccio RAG aggiunge una ricerca documentale per alimentare le risposte del modello: archiviazione, indicizzazione e qualità dei dati diventano così importanti quanto il modello stesso. Un corpus ampio non impone necessariamente un modello generativo molto grande; una buona selezione dei passaggi può essere più utile di un semplice aumento di capacità.

L'adattamento di un modello tramite LoRA o QLoRA e l'addestramento completo richiedono stime separate. Attivazioni, gradienti e stati dell'ottimizzatore possono consumare molta più memoria dei soli pesi necessari per l'inferenza. Un modello che risponde su una macchina non può quindi necessariamente essere addestrato sulla stessa con le medesime impostazioni. Chiedi una verifica del metodo di adattamento, della dimensione del batch e della lunghezza della sequenza.

GX10 ed ET900N si basano su Arm. Verifica le versioni di Python, PyTorch e CUDA, le estensioni native, i motori di inferenza e le immagini dei container effettivamente utilizzati. Un container previsto solo per x86-64 non diventa compatibile perché la macchina possiede una GPU NVIDIA. Il GX10 è annunciato con NVIDIA DGX OS; ASUS documenta Ubuntu e i relativi strumenti NVIDIA per l'ET900N, ma il sistema operativo fornito va confermato per ogni SKU.

Puoi mantenere un portatile Windows o un Mac come computer client e accedere alla workstation tramite la rete. Questo non elimina la verifica del software lato server, ma evita di sostituire l'intero ambiente desktop. Per un servizio che gestisce informazioni riservate, controlla anche le API remote, i download e la telemetria: eseguire il modello localmente non dimostra che l'intera applicazione resti fuori dal cloud.

Ingrandisci

Sul GX10, l'unico slot M.2 richiede di dimensionare l'SSD fin dall'inizio. Conserva spazio per modelli, cache, ambienti e dati temporanei. Un backup esterno resta necessario. Sull'ET900N, le configurazioni censite offrono 4, 6 o 8 TB lordi distribuiti su due, tre o quattro SSD da 2 TB. RAID e formattazione modificano la capacità utile; il mirroring protegge dal guasto di un disco, non da una cancellazione accidentale.

I GX10 dispongono di 10 GbE, Wi-Fi 7 e ConnectX-7. Collegare due macchine per un carico distribuito richiede un motore compatibile e un'organizzazione adeguata: due GX10 da 64 GB non si comportano come un unico GX10 da 128 GB in ogni applicazione. Gli scambi di rete e la suddivisione del modello possono modificare le prestazioni.

L'ET900N aggiunge due porte ConnectX-8 fino a 400 Gb/s ciascuna e una gestione BMC con porta Ethernet dedicata. Questi collegamenti richiedono moduli, cavi e apparati di rete adeguati; alcuni SKU includono moduli QSFP, altri non li menzionano. Il peso dichiarato di circa 27 kg e l'alimentatore da 1.600 W richiedono inoltre di pianificare la collocazione e il raffreddamento della stanza. I 240 W dell'alimentatore GX10 e i 1.600 W del tower sono potenze nominali, non misurazioni di consumo o rumore.

Ingrandisci

Prepara un insieme rappresentativo di richieste con il modello esatto, la sua quantizzazione, il contesto massimo previsto e il numero di conversazioni simultanee. Misura separatamente il caricamento del modello, il tempo prima del primo token e la velocità di generazione. Ripeti con documenti lunghi e un carico prolungato: un buon risultato su una domanda breve non descrive l'intero servizio.

Confronta poi la qualità delle risposte e la memoria rimasta. Se il GX10 da 64 GB soddisfa lo scenario con un margine per il contesto e i servizi accessori, rappresenta un punto di partenza ragionevole in questa gamma. Se il limite è la capacità, il modello da 128 GB diventa pertinente. Se il limite è la velocità di elaborazione, non presumere che raddoppiare la RAM lo risolva: prova un'altra configurazione o un altro motore.

Per l'ET900N, richiedi un preventivo che specifichi SKU, eventuale scheda RTX, sistema operativo, licenze, moduli di rete, archiviazione utile e assistenza. Al costo dell'hardware aggiungi le spese elettriche stimate in base ai consumi misurati, il tempo di amministrazione e i backup. L'offerta commerciale consultata prevede una vendita su progetto soggetta all'approvazione di NVIDIA; condizioni e tempi devono essere confermati prima di pianificare la messa in servizio.

ASUS Ascent GX10 64 GB: a chi si rivolge questa nuova configurazione?

ASUS Ascent GX10 128 GB: una macchina compatta per sviluppare IA in locale

ASUS ExpertCenter Pro ET900N G3: una workstation GB300 per grandi progetti IA

IA locale: ASUS amplia la gamma, dal GX10 da 64 GB alle workstation GB300