Questo nuovo ChatBot gratuito funziona anche senza connessione internet

L’evoluzione dell’intelligenza artificiale passa per la possibilità di garantire agli utenti un accesso completo anche offline.

Usare un chatbot senza connessione non significa solo poter sfruttare la potenza dell’AI indipendentemente dalla presenza di rete. Gli utenti puntano a una simile funzione soprattutto per una questione di privacy.

Ormai sempre più utenti sono consapevoli che usando un’AI in cloud ci si espone alla condivisione, più o meno accidentale, di informazioni sensibili sulle proprie abitudini e le proprie intenzioni (DeepSeek è per esempio visto come non sicuro, ma anche ChatGPT è stato accusato di registrare i dati degli utenti e condividerli).

Un chatbot che lavora offline garantisce invece che i dati rimangano sul dispositivo, riducendo al minimo il rischio di esposizione. Ed è un punto importantissimo, specie per chi lavora con dati sensibili. Poi c’è la questione dell’accessibilità…

Ci sono sempre luoghi dove la connessione è instabile o assente. Per esempio sul treno o in metropolitana, oppure in località più remote. Se la connessione è lenta bisogna infatti mettere in conto una latenza spesso fastidiosa nelle risposte. Un’AI che funziona offline garantirebbe invece una velocità massima di risposta.

Ecco perché quasi tutti gli sviluppatori delle società che si occupano di AI stanno lavorando su dei modelli più leggeri e ottimizzati per funzionare direttamente sui dispositivi locali: telefoni, laptop, pc… Ci sono due strategie. La prima è quella di offrire all’utente una LLM (large leanguage model) più snella, che possa lavorare anche senza appoggiarsi alla rete.

Il chatbot che funziona in locale, senza accesso alla rete

Poi c’è la strategia dell’elaborazione edge. Si tratta, in pratica, di poter sfruttare la potenza di smartphone o del computer, per permettere al chatbot di girare localmente, memorizzando le risposte e i dati utili per simulare continuità anche offline.

I chatbot integrati nei dispositivi mobili stanno già da qualche mese offrendo delle funzionalità offline. Si tratta però di modalità di interazione assai limitate, basate su un numero finito di risposte preaddestrate. Aziende open-source come LM Studio e Ollama vogliono invece dar forma a dei modelli linguistici più potenti direttamente su computer, che funzionino anche senza connessione.

Con LM Studio e gli LLM quantizzati è già possibile sfruttare modelli chatbot decenti in modalità offline anche utilizzando un hardware comune. Ed è dunque davvero fattibile pensare a un’intelligenza artificiale locale che non costa nulla, funziona senza connessione e dà all’utente controllo completo sulle proprie interazioni con l’AI. E poi c’è la possibilità di scegliere e personalizzare il modello.

Un modello quantizzato è una versione compressa di un modello linguistico completo che riduce la precisione numerica dei dati mantenendo comunque ottime prestazioni. Inoltre occupa meno memoria e richiede minore potenza di calcolo, rendendolo adatto a laptop e pc non professionali, senza bisogno di GPU avanzate.

LM Studio è un’app desktop molto intuitiva, facile da installare, che permette di scaricare vari modelli linguistici open-source direttamente dall’interfaccia per eseguirli localmente, senza connessione internet. Una volta scaricato il modello, LM Studio crea un server locale che consente di usarlo come se fosse un assistente AI cloud, ma tutto in locale. I requisiti minimi per far girare LM Studio sono una CPU tipo Intel i5/i7 o AMD Ryzen) e 16 GB di RAM consigliati.