Come usare un chatbot open source (ad esempio Phi-3 Mini) in locale e gratuitamente

Abbiamo trovato un tweet (purtroppo ogni tanto ci tocca usarlo perché c’è ancora tanta, troppa gente interessante lì sopra ma sapete che preferiamo Mastodon) di Paul Couvert che spiega come poter utilizzare il modello Phi-3 Mini di Microsoft gratuitamente sul proprio computer senza conoscenze tecniche particolari né strumenti sofisticati. Il modello Phi-3 Mini è, come detto, di Microsoft ma è anche Open source. Questo metodo vi permette di utilizzare uno strumento aperto senza dover dare i vostri dati a Microsoft né permettergli di allenare la sua AI con i vostri dati.

Ci dispiace che non possiate vedere il tweet se non siete registrati su Twitter, questa nuova brillante idea di Musk è forse una delle peggiori tra le tante brutte che ha avuto, ma cercheremo di riassumervelo il più possibile dandovi gli strumenti adatti per poter utilizzare Phi-3 Mini localmente.

Come usare un chatbot (ad esempio Phi-3 Mini) in locale e gratuitamente

A corredo del primo tweet è presente questa tabella comparativa dei vari modelli.

Si parte da LM Studio

1. Per prima cosa installate LM Studio. È un software completamente gratuito e disponibile per macOS, Windows e Linux. LM Studio ha alcune parti Open source come la versione da linea di comando. Non colleziona comunque dati e si può usare offline (dopo aver scaricato i LLM ovviamente). In alternativa potete dare un occhio a Jan che è invece Open source. Una volta scaricata la versione corretta per il vostro sistema operativo eseguitelo e dunque installatelo sulla vostra macchina.
2. Una volta installato ed eseguito cercate Phi-3 nella pagina principale del programma aperto e poi selezionate microsoft/Phi-3-mini-4k-instruct-gguf per poi, sulla destra, scaricare la versione Q4.
3. Ora iniziamo ad usare Phi-3. Cliccate sulla scheda a sinistra dove c’è il simbolo della chat e poi premete su New Chat. In alto dove c’è scritto “Select a model to load” premete su Phi-3 Mini e potete iniziare a utilizzare il chatbot localmente e completamente gratuitamente.

Tutto qui quindi, in questo caso non avrete bisogno di connessioni internet né dovrete dare il vostro numero di telefono o indirizzo email a qualcuno per poter sfruttare un chatbot.

Ovviamente il nostro esempio riprende il tweet perché considerato, dall’autore, uno dei migliori. Ma ovviamente tramite il programma che vi stiamo consigliando potete utilizzare qualsiasi altro modello disponibile se lo preferite.

Purtroppo su alcuni computer molto vecchi questi modelli potrebbero non funzionare localmente. In quel caso non ci sono molte soluzioni se non quella di utilizzare un chatbot privacy-friendly come quelli che abbiamo elencato in questo nostro articolo.

Questo tag @lealternative serve a inviare automaticamente questo post su Feddit e permettere a chiunque sul fediverso di commentarlo.

Se l'articolo ti è piaciuto puoi parlarne su Feddit. Feddit fa parte del Fediverso, interagisci con Mastodon, Friendica o altre realtà del Fediverso!
In alternativa vieni a trovarci su Le Alternative | Forum!

Unisciti alle comunità