L'Eretico. Idee Arte e Pensiero

LE FRONTIERE DELL'INTELLIGENZA [English below]

Intervista a Marcus Hutter, docente alla Australian National University. Ricercatore Eclettico, i suoi studi spaziano dalla fisica delle particelle all'intelligenza artificiale

a cura di Daniele Lanzillo

Professor Hutter, inannazi tutto la ringraziamo sentitamente per aver accettato di rilasciare questa intervista. Un primo sguardo al suo ricco curriculum scientifico e di ricerca mostra che lei ha contribuito ad un gran numero di aree diverse: dalla fisica delle particelle all'intelligenza artificiale, dalla teoria delle decisioni sequenziali a quella del controllo adattativo, e molto altro. Vorrebbe illustrarci la motivazione fondamentale di questo ampio sforzo, e qual à la visione filosofica che unifica il suo approccio?

La maggior parte delle mie attività, eccettuato un "ritiro" industriale durato cinque anni, sono sospinte dal desiderio di creare sistemi dotati di intelligenza di livello comparabile con quella umana, e dal mio sogno di progredire verso una Teoria del Tutto in fisica. La mia motivazione iniziale per quest'ultimo aspetto nasce dal mio desiderio di comprendere il mondo. In seguito sono rimasto affascinato dalla pura eleganza e profondità delle teorie fondamentali in fisica. Durante gli scorsi nove anni, ho dedicato la maggior parte del mio tempo alla soluzione del problema centrale in Intelligenza Artificiale. Qui la mia motivazione originaria, all'età di circa otto anni, era quella di costruire un robot autonomo che mettesse ordine nella mia stanza. Naturalmente questo ha poi ceduto il passo a motivazioni di natura più prettamente intellettuale, filosofica, socioeconomica.

Si considera più un fisico, un matematico, un informatico teorico, una combinazione di due o più dei suddetti, o qualcos'altro ancora?

Buona domanda. Il mio cuore è per la Fisica, lavoro in un Dipartimento di Informatica Teorica, e mi occupo di Matematica per la maggior parte del tempo. Mi spiego meglio. Non conosco alcunché di più bello e attraente dele teorie fondamentali della fisica: teorie come quella quantistica, del gauge, della relatività, delle stringhe, eccetera, che sono teorie matematiche con un elevatissimo grado di sofisticazione. Inoltre, ho appreso molto durante i miei anni da studente di PhD [corrispondente al nostro dottorato di ricerca, N.d.T.] in fisica particellare. Ho dovuto apprendere più matematica rispetto ad un tipico studente di matematica, seppure in modo esplicitamente meno approfondito e un tantino meno rigoroso. La matematica per me è sempre stata uno strumento per la risoluzione dei problemi, sebbene a volte io sia stato "risucchiato" dalla matematica pura e abbia dovuto ricordare a me stesso di tornare nel mondo reale. Però, mentre il matematico deve essere il più preciso possibile, il fisico deve essere preciso quanto basta. La mia attitudine di base è sostanzialmente quella di un fisico, ma dal momento che la mia ricerca si è spostata sulla intelligenza artificiale (IA), non posso più affermare di essere un fisico. La IA è tradizionalmente un settore dell'informatica teorica, campo nel quale adesso svolgo il mio lavoro.

Vuol dare qualche consiglio, in breve, ai giovani studenti che stanno pensando ad una carriera di ricerca in questi campi scientifici?

In linea generale, consiglio il PhD solo a chi intende dedicare la propria esistenza alla ricerca. Se tutto ciò che cercate è "un lavoro", meglio pensare ad altro. Infatti, se è possibile acquisire una laurea BSc o MSc semplicemente imparando numerose nozioni, un PhD richiede di maturare un profondo livello di conoscenza e comprensione di fenomeni, modelli e schemi argomentativi molto complessi. Se siete brillanti ma non geniali, scegliete un supervisore e un argomento e attenetevi a quello, senza divagare: divenite esperti in un campo ristretto ma globalmente utile, e contribuite al suo progresso. Se rientrate veramente nell'eccellenza assoluta (non ingannatevi comunque: l'aria è molto rarefatta da quelle parti) potete indirizzarvi verso i grandi problemi aperti, mantenendo però un salutare equilibrio tra il fallimento nella risoluzione del grosso problema principale e la soluzione di (sotto)problemi marginali, più semplici. Lavorate a una preparazione di base molto ampia, scavate a fondo nelle zone che appaiono maggiormente promettenti, e non dimenticate di pubblicare di quando in quando un contributo, se avete trovato qualche piccola pepita. E' saggio non aspettarsi di risolvere i grandi problemi di fondo, ma continuare ad usarli per dare coerenza, una meta e un significato di fondo all'intero viaggio. Se avete intenzione di affrontare in tutto o in parte un percorso di studi superiori in fisica teorica, o in matematica con orientamento in fisica teorica, fatelo senz'altro. Al termine troverete le porte spalancate praticamente per qualsiasi cosa possiate desiderare di fare: dalle consulenze al settore bancario, alla ricerca e sviluppo in quasi ogni altro campo. Il percorso inverso è pressoché inconcepibile. Come alternativa, penso che l'intelligenza artificiale e in particolare una delle sue moderne incarnazioni, l'apprendimento automatico, abbia un grandioso futuro. Pensate a tutti gli algoritmi intelligenti utilizzati nei motori di ricerca, nel riconoscimento del parlato, nella computer vision, nei sistemi per le aste automatiche, il filtraggio della posta indesiderata, eccetera. Lo spettro che va dalla teoria dell'apprendimento alle applicazioni di data mining e dai fondamenti della logica ai sistemi di ragionamento automatico è enorme. E' difficile dare una raccomandazione universale, valida per tutti - anche se naturalmente io ho le mie preferenze.

Il campo dell'Intelligenza Artificiale sta vivendo una sorta di "seconda giovinezza", e vorremmo citare anche il suo nome tra i più influenti, assieme con Hopfield, Smolensky e Licata. I nostri lettori più interessati hanno ormai acquisito una certa familiarità con le idee e i problemi dell'approccio simbolico "classico" - vengono subito in mente i nomi di like Newell, Simon, McCarthy, Minsky, Fodor, Putnam e naturalmente John Von Neumann. Ma dove portano le nuove tendenze? Vuole illustrare la sua visione in materia?

In effetti si è verificato un cambio di paradigma: dai sistemi di ragionamento deduttivo basati sulla conoscenza simbolica agli algoritmi che apprendono in modo autonomo, a partire da dati non strutturati. L'appredimento bayesiano è centrale oggigiorno. E' interessante notare che, sebbene la regola di Bayes sia stata concepita circa 250 anni or sono e costituisca di fatto la modalità preferenziale di ragionamento induttivo per i filosofi che se ne occupano, essa ha acquisito credito e diffusione in IA solo negli ultimi due decenni. Come ebbe a dire Niels Bohr, fare previsioni è molto difficile, in special modo quando riguardano il futuro. Con questa avvertenza, ecco le mie previsioni: l'apprendimento con rinforzo uscirà lentamente dalla sua infanzia, dagli utilizzi sporadici nei giochi e nella robotica ad un ben più ampio spettro di applicazioni. La teoria dell'informazione risulterà sempre più importante e necessaria per gestire le enormi quantità di dati che devono essere elaborate. Naturalmente, è plausibile anche che l'approccio neurale/cognitivo vincerà la gara. Dopotutto, la natura ha spesso (ma non sempre) fornito con successo esempi e modelli di regole su cui basare le invenzioni tecnologiche. Da un punto di vista applicativo, il prossimo exploit potrebbe essere nel riconoscimento del parlato, seguito dalla visione artificiale. Inoltre, la ricerca sperimentale effettuata tramite il calcolatore e la IA - anche in campo matematico - raggiungerà livelli crescenti di sofisticazione e sarà utilizzata sempre più ampiamente. Per dirla con Ray Kurzweil: la singolarità (tecnologica) è vicina.

Una questione importante (e ancora aperta) in IA e filosofia della matematica suona più o meno cosà: "Le macchine dotate di intelligenza artificiale possono sostituire i matematici creativi ?". Negli anni Ottanta del secolo scorso, autori di grande successo come Douglas Hofstadter e Roger Penrose hanno inteso fornire due buone (e antitetiche) risposte, sebbene ancor oggi non abbiamo una definizione soddisfacente di "intelligenza" o di "creatività " in generale. I nostri lettori con buone inclinazioni filosofiche amerebbero conoscere un suo parere dettagliato al riguardo.

L'argomentazione di Penrose, che di fatto ricalca quella di John Lucas e la estende in due volumi, è una delle più interessanti obiezioni al programma della "IA forte", e tutti dovrebbero leggerla e comprenderla. Ma naturalmente è errata, come ogni altra obiezione alla IA presentata ad oggi. Personalmente ancora non capisco appieno come mai uno dei fisici più importanti, con una solidissima preparazione matematica, ricorra ad una argomentazione così prolissa anziché sedersi e procedere nel modo più giusto, cioé in maniera puramente formale. Quando ho letto i suoi libri (con vivo entusiasmo), avevo sviluppato una prova rigorosa del perché la sua argomentazione non è accettabile. All'epoca non mi venne in mente che avrei potuto o dovuto pubblicarla: in ogni caso, esistono altre confutazioni all'argomentazione di Penrose. Una tra le più semplici, non necessariamente la più convincente o la migliore, ma che coglie appieno l'essenza del problema è la seguente: Si consideri la frase "Penrose non è in grado di asserire in modo consistente che la presente proposizione è vera". Naturalmente noi siamo in grado di asserire che questa frase è vera, ma Penrose non può saperlo. Se si presume il contrario, si giunge ad una contraddizione. Pertanto io, e voi, siamo più intelligenti di Penrose per quanto riguarda la proposizione considerata. Ora, se questa argomentazione vi suona fallace e artificiosa, allora per il medesimo motivo l'argomentazione di Penrose contro la IA forte è sbagliata. Se, al contrario, la trovate buona e corretta, ne sono molto lusingato...

Ci capita sovente di ricevere lettere ed email di lettori che hanno incontrato nella divulgazione espressioni come "Predizione Universale di Solomonoff" e iniziano a domandare come mai questa "sfera magica" non venga utilizzata universalmente per le previsioni del tempo atmosferico, i mercati azionari o il lotto! Potrebbe spiegare, in termini elementari, a cosa si riferisce esattamente il lavoro di Ray Solomonoff sulla predizione, con particolare riguardo ai limiti applicativi, alla calcolabilità e alle conseguenze filosofiche (ad esempio riguardo al determinismo)?

La teoria di Solomonoff può essere considerata la regola aurea per la previsione. Grossolanamente, si può riassumere come segue: si consideri un qualsiasi predittore matematico e la relativa applicazione. Il predittore di Solomonoff farà il medesimo lavoro quasi altrettanto bene. In teoria non vi sarebbe neppure bisogno di fare ricorso ad altri predittori, o di inventarne di nuovi. Questo naturalmente non significa che diventeremo ricchi con lotto e lotterie utilizzando Solomonoff, semplicemente perché nessun metodo può funzionare con tali estrazioni. La teoria può essere utilizzata per prevedere dati futuri in una distribuzione probabilistica che è "per natura" prevedibile, ma un processo puramente casuale come il lotto è per definizione impredicibile. Peraltro, il predittore di Solomonoff sfortunatamente non è computabile, pertanto non può essere utilizzato in modo immediato. Occorre approssimarlo, il che non è affatto semplice.

Ancora su Solomonoff: sarebbe cosà gentile da illustrare i suoi principali risultati inerenti lo schema predittivo universale delle sequenze di Solomonoff?

Ray Solomonoff ha ideato la teoria della predizione universale negli anni Sessanta e ha dimostrato il suo principale teorema di convergenza nel 1978, ma sostanzialmente non ha lavorato oltre in questa direzione. Altri autori non hanno riconosciuto il potenziale di queste idee, anche perché erano in contrasto con la visione della IA che andava per la maggiore all'epoca. Non era il momento giusto. Ciò che io ho fatto è stato raccogliere i più importanti problemi statistici e filosofici inerenti la predizione nelle serie temporali e l'inferenza induttiva, e mostrare che lo schema universale di S. risolve questi problemi. Inoltre, ho esteso lo schema ad un agente razionale universale di apprendimento con rinforzo, che ho chiamato AIXI, e ciò costituisce la prima teoria corretta e completa sull'Intelligenza Artificiale, che può anche servire come fondamento matematico della IA stessa. Il mio lavoro con il dottor Shane Legg in "Minds and Machines", 17:4 (2007) 391-444 fornisce una introduzione divulgativa, non matematica alla questione. E' disponibile anche in versione online, liberamente consultabile, all'URL http://www.hutter1.net/ai/iorx.pdf

Vuole esporre i concetti principali su cui è basato il suo "Algoritmo più breve e più veloce per tutti i problemi ben definiti" e le sue conseguenze per l'informatica teorica?

Nello sforzo di trovare un'approssimazione computazionale per AIXI, mi è venuta quest'idea curiosa. I miei colleghi mi hanno persuaso a formalizzarla e pubblicarla. In sostanza, un meta-algoritmo genera un elenco di tutti i programmi che sono in grado di risolvere il problema in esame, e aggiunge una stima del tempo d'esecuzione per ciascun programma. In parallelo, il risolutore più efficiente attualmente incluso in lista viene eseguito. Ci sono alcune sottigliezze, ma niente di troppo profondo. E' più un trucco da prestigiatore che un vero progresso nella teoria algoritmica e della complessità computazionale. Ma può insegnarci qualcosa, ed è molto popolare tra i miei colleghi (a chi non piace la magia, dopotutto?!). L'aspetto forse più importante è che la diffusa notazione di complessità big-O e il relativo metodo per la ricerca di algoritmi idonei vanno in crisi se forzati alle estreme conseguenze.

In qualità di fisico e informatico teorico, sembrerebbe naturale la sua predestinazione a lavorare nell'area dei calcolatori quantistici. Come mai non ha scelto tale percorso?

Il quantum computing è un'area di ricerca molto stimolante. I computer quantistici, su larga scala, sarebbero un buon modo per continuare a crescere secondo la legge empirica di Moore ancora per molti decenni. Inoltre, in IA abbiamo bisogno di calcolatori veloci e potenti, quantistici o meno che siano. Per il momento ho però deciso di concentrare i miei sforzi nello studio e nella formalizzazione di cosa sia realmente l'intelligenza artificiale. Questo richiede un tipo di ragionamento astratto che mi si attaglia molto bene.

Lei si è occupato a più riprese del ben noto problema del millennio "P vs NP" inerente le principali classi di complessità algoritmica e la loro relazione, al momento incognita. Che opinione si è fatto in merito ?

Ho un forte interesse latente per questo problema, ma di fatto non ci lavoro direttamente. Lo considero il più importante problema ad oggi aperto in matematica (o in informatica teorica, se si preferisce). A volte sono stato tentato di divenire un teorico della complessità computazionale, ma poi ho scommesso diversamente: il problema matematico P vs NP rischia di essere notevolmente più difficile del problema informale centrale in IA. Se qualcuno risolve il primo, lo farà plausibilmente con una dimostrazione che P non coincide con NP. In tal caso, la soluzione salirà agli onori delle cronache per qualche tempo, ma poi nella vita e nella scienza tutto continuerà come prima - un po' come è avvenuto con la dimostrazione dell'Ultimo Teorema di Fermat da parte di Andy Wiles. Dall'altro lato, la IA cambierà in modo radicale la nostra società, più della rivoluzione industriale due secoli fa, del computer nel secolo scorso, e di internet in questo secolo.

Segue l'originale inglese dal quale è stata tradotta e in parte adattata

LE FRONTIERE DELL'INTELLIGENZA

Professor Hutter, thank you very much for accepting this interview. A first glance at your rich scientific and research curriculum reveals that you have contributed to a number of different areas: from Particle Physics to Artificial Intelligence, from sequential decision theory to adaptive control theory, and much more. Would you like to illustrate the main motivation behind this broad effort, and the philosophical view under which your work is unified?

Most of my activities, except for a 5-year industry "drop-out", are driven by the desire to create systems with human-level intelligence, and my dream of getting closer to a theory of everything for physics. My original motivation in the latter arose from my desire to understand the world. Later I was fascinated by the sheer elegance and depths of the fundamental theories in physics. The last 9 years I have devoted most of my time to solving the grand AI problem. My original motivation, at age 8 or so was to build a robot which would tidy up my room. This has of course given way to more intellectual, philosophical, economic, and social motivations. My daily work is much less grandiose. I identify an open question which I believe is necessary to address in order to get closer to the grand goals, and then try to solve it. In this endeavor I necessarily have to touch many fields.

I think we should also deal with a couple of typical questions in this kind of interview:Do you consider yourself more of a physicist, a mathematician, a computer scientist, a combination of two or more of the above, or something else?

Good question. My heart is in physics, I work in a computer science department, and do math most of the time. Let me explain. I know nothing more beautiful than the fundamental theories in physics: quantum theory, gauge theory, relativity theory, string theory, etc, which are highly sophisticated mathematical theories. I've also learned a lot from my years as a particle physics PhD student. I had to acquire more math than a typical math student, admittedly less deep and a bit sloppy. Math for me was always primarily a tool for solving problems, although I sometimes got sucked into math as an end in itself and had to remind myself to return to the real world. While a mathematician must be as precise as possible, a physicist need only be as precise as necessary. My attitude is much more that of a physicist, but since my research moved to AI, I can't claim to be one anymore. AI is traditionally a subfield of computer science, which I am now in.

What is your brief advice to young students thinking about a research career in these fields?

Generally, only do a PhD if you want to live the life of a researcher. If you are just looking for a "job", do something else. While you may get a BSc or MSc by just knowing a lot of facts, a PhD requires that you deeply understand complex phenomena or models or argumentation patterns.

If you're bright but not stellar, choose a supervisor and topic, stick to it, do not ramble, become an expert in a narrow but useful field and advance it. If your're ultra smart (don't fool yourself, the air is thin up there) go for the big problems, but keep a healthy balance between failing on the grand problems and solving easierperipheral problems. Get a broad background, dig deeper in some corners that look promising, and on your way publish some papers if you have found a small nugget. Don't expect to solve the grand goals, but use them to give your journey focus and significance. If you contemplate doing a BSc|MSc|PhD in theoretical physics, or math with minors in physics, do it. Afterwards all doors are open to you to whatever you may want to do: From consulting to banking to doing research or development in any other field. I have never seen the reverse career. Otherwise, I think AI and one of its modern incarnations, machine learning, has a great future. Look at all the smart algorithms used in internet search engines, speech recognition, computer vision, automatic auctioning systems, spam filtering, etc. The range from learning theory to applied data mining and from foundations of logic to automated reasoning systems is huge. It's hard to give a blanket recommendation for what to choose. Of course I have my favorites.

Artificial Intelligence is a field that is now experiencing a sort of "second youth", and I would like to cite your name as one of the most influential, together with Hopfield, Smolensky, Licata. Most of our readers are now generally aware of the ideas and the problems behind the "classical" symbolic approach - names like Newell, Simon, McCarthy, Minsky, Fodor, Putnam and of course John Von Neumann come immediately to mind. But where are the new trends leading ? Would you please illustrate your vision regarding this topic?

Indeed, there has been a paradigm shift from knowledge-based deductive reasoning systems to algorithms that learn by themselves from unstructured data. Bayesian learning is big nowadays. Interestingly, although Bayes rule is already nearly 250 years old and the preferred mode of inductive reasoning among philosophers, only in the last two decades has Bayesian inference become popular in AI. It's hard to make predictions, especially about the future, as Niels Bohr says. Given this disclaimer, here are my predictions: Reinforcement learning will slowly grow out of its infancy from incidental applications in games and robotics to soon covering a wide range of applications. Information theory will become increasingly important to cope with the large amount of data that needs to be processed. Of course it is also plausible that the neural/cognitive approach will win the race. After all, nature has often (but not always) successfully served as a useful role model in technological inventions. Application-wise, the next breakthrough should be in speech recognition and then computer vision. Also, computer/AI-driven experimental research, even in mathematics, will become increasingly sophisticated and is being used more and more. As Ray Kurzweil says: the [technological] singularity is near.

An important (and still open) topic of AI and philosophy of mathematics can be stated as "Can artificial intelligence machines replace creative mathematicians ?". Back in the 80's, best selling authors like Hofstadter and Penrose seemed to have two good (and opposite) answers, even if we don't yet have a satisfactory definition of "intelligence" nor for "creativity" in general. Our philosophically inclined readers would love to hear your detailed opinion regarding this topic.

Penrose's argument, which is actually John Lucas' argument, rolled out in two books, is one of the more interesting objections to strong AI, and everyone should read and understand it, but it's of course wrong, like all other objections to AI so far. I still don't really understand why one of the greatest physicists, well-trained in math, produces such a verbose argument, rather than sitting down and doing it properly, i.e. formalizing it. When I read his books (with enthusiasm), I developed a rigorous formal proof for why Penrose is wrong. At that time it didn't occur to me I could or should publish it. In any case, there are other refutations of Penrose. One of the simplest ones, not necessarily the most convincing or best, but definitely one that hits the core problem is this: Consider the following sentence: "Penrose cannot consistently assert that this sentence is true" Obviously *we* can see that this sentence must be true, but Penrose cannot know this. Simply assume the opposites and you arrive at contradictions. So you and I outsmart Penrose for that sentence. If you think this argument is bogus, then by the same reason, Penrose's argument against AI is bogus. If you think it's correct, I feel really good.

We use to receive a relevant number of emails from readers who tumbled into expressions like "Solomonoff's Universal Prediction" and started wondering why this kind of "magic" isn't universally used for weather forecasts, stock markets, or even bingo ! Would you care to explain in an elementary form what exactly Ray Solomonoff's work on prediction is all about, with particular regard to its application limits, computability and philosophical consequences (i.e. on determinism)?

Solomonoff's theory can be regarded as a gold standard for prediction. Roughly you can say the following: Pick any predictor and any application, Solomonoff will do the job nearly as well. In theory there is no need to resort to or invent other predictors. This does of course not mean that you will become rich in bingo using Solomonoff, since *no* strategy works for bingo. His theory can be used to predict something that is "by nature" predictable, but a pure random process like bingo is, by definition, unpredictable. Unfortunately Solomonoff's predictor is incomputable, so cannot readily be used. It needs to be approximated, which is not easy. A couple of slightly more technical questions. Would you briefly illustrate your main results regarding Solomonoff's universal sequence prediction scheme?

Still on Solomonoff: Would you briefly illustrate your main results regarding Solomonoff's universal sequence prediction scheme ?

Solomonoff invented universal prediction in the 1960s and proved his major convergence theorem in 1978, but essentially didn't investigate it any further. Others didn't realize its potential, since it was at odds with mainstream AI in those days. The time was not ripe. What I did was to take stock of the most important statistical and philosophical problems around time-series forecasting and inductive inference, and showed that his universal scheme solves these problems. Furthermore, I extended his scheme to a universal rational reinforcement learning agent, coined AIXI, which is the first sound and complete theory of AI and which can serve as a mathematical foundation of AI. My paper with Dr. Shane Legg in Minds and Machines, 17:4 (2007) 391-444 gives a gentle non-mathematical introduction.

Would you like to expose the main concepts behind your "Fastest and shortest algorithm for all well-defined problems" and its consequences on computational science?

In an effort to find a computational approximation of AIXI, I came up with this curious idea. Colleagues convinced me to write it up and publish it. In essence, a meta-algorithm generates a list of all programs that are able to solve the problem at hand, including a runtime estimate for each program. In parallel, the fastest solver found so far is executed. There are a few subtleties, but nothing deep. It is more a magician's trick than an advance in the theory of algorithms. It can teach us a few lessons though and is quite popular among my colleagues. (Who does not like magic?!). The major lesson is that the popular O()-notation and its corresponding mode of finding algorithms breaks down if pushed to the extreme.

As a physicist and computer scientists, you would be predestined to work in the area of quantum computing. Why didn't you choose this path?

Quantum computing is an exciting research area. Large scale quantum computing would be one way to keep up Moore's law for many many more decades. And we need fast computers, whether quantum or not, in AI. For now I have decided to concentrate on formalizing and studying what machine intelligence is. This requires quite abstract reasoning, which suits me.

You've been involved in studies about the well known P vs NP problem. What is your opinion on this problem? Or however you want to phrase the question.

I have a strong latent interest in this problem, but actually don't work on it. I regard it as the most important open problem to date in math (or in theoretical computer science if you prefer). At times I have been tempted to become a computational complexity theorist, but then I placed my bets: The mathematical P vs NP question may be even harder than the informal grand AI problem. If someone solves the former, it will most likely be a proof that P differs from NP. In this case, the solution will briefly make world-news, and thereafter, science and life goes on as usual, like for Andrew Wiles' proof of Fermat's last theorem. On the other hand, AI will radically change our society, more than the industrial revolution two centuries ago, the computer last century, and the internet this century.