Dal 4 al 6 dicembre 2019 si è svolto in Ateneo un convegno nell’ambito del progetto ERC dal titolo Photonic reservoir computing and information processing in complex network. Abbiamo intervistato Lorenzo Pavesi, direttore del workshop, coordinatore del laboratorio di Nanoscienze e docente del Dipartimento di Fisica dell'Università di Trento, per conoscere quali sono i futuri scenari di ricerca sui temi delle piattaforme ottiche per l’intelligenza artificiale.
Professor Pavesi, può spiegarci cosa sono le piattaforme ottiche per l’intelligenza artificiale?
Per sviluppare un nuovo paradigma di calcolo è necessario sia sviluppare software innovativi sia sviluppare nuovi hardware in grado di ottimizzare le prestazioni del software. Oggi, l’intelligenza artificiale si basa su un hardware, le GPU, il quale è stato sviluppato negli anni passati per migliorare le prestazioni dei videogiochi o dei programmi di grafica. Sono quindi circuiti microelettronici ad alto livello di integrazione che svolgono calcoli matriciali con alta velocità e un grado molto elevato di parallelismo. Tutto questo però a discapito di un consumo elevato di energia dovuto alla necessità di trasferire le enormi quantità di dati necessari all’apprendimento automatico dei sistemi artificiali.
La fotonica, termine che descrive le tecnologie che usano la luce per processare e veicolare i dati, è un’alternativa alla microelettronica come hardware sul quale sviluppare l’intelligenza artificiale. I vantaggi della fotonica sono il basso consumo di potenza, l’alta velocità di calcolo, il basso peso dei circuiti fotonici e la ridotta latenza.
Sono oramai commerciali acceleratori ottici che svolgono operazioni di moltiplicazione matriciale a velocità molto più elevate e su matrici di dimensioni molto più grandi delle controparti microelettroniche. Su questi temi lavorano sia i giganti di internet (IBM, Google, Facebook, …), che start-up innovative come le americane Lightelligence e Luminous Computing, o l’europea LightOn
Un semplice esempio di acceleratore ottico è la proiezione dell’immagine di un oggetto attraverso un mezzo diffusore su di un sensore ottico. La foto risultante (formata da milioni di pixels) non è altro che il prodotto della moltiplicazione tra l’immagine di partenza e la funzione di risposta del diffusore: in un solo passaggio, e con pochissimo consumo di potenza, si effettua una complicata operazione matematica su milioni di elementi contemporaneamente.
Che tipo di ricerche state facendo in quest’ambito al Laboratorio di Nanoscienze?
Da anni ci occupiamo di integrare su chip al silicio circuiti fotonici complessi per applicazioni in settori differenti come le comunicazioni ottiche, l’energetica, la biosensoristica, la computazione quantistica. Recentemente abbiamo iniziato una ricerca che ha come obiettivo la realizzazione di reti neurali fotoniche, ovvero di sistemi di intelligenza artificiale che usano la luce per processare le informazioni.
Si tratta, quindi, di sviluppare sia software ottimizzati che hardware adatti a sfruttare appieno le proprietà della fotonica integrata. Parliamo di fotonica neuromorfica, ovvero ispirata al funzionamento del cervello, che si basa su circuiti fotonici realizzati da sequenze di nodi funzionali (i neuroni) con molteplici interconnessioni (le sinapsi) che emulano i processi cognitivi complessi del cervello. L'aspetto più critico è insegnare ai circuiti fotonici ad apprendere dall’esperienza.
Quali sono le possibili applicazioni pratiche?
Molteplici. Ci occupiamo di memoria, processi di apprendimento, analisi di segnali complessi, predizione di sistemi dinamici, … Per esempio, oggi i dati viaggiano su fibre ottiche. Si vuole chiaramente mandare sempre più dati a sempre più alta velocità, ma effetti ottici nonlineari nelle fibre ne deteriorano la qualità.
Sono quindi necessarie delle stazioni di rigenerazione lungo le fibre per preservare l’integrità delle informazioni. Queste stazioni a microprocessori costano sia in termini di consumi che di rallentamento del traffico. Noi stiamo realizzando un sistema di intelligenza artificiale su piattaforma tutt’ottica che rigenera al volo i dati senza passare attraverso le stazioni di rigenerazione. Siamo alla fase della sperimentazione e se avrà successo, depositeremo un brevetto e procederemo alla sua industrializzazione.
Il suo gruppo di ricerca partecipa a due grossi progetti (PELM e BACKUP) che vedono UniTrento in prima linea. Ce ne può parlare?
Il primo progetto, PELM, è un progetto nazionale coordinato da Trento e che vede coinvolte varie unità nazionali. Abbiamo come obiettivo di sviluppare delle reti neurali estremamente efficienti, chiamate "photonic extreme learning machine", da cui l’acronimo del progetto. Useremo varie tecniche che si basano sia su sistemi ottici integrati, che su materiali a semiconduttore artificiali (nanofili) che su gocce di polimeri o tessuti biologici. In quest’ultimo caso, sviluppato in particolare dalle unità romane del progetto, si ha come obiettivo di monitorare in tempo reale lo sviluppo di cellule cancerogene in tessuti biologici utilizzando l’intelligenza artificiale per seguirne la crescita.
Il secondo progetto, tutto trentino, BACKUP, ha come obiettivo quello di sviluppare un sistema fotonico-biologico, capace di calcolare assieme o, se vogliamo essere più coloriti, di pensare assieme. Sviluppiamo colture di neuroni interfacciate con circuiti fotonici integrati per realizzare reti neurali ibride. Si tratta di un progetto fortemente interdisciplinare che vede coinvolti vari dipartimenti dell’ateneo (Fisica, CIBIO, DISI).
Nel mese di dicembre si è svolto a Trento un convegno nell’ambito del progetto ERC. Qual era lo scopo dell’evento? Di quali temi avete parlato?
Obiettivo del workshop era di fare il punto della situazione e attivare reti di collaborazione internazionali sulle piattaforme ottiche per l’intelligenza artificiale. In particolare, abbiamo parlato delle reti neurali a serbatoio (reservoir computing) che sfruttano strutture ricorrenti operanti in condizioni vicine al caos per ampliare la capacità di rappresentazione delle reti e, quindi, l’efficienza complessiva del sistema.
La fotonica si presta ottimamente a realizzare queste reti. Sono state presentate le diverse reti e confrontate le loro prestazioni. Dalla discussione sono emersi spunti interessanti per attività di ricerca future e ci siamo dati appuntamento per la prossima edizione del workshop, che si terrà in Grecia nel 2020.
Optical platforms for artificial intelligence
An interview with Lorenzo Pavesi
by Marinella Daidone
Works at the Web, social media, video productions office of the University of Trento
From 4 to 6 December 2019 the University hosted an ERC international workshop on Photonic reservoir computing and information processing in complex network. We met with Lorenzo Pavesi, professor of the Department of Physics of the University of Trento, head of the Nanoscience laboratory and director of the workshop, to learn about the future of research in the field of optical platforms for artificial intelligence.
Professor Pavesi, could you tell us about optical platforms for artificial intelligence? What are they?
To develop a new computing paradigm we need to develop both new software and hardware, capable of optimizing the software's performance. Today artificial intelligence is based on GPUs, a hardware that was developed years ago to improve the performance of videogames and computer graphics. We are talking about integrated microelectronic circuits that perform high-speed matrix calculations with a very high degree of parallelism. The downside is that they consume a lot of energy because they need to transfer the huge quantity of data necessary for artificial intelligence systems to learn.
Photonics, a term used to describe technologies that use light to process and transmit data, is an alternative to microelectronics as hardware on which you can develop artificial intelligence systems. It has a number of advantages: low energy consumption, high-speed computing, low-weight photonic circuits and limited latency.
The market now offers optical accelerators that can perform large matrix multiplication much faster than their microelectronic counterparts. Internet giant corporations (IBM, Google, Facebook, etc.) and young start-ups like the US-based Lightelligence and Luminous Computing, or the European LightOn, are working on these technologies.
An example of an optical accelerator is the image projection on an optical sensor of an object through a scattering device. The obtained image, which can be made up of millions of pixels, is the result of the multiplication of all the pixels, which form the original image, by the device response: in this way and in one-step you can perform a complex mathematical operation involving millions of elements simultaneously. And this can be done by consuming very little energy.
What type of studies are you conducting in this research field at the Nanosciences lab?
We have been working for years to integrate complex photonic circuits on silicon chips for various applications, including optical communications, energy production, biosensing, and quantum computing. We have recently started a research project focused on the fabrication of photonic neural networks, that are artificial intelligence systems that use light to process information.
In this work, the goal is to develop both software and hardware capable of making the most of integrated photonics. We call the technology neuromorphic photonics, i.e. a technology inspired by the functioning of the brain, which is based on sequences of single photonic functional nodes (neurons) with multiple interconnections (synapses) that mimic the complex cognitive processes of the brain. The hard part is teaching photonic circuits to learn from experience, i. e. the network training.
What are the possible applications of this technology?
There are multiple applications. We are dealing with memory, learning processes, analysis of complex signals, prediction of dynamic series... For example, internet is based on data exchanged via optical fibers. Nowadays, more and more data are exchanged at ever-increasing speed, but their quality rapidly deteriorates because of non-linear optical effects in the fibers.
That is why we need regeneration stations along the fibers to protect information integrity. These stations, which are based on microprocessors, are expensive in terms of energy consumption and they also slow down traffic. We are creating an artificial intelligence system based on an all-optical platform that regenerates data on the go without using electrical regeneration stations. We are in the test phase and if it will work out well, we will file a patent and continue to the marketing stage.
Your research group is involved in two large projects, PELM and BACKUP, in which UniTrento plays a leading role. Can you tell us something about them?
PELM is a national project coordinated by UniTrento and involving other Italian research units. The goal of the project is to develop high efficiency neural networks, called "photonic extreme learning machine", hence the name of the project. We will use a variety of techniques based on integrated optical systems, artificial semiconducting materials (nanowires), polymer droplets, biological tissues. The Rome-based research groups, in particular, is working on a photonic machine learning systems based on biological tissues, to monitor the development of cancer cells in real time.
The second project, BACKUP, is entirely based in Trentino, and aims to develop a hybrid machine learning system combining biology and photonics that is capable of computing together or, to put it in other words, of thinking together. We are developing in vitro neurons interfaced with integrated photonic circuits to create hybrid neural networks. This is a highly interdisciplinary project involving several departments of our University: Physics, CIBIO, CIMEC and Disi.
An ERC international workshop was held in Trento in December. What was the purpose of the event? What were the subjects discussed?
The purpose of the workshop was to take stock of progress made and to establish international collaborations on optical platforms for artificial intelligence. A specific implementation of machine learning was at the center of attention: the reservoir computing. This kind of neural network uses recurrent systems at the edge of chaos to extend the networks' representation capability and, therefore, the global efficiency of the system.
Photonics is the right instrument to develop these networks. Researchers presented various networks and compared their performance. The discussion provided the opportunity to talk about future research developments and all the participants are planning to meet again in 2020 in Greece, for the next edition of the workshop.
[Traduzione Paola Bonadiman]