Artykuł jest częścią cyklu rozmów Coopernicus z polskimi naukowcami z zagranicznym dorobkiem naukowym.

Jak zaczęła się Pana przygoda z nauką?

Moja przygoda z nauką rozpoczęła się dość wcześnie. Zawsze interesowało mnie, jak działają codzienne przedmioty, rozkładałem na części takie przedmioty jak elektroniczne zabawki czy miksery kuchenne, aby zobaczyć, jak działają od środka. Z wiekiem moje zainteresowania ewoluowały w kierunku programowania i elektroniki, będąc w szkole średniej tworzyłem własne płytki drukowane i pisałem wtyczki do gier. Postanowiłem studiować informatykę, aby zyskać bardziej dogłębnie i ugruntowane zrozumienie, jak działają komputery. Podczas roku praktyk na uniwersytecie pracowałem z komputerami o wysokiej wydajności (HPC) i infrastrukturą serwerową, co pozwoliło mi lepiej zrozumieć skalę potrzebną do napędzania współczesnego świata, a teraz także rewolucji sztucznej inteligencji (AI). Na uniwersytecie odbyłem moduł wprowadzający do AI, który wyjaśniał, jak trenuje się sieci neuronowe od pojedynczego neuronu do wyjątkowo dużych sieci. Wtedy wiedziałem, że chcę dalej to zgłębiać, dlatego zdecydowałem się na doktorat z AI.

Jakie czynniki wpłynęły na Pana decyzję o wyjeździe za granicę? Jakie były największe wyzwania związane z tą decyzją?

Zawsze interesowało mnie życie za granicą, poznawanie nowych kultur i perspektyw, więc złożyłem aplikację na studia w Wielkiej Brytanii. Od tego czasu miałem okazję nawiązać nowe, długotrwałe przyjaźnie i pracować z wspaniałymi opiekunami naukowymi. Miałem szczęście, że mój promotor projektu licencjackiego zachęcił mnie do napisania bardziej badawczej pracy dyplomowej, która koncentrowała się na zastosowaniach komputerów kwantowych w cyberbezpieczeństwie. To sprawiło, że zacząłem poważnie rozważać aplikowanie na studia doktoranckie, ponieważ podobało mi się to doświadczenie badawcze i kultura badawcza w Wielkiej Brytanii. Jestem zadowolony z mojej decyzji, ponieważ teraz mam kompetentny i wspierający zespół nadzorujący, od którego wiele się nauczyłem!

Jeśli chodzi o wyzwania – myślę, że ogólnie rzecz biorąc, wyjazd z domu jest trudny. Byłem daleko od mojego sieci wsparcia, jakie stanowią przyjaciele i rodzina, co było szczególnie trudne na początku, ponieważ nie znałem nikogo. Choć starałem się utrzymywać kontakt z przyjaciółmi w Polsce, musiałem także równoważyć to z nawiązywaniem nowych znajomości. Było to trudne, ponieważ – myślę, że wielu nowych emigrantów może to zrozumieć – używanie drugiego języka na co dzień może być na początku przerażające. Trudno było również oswoić się z różnorodnością akcentów w Wielkiej Brytanii, gdy wciąż przyzwyczajałem się do używania angielskiego jako nowego głównego języka, ale z czasem i doświadczeniem stało się to łatwiejsze. Były także wyzwania praktyczne, takie jak zrozumienie i dostosowanie się do sytuacji mieszkaniowej i lokalnych norm, do których trzeba było się dostosować, na przykład jazda po lewej stronie. Teraz muszę sobie przypominać, że przechodzenie przez ulicę w niedozwolonym miejscu jest nielegalne, kiedy wracam do Polski! Wiedza, że udało mi się przezwyciężyć te wyzwania, daje mi większą pewność co do mojej zdolności do adaptacji w nowych środowiskach i teraz czuję się bardziej komfortowo, gdy rozważam przeprowadzkę do innych krajów. Moja rada dla każdego, kto rozważa taką przeprowadzkę, to być otwartym na zmiany i jak najbardziej przyjmować nową kulturę i doświadczenia!

Jakie korzyści przynosi Panu praca w międzynarodowym środowisku naukowym w porównaniu z pracą w Polsce?

Bardzo lubię różne perspektywy, jakie daje praca w międzynarodowym środowisku. Cieszę się z mieszanki kultur i opinii, które dają mi wgląd w rzeczy, o których sam bym nie pomyślał, wzbogacając mnie zarówno jako osobę, jak i moje badania naukowe. Niestety, nie miałem jeszcze okazji pracować w Polsce, więc nie mogę dokonać porównania, choć mam nadzieję nawiązać więcej współpracy z badaczami, niezależnie od ich narodowości!

Czy utrzymuje Pan kontakt z polskimi środowiskami naukowymi?

Ze względu na studia i doktorat w Wielkiej Brytanii, większość mojej sieci naukowej znajduje się tutaj. Znam jednak innowacyjne prace z polskich środowisk naukowych, w tym w mojej dziedzinie. Czytałem ciekawe badania dotyczące emergentnej komunikacji od polskich badaczy, takie jak analiza wpływu szumu na emergentną komunikację autorstwa Kucińskiego i in. [1] czy nowe sposoby badania języków emergentnych autorstwa Korbaka i in. [2]. Mam nadzieję, że w przyszłości będę mógł bardziej zaangażować się we  współpracę z polską społecznością naukową!

Nad czym Pan obecnie pracuje i jaki jest główny temat Pańskich badań naukowych?

Pracuję w dziedzinie AI, a konkretnie w obszarze zwanym emergentną komunikacją. Dosłownie badam rozwój komunikacji między autonomicznymi agentami AI. Ci agenci są jak gracze w wirtualnym świecie (takim jak gra komputerowa), którzy współpracują przy różnych zadaniach. Uczą się o zadaniu poprzez uczenie się przez wzmocnienie, gdzie otrzymują nagrodę, jeśli dobrze wykonują zadanie, ale nie otrzymują nagrody lub dostają karę, jeśli wykonują je źle. Chociaż ci agenci są autonomiczni i mogą działać niezależnie od siebie, pracują nad osiągnięciem wspólnego celu i dlatego muszą się komunikować. Nie są jednak informowani, co mają mówić lub jak przekazywać informacje, więc muszą sami stworzyć swój własny język od podstaw. Obejmuje to naukę przez agentów, jakie informacje są ważne do przekazania innym i najefektywniejszy sposób ich przekazania. W rezultacie powstały język jest zwykle specyficzny dla środowiska, w którym się znajdowali. Zaletą pozwalania agentom na samodzielne tworzenie języka jest to, że zazwyczaj jest to szybsze niż instruowanie agentów, jak się komunikować, a powstały język jest bardziej efektywny. Oznacza to, że potrzeba mniej wkładu programisty, zwiększając ich efektywność pracy oraz zwiększając efektywność energetyczną AI dzięki bardziej wydajnemu językowi. Moje badania koncentrują się konkretnie na odniesieniach czasowych w emergentnej komunikacji. Odniesienia czasowe to słowa, które opisują względne relacje w czasie, takie jak „przed” lub „po”. Dzięki pojawieniu się takich słów agenci mogą precyzyjniej opisywać obserwowane wydarzenia, co pozwala na lepsze dzielenie się doświadczeniami między nimi.

Jakie są najnowsze osiągnięcia w Pana dziedzinie badań, które szczególnie Pana interesują?

Ogólnie rzecz biorąc, uważam, że tempo postępu w modelach generatywnych AI, takich jak ChatGPT czy DALLE-2, jest fascynujące. Pozwalają one ludziom być bardziej produktywnymi i poprawiają nasze codzienne życie. Na przykład, często korzystam z ChatGPT do pomocy w kodowaniu lub nawet burzy mózgów na temat pomysłów badawczych! Postęp w kierunku AGI (Sztucznej Ogólnej Inteligencji, AI, która mogłaby dorównać lub przewyższyć zdolnościami człowieka w wielu zadaniach) jest również godny uwagi, z wieloma wybitnymi badaczami AI pracującymi nad tym problemem. Chociaż przed nami jeszcze długa droga (szczególnie widząc, ile błędów może popełnić ChatGPT), myślę, że mogę to zobaczyć w swoim życiu.

W emergentnej komunikacji uważam, że droga do większej interpretowalności jest kluczowa. Wiele systemów AI jest traktowanych jak czarne skrzynki, a my mamy bardzo małe pojęcie, jak podejmują decyzje. Możliwość zrozumienia, o czym komunikują się agenci, dałaby nam przynajmniej pewien wgląd w to, co uważają za najważniejsze. To z kolei uczyniłoby AI bezpieczniejszymi, zapewniając, że ich cele są zgodne z naszymi. Uczyniłoby je również bardziej godnymi zaufania i odpowiedzialnymi, ponieważ lepiej wiedzielibyśmy nad jakimi zadaniami pracują i dlaczego. Na przykład, czytałem pracę Uedy i in. [3], gdzie używają narzędzi opracowanych do badania języka ludzkiego lub lingwistyki. Dezintegrują język AI na jego składniki i analizują, jak można je łączyć, aby stworzyć znaczenie. Chociaż jeszcze długa droga przed nami, zanim w pełni zrozumiemy emergentny język, jest to bardzo obiecujący kierunek badań. To jednak bardzo ekscytujące, by móc zastosować wnioski wyciągnięte z języka naturalnego do badania czegoś tak „obcego” jak język stworzony przez AI.

Jakie jest Pana najważniejsze osiągnięcie naukowe lub odkrycie? Dlaczego jest ważne?

Jak dotąd, moim największym osiągnięciem jest pokazanie, jak agenci mogą rozwijać odniesienia czasowe. Niedawno odkryliśmy, że wprowadzenie drobnej zmiany w sposobie działania agentów AI wystarcza, aby nauczyli się oni komunikować o relacjach czasowych. Oznacza to, że umożliwienie agentom komunikowania się o relacjach w czasie jest łatwe do przeniesienia na inne AI. Mogłoby to zwiększyć efektywność komunikacji między agentami – na przykład, autonomiczny pojazd nie musiałby opisywać tego samego skrzyżowania za każdym razem, gdy przez nie przejeżdża, mógłby zamiast tego powiedzieć, że to to samo skrzyżowanie, co wczoraj.

Jakie problemy naukowe w Pana dyscyplinie najbardziej czekają na rozwiązanie i dlaczego?

Jeśli chodzi o ogólnie pojęte AI, jestem bardzo ciekaw, kiedy potężniejsze AI będą zdolne do przewyższenia zdolnościami człowieka. Myślę, że AGI mogłaby znacznie zmienić nasze życie, przyspieszając postęp naukowy we wszystkich dziedzinach, takich jak odkrywanie leków, zrozumienie i leczenie skomplikowanych chorób, czy nawet pomoc w rozwiązaniu problemu zmiany klimatu. Trwa debata na temat tego, jak bezpiecznie kontynuować rozwój w tej dziedzinie, z powodu obaw związanych z zapewnieniem, że AI, inteligentniejsza niż jakikolwiek człowiek, będzie nadal zgodna z wartościami ludzkimi. Nawet pionierzy AI, tacy jak Yann Le Cun czy Yoshua Bengio, nie doszli do konsensusu co do najlepszej drogi naprzód. Wolałbym stanąć po stronie ostrożności i dokładniej ocenić ryzyka związane z AGI, zanim takie AI zostaną opracowane i wprowadzone do rzeczywistego świata. Niemniej jednak jestem podekscytowany tym, co przyniesie przyszłość.

W emergentnej komunikacji uważam, że możliwość pełnego dekodowania emergentnych języków będzie ważnym kamieniem milowym w tej dziedzinie. Ci agenci są sztucznymi konstrukcjami i zupełnie różni od ludzi, więc byłoby to jak automatyczne dekodowanie i zrozumienie obcego języka. Mogłoby to dostarczyć wglądów w to, jak pojęcia językowe, takie jak gramatyka, pojawiły się naturalnie w różnych językach ludzkich, a także poprawić nasze zrozumienie, jak działają same AI.

Jakie są największe wyzwania, przed którymi stoi Pan w swojej pracy naukowej?

Największym wyzwaniem w pracy jest pisanie wyników moich badań. Mam szczęście, że pracuję z opiekunami, którzy udzielają bardzo pomocnych uwag do moich wersji roboczych, i otrzymałem również wnikliwe wskazówki od innych badaczy poprzez zgłaszanie mojej pracy na różne konferencje naukowe. Jednak niezależnie od tego, ile razy poprawiam pracę, zawsze jest miejsce na ulepszenia!

Jakie najważniejsze pytania badawcze planuje Pan rozwiązać w najbliższej przyszłości?

Obecnie pracuję nad stworzeniem sposobu automatycznego tłumaczenia języków emergentnych. Jak już wspomniałem, nie do końca wiemy, jak AI podejmuje swoje decyzje. Ponadto wiele metod używanych do zrozumienia języków emergentnych opiera się na pewnej wiedzy o tym, co widzą w swoim otoczeniu. Mam nadzieję znaleźć sposób na znaczne zmniejszenie lub wyeliminowanie zależności od tej „wewnętrznej” wiedzy i być w stanie przypisać znaczenia do języka agentów bez udziału człowieka.

Czy wyniki Pana badań naukowych mają praktyczne konsekwencje lub potencjalne zastosowania? Jak widzi Pan ich wpływ na społeczeństwo lub gospodarkę?

Wierzę, że szerszy wpływ rozwoju AI będzie dalekosiężny, nawet na obecnym etapie. Nawet obecna generacja generatywnych AI może wpłynąć na rynek pracy, zmieniając zapotrzebowanie na różne zawody, a także pomagając większości pracowników być bardziej efektywnymi poprzez redukcję potrzeby wykonywania powtarzalnych zadań i zwiększenie automatyzacji. Już teraz widzimy początki tego trendu, z powszechnym przyjęciem AI do generowania obrazów, nawet przez tradycyjne media, takie jak Reuters, które używa AI do generowania raportów wideo [4]. W dłuższej perspektywie uważam, że jeśli AI osiągnie poziom ogólnej inteligencji porównywalnej z ludzką (a wygląda na to, że zmierza w tym kierunku), struktury społeczne mogą ulec zmianie. Na przykład, obecne obawy dotyczące naszej zależności od określonych zawodów mogą zredukować się lub zmienić, jeśli AGI będzie w stanie wykonywać te role bardziej efektywnie, co wyeliminuje potrzebę zatrudniania ludzi w tych dziedzinach. Paradoksalnie, zawody, które przewiduje się, że będą najszybciej zautomatyzowane przez AI, to te, które obecnie korzystają z boomu AI, takie jak programiści [5].

W kontekście komunikacji emergentnej, uważam, że rezultatem będzie zwiększona efektywność komunikacji między agentami, a co za tym idzie, zmniejszenie zużycia energii przez firmy lub osoby korzystające z komunikatywnych AI. To z kolei może obniżyć koszty zarówno dla użytkownika, jak i dla planety pod względem emisji dwutlenku węgla. Mam nadzieję, że przy wystarczającym postępie w dziedzinie interpretowalności, ta komunikacja będzie również bardziej zrozumiała dla nas, ludzi. Dałoby to nam najlepsze połączenie, gdzie naturalnie rozwijająca się komunikacja między agentami jest bardziej efektywna i elastyczna niż komunikacja zaprogramowana przez programistów, jednocześnie umożliwiając nam zrozumienie przekazywanych informacji.

Jaką radę udzieliłby Pan młodym naukowcom na początku ich kariery naukowej? 

Najlepsza rada, jaką otrzymałem i którą chciałbym przekazać dalej, to podążanie za swoją pasją. Kariera naukowa wiąże się z wieloma odrzuceniami – nie tylko w odniesieniu do aplikacji o pracę, ale także do zgłoszeń do publikacji swoich prac w czasopismach akademickich i na konferencjach. Każdy, kto chce kontynuować karierę naukową, musi być wytrwały i odporny w obliczu tych wyzwań, a jest to jeszcze trudniejsze, jeśli nie jest się pasjonatem pracy, którą się wykonuje. Z mojego doświadczenia i rozmów z innymi akademikami wynika, że to entuzjazm i zapał do pracy motywują nas do dalszego dążenia do realizacji naszych zainteresowań badawczych podczas studiów doktoranckich i później.

Bibliografia:

[1] L. Kucinski, T. Korbak, P. Kolodziej, and P. Milos, ‘Catalytic Role Of Noise And Necessity Of Inductive Biases In The Emergence Of Compositional Communication’, NeurIPS 2021 

[2] T. Korbak, J. Zubek, and J. Raczaszek-Leonardi, ‘Measuring non-trivial compositionality in emergent communication’, 4th Workshop on Emergent Communication, NeurIPS 2020 

[3] R. Ueda, T. Ishii, and Y. Miyao, ‘On the Word Boundaries of Emergent Languages Based on Harris’s Articulation Scheme’, in ICLR 2023 

[4] https://www.forbes.com/sites/simonchandler/2020/02/07/reuters-uses-ai-to-prototype-first-ever-automated-video-reports/ [5] https://www.forbes.com/sites/forbestechcouncil/2022/02/18/15-jobs-and-tasks-tech-experts-believe-will-be-automated-within-a-decade/?sh=5339d5a4778a

Fot. Unsplash