Description
Los grandes modelos de lenguaje (Large Language Models, LLMs) han revolucionado el Procesamiento del Lenguaje Natural proporcionando modelos pre-entrenados que pueden emplearse con excelentes resultados en varias tareas y dominios. En los últimos tiempos, su capacidad para cuanticar el signicado ha impactado también en las neurociencias cognitivas, siendo a la vez una herramienta para medir y predecir la actividad neural en respuesta a estímulos lingüísticos, y un modelo base para testear teorías sobre la naturaleza del procesamiento del lenguaje en el cerebro humano.
En este workshop se repasan algunas de las técnicas y desarrollos más relevantes acerca de la aplicación de modelos de lenguaje (desde word embeddings hasta LLMs) para predecir actividad neurobiológica medida mediante resonancia magnética funcional.
○ Resonancia magnética funcional para evaluar la actividad cerebral. (1.5 hs)
○ Primeros modelos de encoding usando word2Vec: Repaso de Huth et al (2016). Ajuste de modelos y visualización de resultados. (1.5 hs)
○ Representational Similarity Analysis (RSA): Repaso de Abnar et al., (2019). (1.5 hs).
○ Alineando actividades de capa oculta a series temporales. Repaso de principales resultados y ajuste de modelos de voxel único (Caucheteux et al., 2022) (1.5 hs). Requisitos: Contar con laptop con entorno de python instalado (recomandado: Anaconda).
Evaluación. Se entregará un cuestionario de evaluación sobre el nal del día, el mínimo de aprobación será del 60%.
Referencias
Abnar, S., Beinborn, L., Choenni, R., & Zuidema, W. (2019). Blackbox meets blackbox: Representational similarity and stability analysis of neural language models and brains. arXiv preprint arXiv:1906.01539.
Caucheteux, C., & King, J. R. (2022). Brains and algorithms partially converge in natural language processing. Communications biology, 5(1), 134.
Huth, A. G., De Heer, W. A., Griths, T. L., Theunissen, F. E., & Gallant, J. L. (2016). Natural speech reveals the semantic maps that tile human cerebral cortex. Nature, 532(7600), 453-458.
Organizers
Coordinator: Álvaro Cabana
● Facultad de Psicología, Universidad de la República, Uruguay
● almadana@gmail.com, acabana@psico.edu.uy
● Dr. Cabana’s research focuses on the application of machine learning methods to cognitive data. In particular, he has developed word embeddings using non-traditional datasets (such as word association norms), and more recently has correlated neural activity data to the output of transformer-based large language models such as BERT.
Invited professor
Bruno Bianchi
● Laboratorio de Inteligencia Articial y Aplicada, Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires, Argentina
● Dr. Bianchi’s research focuses on the application of Natural Language Processings tools to
neural and cognitive data, especially using large language models to obtain correlates to neural activity. More recently, he is applying encoding models to predict fMRI data, which is the topic of this workshop.