{"id":489,"date":"2024-08-14T16:36:16","date_gmt":"2024-08-14T16:36:16","guid":{"rendered":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/?page_id=489"},"modified":"2024-09-24T19:03:52","modified_gmt":"2024-09-24T19:03:52","slug":"alineando-modelos-de-lenguaje","status":"publish","type":"page","link":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/alineando-modelos-de-lenguaje\/","title":{"rendered":"Alineando modelos de lenguaje a la actividad neural del cerebro."},"content":{"rendered":"\n

Link al sitio del workshop:<\/strong> https:\/\/almadana.github.io\/alineandoLLMs\/<\/a>

Descripci\u00f3n<\/strong>
Los grandes modelos de lenguaje (Large Language Models, LLMs) han revolucionado el Procesamiento del Lenguaje Natural proporcionando modelos pre-entrenados que pueden emplearse con excelentes resultados en varias tareas y dominios. En los \u00faltimos tiempos, su capacidad para cuanticar el signicado ha impactado tambi\u00e9n en las neurociencias cognitivas, siendo a la vez una herramienta para medir y predecir la actividad neural en respuesta a est\u00edmulos ling\u00fc\u00edsticos, y un modelo base para testear teor\u00edas sobre la naturaleza del procesamiento del lenguaje en el cerebro humano.
En este workshop se repasan algunas de las t\u00e9cnicas y desarrollos m\u00e1s relevantes acerca de la aplicaci\u00f3n de modelos de lenguaje (desde word embeddings hasta LLMs) para predecir actividad neurobiol\u00f3gica medida mediante resonancia magn\u00e9tica funcional.
\u25cb Resonancia magn\u00e9tica funcional para evaluar la actividad cerebral. (1.5 hs)
\u25cb Primeros modelos de encoding usando word2Vec: Repaso de Huth et al (2016). Ajuste de modelos y visualizaci\u00f3n de resultados. (1.5 hs)
\u25cb Representational Similarity Analysis (RSA): Repaso de Abnar et al., (2019). (1.5 hs).
\u25cb Alineando actividades de capa oculta a series temporales. Repaso de principales resultados y ajuste de modelos de voxel \u00fanico (Caucheteux et al., 2022) (1.5 hs). Requisitos: Contar con laptop con entorno de python instalado (recomandado: Anaconda).<\/p>\n\n\n\n


Evaluaci\u00f3n<\/strong>. Se entregar\u00e1 un cuestionario de evaluaci\u00f3n sobre el nal del d\u00eda, el m\u00ednimo de aprobaci\u00f3n ser\u00e1 del 60%.<\/p>\n\n\n\n


Referencias<\/strong>
Abnar, S., Beinborn, L., Choenni, R., & Zuidema, W. (2019). Blackbox meets blackbox: Representational similarity and stability analysis of neural language models and brains. arXiv preprint arXiv:1906.01539.
Caucheteux, C., & King, J. R. (2022). Brains and algorithms partially converge in natural language processing. Communications biology, 5(1), 134.
Huth, A. G., De Heer, W. A., Griths, T. L., Theunissen, F. E., & Gallant, J. L. (2016). Natural speech reveals the semantic maps that tile human cerebral cortex. Nature, 532(7600), 453-458.<\/p>\n\n\n\n

Organizadores<\/strong>
Coordinator: \u00c1lvaro Cabana
\u25cf Facultad de Psicolog\u00eda, Universidad de la Rep\u00fablica, Uruguay
\u25cf almadana@gmail.com, acabana@psico.edu.uy
\u25cf Dr. Cabana\u2019s research focuses on the application of machine learning methods to cognitive data. In particular, he has developed word embeddings using non-traditional datasets (such as word association norms), and more recently has correlated neural activity data to the output of transformer-based large language mod<\/em>els such as BERT.<\/p>\n\n\n\n


Profesor invitado<\/strong>
Bruno Bianchi
\u25cf Laboratorio de Inteligencia Articial y Aplicada, Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires, Argentina
\u25cf Dr. Bianchi\u2019s research focuses on the application of Natural Language Processings tools to
neural and cognitive data, especially using large language models to obtain correlates to neural activity. More recently, he is applying encoding models to predict fMRI data, which is the topic of this workshop.<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

Link al sitio del workshop: https:\/\/almadana.github.io\/alineandoLLMs\/ Descripci\u00f3nLos grandes modelos de lenguaje (Large Language Models, LLMs) han revolucionado el Procesamiento del Lenguaje Natural proporcionando modelos pre-entrenados que pueden emplearse con excelentes resultados en varias tareas y dominios. En los \u00faltimos tiempos, su capacidad para cuanticar el signicado ha impactado tambi\u00e9n en las neurociencias cognitivas, siendo a la vez una herramienta para medir y predecir la actividad neural en respuesta a est\u00edmulos… <\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"layouts\/page-fullwidth.php","meta":{"footnotes":""},"class_list":["post-489","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/wp-json\/wp\/v2\/pages\/489","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/wp-json\/wp\/v2\/comments?post=489"}],"version-history":[{"count":6,"href":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/wp-json\/wp\/v2\/pages\/489\/revisions"}],"predecessor-version":[{"id":528,"href":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/wp-json\/wp\/v2\/pages\/489\/revisions\/528"}],"wp:attachment":[{"href":"https:\/\/www.iberamia.org\/iberamia\/iberamia2024\/wp-json\/wp\/v2\/media?parent=489"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}