Механизм внимания для обработки данных в глубоких нейронных сетях-трансформерах

Цель семинара — рассмотрение современных архитектур нейронных сетей – трансформеров. В докладе будет представлена математическая модель подобных нейронных сетей, в частности модель внимания, а также проанализированы области применения: от классов задач до конкретных наборов данных.

Наука

В самом начале доклада познакомимся с краткой предысторией возникновения сетей-трансформеров.

В основной части доклада рассмотрим математические модели, которые применяются в трансформерах, а также проведем обзор архитектур сетей-трансформеров. Далее рассмотрим наборы данных и типы задач, в которых активно применяются сети-трансформеры. Сравним архитектуры сетей-трансформеров с другими архитектурами глубоких нейронных сетей на одинаковых наборах данных. 

В заключение будет выдвинута гипотеза о применимости сетей-трансформеров для определенных классов задач и наборов данных.

Спикер: Гаврилов Андрей, магистрант кафедры МОЭВМ СПбГЭТУ "ЛЭТИ"


 

Мероприятие пройдет в zoom. Ссылка на подключение будет автоматически выслана за 1 час до начала события.

Поделиться:

101 день назад
21 июня 19:00–20:30

Событие пройдет онлайн

Уже есть билет
Ссылка на онлайн-событие рассылается за час до его начала.
Получить ссылку

Поделиться:

Есть вопросы?

Напишите нам, и мы обязательно вам ответим. Много интересного уже есть в нашей базе знаний.

Участник Организатор

Связь с организатором

На этот адрес придёт ответ от организатора.

Подпишитесь на рассылку организатора

Возврат билета

Если вы хотите вернуть билеты, вы можете сделать это по ссылке из письма с билетами или оформить запрос организатору в вашем  личном кабинете.

Подробнее о возврате билетов