Эра трансформеров, отличие человека от LLM и будущее AI — Михаил Бурцев | Мыслить как ученый #55

Обсуждаем устройство трансформеров и механизм внимания. Как появилась архитектура, на которой построены ChatGPT, Claude и Gemini? Почему предсказание следующего слова оказалось настолько мощной идеей и как оно изменило развитие AI? Говорим о природе интеллекта, различиях между человеком и LLM, а также о том, почему способность предсказывать следующее слово приводит к поведению, которое выглядит разумным.

Разбираем, как трансформеры помогают анализировать ДНК и как такие системы могут использоваться для персонализированной медицины. Говорим о будущем ИИ: почему эпоха масштабирования может подходить к концу, какие ограничения есть у современных моделей и каким может стать следующий этап развития искусственного интеллекта.

▶︎Naukka Talents – платформа для поиска талантов и найма STEM-специалистов в deep-tech и biotech проекты. Подать заявку кандидата: https://postnauka.org/link/nt_scast
▶︎Следите за ПостНаукой на других площадках: https://postnauka.org/link/linktr_scast
▶Курсы от создателей ПостНауки: https://postnauka.org/link/academy_scast
▶Поддержать ПостНауку: https://postnauka.org/link/donate_scast
▶По вопросам партнерства — коммуникационное агентство ПостНаука.Specials: https://postnauka.org/link/letsdance_scast

Тайминги выпуска:

00:00 О чем этот выпуск?
06:16 Как появились современные большие языковые модели
13:20 Тройственный союз: нейросети, символы и эволюция
17:31 Предыстория Attention Is All You Need
22:36 Проблема памяти до появления трансформеров
26:00 Что такое self-attention
32:46 Почему диалог сложнее машинного перевода
38:24 Как появились BERT и GPT
49:11 Создали ли мы искусственный интеллект?
59:11 Могут ли LLM навредить человечеству?
01:06:43 Почему AI делает контент вместо научных прорывов
01:11:58 Главная проблема трансформеров — длинный контекст
01:19:55 Как работает Recurrent Memory Transformer
01:25:29 Зачем LLM контекст на 50 миллионов токенов
01:29:53 Как превратить ДНК в язык для ИИ
01:35:56 Зачем изучать ДНК?
01:40:43 Зачем ИИ читать геном целиком?
01:47:57 Может ли ИИ прочитать весь геном человека?
01:52:26 ИИ против устойчивых бактерий
01:56:04 Без науки нет будущего
02:00:00 Заключение