Ключевой особенностью Titans является система памяти, позволяющая модели адаптироваться в реальном времени и запоминать необычные паттерны.
Titans использует три типа памяти: краткосрочную для непосредственных зависимостей, долговременную для хранения исторической информации, а также он может забывать неважные данные, сохраняя при этом то, что важно. — аналогично мозгу человека.
Тестирование показало высокую производительность Titans в задачах обработки языка, особенно с длинными последовательностями, и Google намерен предоставить код для обучения и оценки этих моделей, открывая новые возможности для применения LLM в разных сферах.
================
👁 News | 👁 Software | 👁 Hardware