Одна картинка, которую мы видим по разным оценкам от 1 до 8 мегабайт данных в секунду. Там еще куча сенсорики, внутренний мир, мышление, гормональщина, все это информация. Примерно таков контекст с которым мы работаем, в итоге это десятки мегабайт данных только на уровне сознания, а он не первый. В то же время у нейронок нынешних это что то вроде нескольких сотен килобайт контекста. Интересно как все поменяется в ближайшие годы как выдут железки морем ram и npu.
Примерно так можно оценить потенциальный прогресс в этой области в ближайшие годы и его возможную скорость. Есть проблемы, упирающиеся только в размер контекста. Вопрос в том, есть ли за пределами этой группы проблем что то еще. Контекст нейронки нарастят очень быстро, это чисто техническая задача.
