Интересно что жизнь человека тоже имеет ограниченное количество токенов контекста как chat gpt
В среднем 5 человек с которыми мы можем постоянно поддерживать связь.. всего 2 человека, в которых мы можем быть влюблены..
Информация которая вываливается за окно контекста забывается и остаётся в какой-то периферийной памяти (облачном датасете)