Думаю следующим прорывом будет когда нейронки научат говорить я не знаю. Сейчас когда они сталкиваются с вопросом, который не видели в обучающих материалах хоть в каком то виде, они начинают нести чушь и это просто значит я не знаю. Тогда идешь сам копать. Они экономят кучу времени на ответы хорошо известные, а таких вопросов большинство.
@willpraxis думаю там в каком-то пространстве расстояние между ассоциациями длиннее чем порог. Но это сказать легко, на деле конечно непросто.