Окончательно могу сказать, что все проблемы с навигацией по коду и прочие исчезли после двух вещей. Первая - настроил rust-analyzer и vscode. Вторая - добавил zram+ сжатый раздел для свопа на диске через vdo. Общий размер свопа сейчас 24гб использован, при 16гб оперативы. Swappines тоже подкрутил конечно. Наверное позже еще тюнинг какой устрою, но пока все пашет отлично, иногда есть небольшие задержки, но редкие, все комфортно.