Для запуска полной модели типа чатгопоты 4 или ламы 3.1 дома надо примерно 150 млн рублей, три сервака, набитых пром акселераторами с кучей памяти. Узнал тут.
@3draven llama 3.1 8b запускается на обычных картах, 70b были варианты за разумные деньги с парой б/у тесла p40 (да и на обычной я запускал, при наличии много обычного ram работает со скоростью около токена в секунду), а 405b да, там на коленке не собрать
