System76 представила рабочую станцию Thelio Astra со 128-ядерным Arm-чипом Ampere Altra
Компания System76 анонсировала настольную рабочую станцию Thelio Astra, предназначенную прежде всего для создания ПО для автомобильного сектора. Особенность новинки заключается в использовании процессора с архитектурой Arm. Отмечается, что в большинстве современных автомобилей применяется бортовое оборудование, оснащённое Arm-чипами. Благодаря Thelio Astra разработчики софта для Arm-платформ смогут отказаться от применения эмуляторов, которые необходимы при работе на компьютерах с х86-процессорами. Это ускорит и сделает более удобным создание новых программных продуктов для транспортной отрасли.
Читать далее >>> https://3dnews.ru/1112878
@3dnews вах-вах! Это жеж стенд для запуска llm дома и не за 150млн рублей, а всего то за 400к!
@3draven 128 ядер это ни о чем. пусть хотя бы тысяч 10 сделают...
@burbilog там видяха с 48Гб оперативы.
@3draven rtx 6000 ada и просто так купить можно, зачем армовский обвес? потрахаться с портированием компилятора nvcc?
@burbilog подскажи пожалуйста, а ллмки могут работать распределенно? На нескольких компах запустить.
@3draven вроде как да, но как именно изучать надо, я про это только пару раз на reddit в коммьюнити locallama упоминания видел, самому не на чем экспериментировать
но зачем? в локальном виде 3.1 ты 8b версию на одной видюхе спокойно запустишь, а старшие версии не так чтобы в порядок лучше были. я где-то потыкал в 405b, она меня не впечатлила (может я зажрался после соннета 3.5 конечно, не знаю)
на huggingface можно поиграть с этим бесплатно, там интересный набор моделей есть, в т. ч. 3.2 vision, qwen2.5 и еще несколько
