System76 представила рабочую станцию Thelio Astra со 128-ядерным Arm-чипом Ampere Altra
Компания System76 анонсировала настольную рабочую станцию Thelio Astra, предназначенную прежде всего для создания ПО для автомобильного сектора. Особенность новинки заключается в использовании процессора с архитектурой Arm. Отмечается, что в большинстве современных автомобилей применяется бортовое оборудование, оснащённое Arm-чипами. Благодаря Thelio Astra разработчики софта для Arm-платформ смогут отказаться от применения эмуляторов, которые необходимы при работе на компьютерах с х86-процессорами. Это ускорит и сделает более удобным создание новых программных продуктов для транспортной отрасли.
Читать далее >>> https://3dnews.ru/1112878
@3dnews вах-вах! Это жеж стенд для запуска llm дома и не за 150млн рублей, а всего то за 400к!
@3draven 128 ядер это ни о чем. пусть хотя бы тысяч 10 сделают...
@burbilog там видяха с 48Гб оперативы.
@3draven rtx 6000 ada и просто так купить можно, зачем армовский обвес? потрахаться с портированием компилятора nvcc?
@burbilog подскажи пожалуйста, а ллмки могут работать распределенно? На нескольких компах запустить.
@3draven вроде как да, но как именно изучать надо, я про это только пару раз на reddit в коммьюнити locallama упоминания видел, самому не на чем экспериментировать
но зачем? в локальном виде 3.1 ты 8b версию на одной видюхе спокойно запустишь, а старшие версии не так чтобы в порядок лучше были. я где-то потыкал в 405b, она меня не впечатлила (может я зажрался после соннета 3.5 конечно, не знаю)
на huggingface можно поиграть с этим бесплатно, там интересный набор моделей есть, в т. ч. 3.2 vision, qwen2.5 и еще несколько
@burbilog я тут выяснил, что армовские снапдрагон элит NPU дают 45топсрв производительности. То есть два таких, работающих в паралель уже бюджетная видяха почти. Вот бы просто платы расширения с NPU стали выпускать на армах. Правда арм с квалкомом посорилась и неясно что там дальше будет.
@3draven NPU нельзя напрямую сравнивать с GPU по TOPS. начнем с того, что TOPS — это теоретическая максимальная производительность, которая редко достигается на практике. опять же, сравнивать напрямую TOPS для разных архитектур, предназначенных для разных типов вычислений, нельзя. высокий показатель TOPS у NPU не гарантирует, что он будет быстрее GPU при выполнении задач, связанных с LLM
потом проблема в паттернах доступа к памяти и пропускная способность. VRAM не просто так отличается от обычного RAM, она заточена под параллельный доступ, более сложный контроллер (кстати, сама VRAM сейчас очень дешевая) и значительно более высокую пропускную способность. NPU же часто ограничены более простыми схемами работы с памятью
ну и имхо главное -- если бы армовцы или квалкомовцы могли бы своими NPU откусить жирнющщий кусок LLM рынка, они бы это уже сделали
я уж не говорю о том, что даже будь в принципе возможен запуск LLM на NPU, пилить софт него уйдут года. вон AMD вроде как делает свои карты, но все ругаются на софт и говорят что хлам и малоюзабельно. а NPU еще и разные, у ARM есть свой, у Qualcomm свой. где эти человеко-века взять?
@3draven LLM требуют постоянного доступа к большим объемам весов модели, размеры моделей и объемы промежуточных вычислений сильно различаются
то есть сам факт, что это инференс, не делает задачи эквивалентными с точки зрения требований к аппаратному обеспечению