@3draven NPU нельзя напрямую сравнивать с GPU по TOPS. начнем с того, что TOPS — это теоретическая максимальная производительность, которая редко достигается на практике. опять же, сравнивать напрямую TOPS для разных архитектур, предназначенных для разных типов вычислений, нельзя. высокий показатель TOPS у NPU не гарантирует, что он будет быстрее GPU при выполнении задач, связанных с LLM

потом проблема в паттернах доступа к памяти и пропускная способность. VRAM не просто так отличается от обычного RAM, она заточена под параллельный доступ, более сложный контроллер (кстати, сама VRAM сейчас очень дешевая) и значительно более высокую пропускную способность. NPU же часто ограничены более простыми схемами работы с памятью

ну и имхо главное -- если бы армовцы или квалкомовцы могли бы своими NPU откусить жирнющщий кусок LLM рынка, они бы это уже сделали

я уж не говорю о том, что даже будь в принципе возможен запуск LLM на NPU, пилить софт него уйдут года. вон AMD вроде как делает свои карты, но все ругаются на софт и говорят что хлам и малоюзабельно. а NPU еще и разные, у ARM есть свой, у Qualcomm свой. где эти человеко-века взять?

@3draven LLM требуют постоянного доступа к большим объемам весов модели, размеры моделей и объемы промежуточных вычислений сильно различаются

то есть сам факт, что это инференс, не делает задачи эквивалентными с точки зрения требований к аппаратному обеспечению