Блин. А есть вообще объяснение - почему линейные модели работают?
Почему результат скалярного произведения каких-то закодированных параметров и их, правильно подобранных, весов может иметь какой-то однозначный смысл?
Хотя может и сам себе на этот вопрос ответил...
Ведь в принципе, если у меня уже есть датасет с ответами, то расположив их в этом N+1 мерном пространстве, впринципе можно предложить такую гиперплоскость, уравнение которой аппроксимирует значимую часть этих ответов.
Только вот объяснить бы себе как нам изначально понять, к какой задаче линейная модель может подойти а к какой нет. И можно ли какие-то модели свести к линейным. хммм
@horhik нейронка это механизм аппроксимации и поиска неизвестной многомерной поверхности. В итоге можно найти именно такую поверхность, точка которой содержит ответ. Собственно и все. Там где аналитические модельки строят простенькие но точные поверхности, эта хрень строит неточную и сложную. Я себе это так представляю.
@horhik @3draven ещё не стоит забывать, что параметры модели могут быть не вида x0=x, x1=y, ..., а допустим x0=y, x1=y^2, x2=x, x3=x^2, ..., или допустим тригонометрическое что-то, feature engineering, и уже с этими фичами делать что-то линейное. Вроде это тоже линейная регрессия, по крайней мере, разницы на деле буквально никакой кроме того что нужно считать "производные" фичи, а не напрямую их из данных брать.
@3draven
Ну вот кажись да. Я просто вообще 0 в нейронках и вот сегодня как-то с линейной регрессией пытался разобраться.
В линейном случае получается что это поиск какой-то многомерной плоскости.
Ну да, а вот что б это были какие-то веселые поверхности (брр страшное слово) нужно что-то более сложное