Уже который раз сталкиваюсь с тем, что сервис блокирует посетителей из России, но при этом его боты продолжают кравлить находящиеся в России сайты.
Ситуация "или трусы наденьте, или крестик снимите".
@cybertailor Я, от лица еверопейской компании, и которая работает только на европейский рынок, паршу американский сайт, который пускает только с американским айпишником. Доктор, что мне надеть, а что снять? =)
@di @cybertailor вопрос к специалисту, а ллмки нейронные есть уже для парсинга сайтов? Что бы вычленяли полезное.
@3draven
смотри, чего нашёл, но сам ещё не пробовал
https://github.com/VinciGit00/Scrapegraph-ai/tree/main?tab=readme-ov-file
@di @cybertailor ну идея то на поверхности. Кто то быстро допер :) Буду знать, что такое существует, на случай если надо будет, спасибо.
@3draven
Если често - никогда не интересовался вопросом. Я не помню, чтобы у меня были задачи, когда можно взять приблизительные значения из текста: цена\количество товара, значение переменной в формуле, какя-нибудь цифра из пдф отчёта итд
Из похожего видел другие сценарии, которые, в целом сводяться к базе знаний: ты загружаешь свои уже более или менее чистые данные и просишь их проанализировать со всеми графиками и пр; загружаешь документацию для онбординга новых сотрудников
@cybertailor