Уже который раз сталкиваюсь с тем, что сервис блокирует посетителей из России, но при этом его боты продолжают кравлить находящиеся в России сайты.

Ситуация "или трусы наденьте, или крестик снимите".

@cybertailor Я, от лица еверопейской компании, и которая работает только на европейский рынок, паршу американский сайт, который пускает только с американским айпишником. Доктор, что мне надеть, а что снять? =)

@di @cybertailor вопрос к специалисту, а ллмки нейронные есть уже для парсинга сайтов? Что бы вычленяли полезное.