Парсинг объявлений для риэлтора: задержка, постмодерация и за что вы платите SmartAgent

Между моментом появления объекта на источнике и его карточкой в SmartAgent иногда возникает заметная разница: на Авито в карточке стоит «23:31», а в CRM объект пришёл утром в «7:52». На первый взгляд кажется, что парсинг тормозит. На деле есть пара важных нюансов: во-первых, площадки сами по-разному считают «время публикации»; во-вторых, в SmartAgent есть два канала получения объектов — сырая лента Турбо-мониторинга (до 1 минуты) и доска объявлений с очищенными данными (до 3 минут после реальной публикации). Разберём по полочкам, как устроен парсинг 100+ источников, чем эти два канала отличаются, как восстанавливаются давно висящие объекты — и за что агентство платит SmartAgent.

Как устроен парсинг объявлений в SmartAgent

SmartAgent одновременно сканирует более 100 источников — Авито, ЦИАН, ДомКлик, Яндекс.Недвижимость, региональные доски, сообщества во ВКонтакте и Telegram-каналы собственников. Каждый источник опрашивается по своему графику и через свой протокол: где-то официальный API, где-то прямая HTML-обработка, где-то RSS-фид.

Внутри SmartAgent у риэлтора есть два канала получения объектов, и работают они по-разному.

1. Турбо-мониторинг — максимальная скорость, до 1 минуты

Если задача — позвонить собственнику первым, нужен Турбо-мониторинг. Уведомление в Telegram или MAX приходит в течение минуты после того, как объявление появилось на витрине источника. Здесь нет промежуточных проверок: лента идёт сырая, в том виде, как площадка её опубликовала. Это инструмент горячего риэлтора — взяли уведомление, тут же набрали собственника. Турбо-мониторинг настраивается по району, типу объекта, цене, площади и любому полю карточки. Подробнее — в обзоре Турбо-мониторинга.

2. Доска объявлений в CRM — очищенные данные, до 3 минут

Всё, что попадает на доску объявлений и в общий поиск SmartAgent, проходит через ряд процедур обработки. Это занимает примерно до 3 минут от момента появления объекта на источнике — потому что параллельно мы выполняем работу, которую риэлтору иначе пришлось бы делать вручную:

• Поиск дублей по архиву и активной базе — один и тот же объект на пяти площадках сводится в одну карточку.
• Логика определения фейков и подозрительных объявлений (агентские публикации под видом собственника, повторно выкладываемые лоты).
• Объединение и группировка объектов с разных источников по фото, адресу, площади, описанию.
• Скачивание и группировка фотографий — копии хранятся у нас, остаются доступны даже после снятия с источника.
• Анализ принадлежности контакта реальному собственнику — отделяем телефоны посредников от прямых.
• Сцепка с историей предыдущих публикаций — если объект уже когда-то висел, новая карточка цепляется к старой со всей историей цен и фото.

В итоге на доску вы получаете не сырое объявление, а уже готовую к работе карточку: без дублей, с предысторией, с архивом фотографий, с пометкой «новый на рынке» или «возврат старого». Эти 3 минуты обработки заменяют часы ручного сопоставления, которые иначе делал бы сам риэлтор.

Что выбрать — и как пользоваться

Эти два канала не альтернатива друг другу — они работают одновременно. Профессиональный риэлтор настраивает и то, и другое: Турбо-мониторинг — для «горячих» сегментов, где счёт идёт на секунды; доска объявлений — для стратегической работы со всем рынком (история, дубли, аналитика, выгрузки сегментов под клиента). Обновление уже опубликованных объектов (цена, статус, новые фото, изменённый адрес) попадает в CRM в течение 15 минут — массовый опрос каждые 5 секунд по всем активным объявлениям источники просто не выдерживают, поэтому правки в существующих карточках идут более редким циклом.

Это база, от которой работают все ИИ-инструменты CRM: поиск прямого телефона собственника, автоматический подбор объектов под клиента и единый мессенджер для связи с владельцем.

Почему между источником и вашей CRM иногда возникает разница

Бывает, что объект на источнике «вчера в 23:31», а в SmartAgent — «сегодня в 7:52». На первый взгляд — провал парсинга. На практике в 90% случаев причина не в скорости сканера, а в том, как сами площадки публикуют и переиздают объявления.

1. Постмодерация — объявление выходит «задним числом»

Авито, ЦИАН и другие площадки показывают в карточке время, когда продавец нажал «Подать объявление». Но публично объявление становится видимым только после прохождения модерации — это может занимать от нескольких минут до нескольких часов в зависимости от категории, региона и нагрузки модераторов.

Что это значит для парсера: когда продавец нажал «Опубликовать» в 23:31, объекта на витрине ещё не было. Парсер не мог его увидеть — там физически ничего не лежало. Когда модерация пропустила объявление утром в 7:50, SmartAgent забрал его в течение минуты после появления на витрине. Время «23:31» в карточке — момент создания, а не момент публикации.

2. Объект публикуется и сразу пропадает

Свежий объект на источнике часто живёт первые минуты в режиме «черновика на витрине»: появляется, затем уходит на повторную модерацию, прячется на проверку фото или ограничивается продавцом. Если ваш Турбо-мониторинг словил такой объект, а потом источник его убрал — в CRM он будет с пометкой «снято». Это не баг парсинга, это поведение площадки.

3. Цена и адрес меняются между показами

Площадки разрешают продавцу редактировать карточку после публикации. Парсер забирает то, что лежит на источнике в момент опроса. Если продавец поменял цену с 5,9 на 5,4 млн через час после публикации, у вас в CRM при следующем цикле обновится цена. SmartAgent сохраняет историю изменений — видно, что цена снизилась, и это сигнал для торга.

То же с адресом: на площадках разрешено указывать дом и подъезд скрытно, а в публичной выдаче показывать только улицу. Парсер берёт публично доступные данные. Точный адрес и контакт собственника достаются позже — через базу собственников и проверку дублей.

4. Контакт собственника вместо номера

На некоторых источниках телефон выдаётся через защиту от роботов: вместо номера риэлтор видит ссылку «показать телефон», а контакт открывается через клик в браузере. Это не ошибка SmartAgent — так устроена сама площадка. CRM подставляет ссылку источника, чтобы вы не теряли возможность связи. Часть телефонов подтягивается из расширения SmartVision при поиске на Авито, ЦИАН и других площадках.

5. Полный обход всех объектов идёт суточным циклом

Помимо быстрого опроса горячих очередей, SmartAgent раз в сутки делает полный обход всей активной базы — нужно перепроверить старые объекты на изменения, снятия и редактирование. Норматив — раз в сутки, на практике для отдельных категорий и регионов цикл занимает до трёх суток. Поэтому редактирование цены и адреса в карточке старого объекта (которому неделя) подтягивается медленнее, чем правка свежего: свежий обновляется в 15-минутном цикле, давний — в суточном.

6. Снятые с источника объекты держатся в CRM ещё 7–12 дней

Если объект пропал с источника — SmartAgent не удаляет его сразу. Объявление остаётся в CRM с пометкой «снято с источника» ещё 7–12 дней. Зачем: собственник часто снимает объявление на короткую пересборку (сменить фото, перевыложить, выждать модерацию) и возвращает обратно. Если бы мы удаляли мгновенно, риэлтор каждый раз начинал бы работу заново, а история звонков и заметок терялась. За время «карантина» объект либо возвращается на источнике — и мы цепляем его обратно, либо окончательно снимается из CRM.

7. «Новый» объект на витрине, а на деле висит давно — кейс восстановления

Самый частый кейс на вебинарах: объект появляется на Авито, ЦИАН или другой площадке как «новое объявление», и риэлтор бросается звонить собственнику. А на деле этот объект продаётся или сдаётся уже несколько месяцев — собственник снял его на паузу и переподал заново, чтобы поднять в выдаче. Площадке выгодно показать его как «свежий»: так больше просмотров и быстрее закроется сделка.

В большинстве таких случаев объект уже есть у вас в SmartAgent — либо на доске (если перевыложили в течение 7–12 дней «карантина»), либо в архиве (если пауза была дольше). Когда источник возвращает объявление как «новое», CRM восстанавливает карточку из архива и связывает её со старой историей. Вы видите, что объект уже сдавался полгода или год назад за другую цену, что фото те же или подновлённые, что собственник тот же. Это сразу даёт козырь в разговоре с владельцем: «Объект висит у вас в продаже с прошлой осени, цена уходит — давайте поговорим о реальной».

Как идёт постепенная синхронизация восстановленного объекта. Когда CRM поднимает карточку из архива, она сначала показывает сохранённое состояние — последнюю цену, описание и фото из момента, когда объект уходил с источника. Это происходит мгновенно. Дальше в ближайших циклах обновления подтягиваются актуальные поля с площадки: новая цена (если её подняли или опустили при перевыпуске), новое описание, новые или подретушированные фото, новый телефон, если собственник сменил номер. Цель агрегатора в этот момент — быстро вернуть объект в выдачу, поэтому свежие поля приходят отдельной итерацией, не в первой секунде. Это нормальное поведение, не баг: 5–15 минут — и карточка в CRM полностью соответствует тому, что лежит на источнике прямо сейчас, но при этом старая история остаётся параллельно — её не «перетирает» новая версия.

Что это даёт риэлтору на практике:

• До звонка вы видите, сколько раз и под какими ценами объект выходил на рынок раньше.
• Сравниваете старые фото и текущие — понимаете, был ли ремонт, поменялась ли мебель, тот же ли это собственник.
• Знаете, у каких ещё агентств объект уже был в работе (по истории дублей с других площадок).
• Не тратите 20 минут на «здравствуйте, есть свежий объект» — заходите сразу с конкретикой по истории объявления.

У конкурентов, которые работают только напрямую с площадками, эта история физически недоступна: на самом Авито или ЦИАН после перевыпуска карточка считается новой, прошлые публикации не отображаются. SmartAgent эту память хранит.

Сколько времени реально нужно SmartAgent

Если объект уже виден на источнике, в подавляющем большинстве случаев он попадает в CRM в течение минуты. Если объект «появился задним числом» — то есть прошёл модерацию через несколько часов — от момента реального появления на витрине до CRM проходит та же минута. Сравнивать нужно с моментом, когда объект стал виден на источнике, а не с моментом, когда продавец нажал «Опубликовать».

Если разница больше 30 минут и объект точно виден на источнике — это сигнал в поддержку с ID объекта. Каждый такой случай мы разбираем: добавляем источник в горячую очередь, чиним сценарий парсинга, пересобираем модуль. По итогам разбора задержка по источнику снижается у всех клиентов.

Прямая работа с площадками + SmartAgent: не альтернатива, а связка

Работать напрямую с Авито, ЦИАН и другими источниками — нормально и нужно. У прямой работы есть свои сильные стороны, и они никуда не деваются с подключением CRM:

• Данные в реальном времени. Открыли карточку на источнике — увидели то, что лежит прямо сейчас. Никакой задержки на цикл парсинга, никаких этапов синхронизации.
• Полный набор инструментов площадки. Промо, поднятие в выдаче, бейджи, рейтинги, отзывы, личный кабинет продавца — всё это управляется только в самой площадке.
• Прямая связь с поддержкой источника по конкретному объявлению.
• Сразу свежее фото и описание. На площадке нет момента «сначала старая версия, потом подтянется новая» — там всегда то, что собственник опубликовал последним.
• Контакт через форму площадки. Если собственник скрыл номер, на источнике остаётся возможность написать сообщение через встроенный чат — этим каналом тоже стоит пользоваться.

Профессиональный риэлтор работает с площадками напрямую — это базовый инструмент, спорить тут не с чем. Но работа через SmartAgent — не замена прямой работе, а слой поверх неё, который добавляет то, чего на самой площадке физически нет.

Когда напрямую быстрее

• Объект только что появился на витрине, и нужно посмотреть актуальные фото в максимальном качестве — открываете источник напрямую, экономите цикл синхронизации.
• Собственник прислал ссылку на свою карточку — заходите по ссылке, проверяете глазами всё, что в карточке.
• Управление собственным объявлением (поднять, сменить фото, отредактировать) — только в кабинете площадки.
• Сверка цены и описания после редактирования собственником — если правка прошла минуту назад, на источнике она уже есть, в CRM появится в ближайшем цикле (до 15 минут).

Что даёт SmartAgent, чего не получить на одной площадке

• Все источники в одном окне. Авито, ЦИАН, ДомКлик, Яндекс.Недвижимость, региональные доски, чаты собственников — открываются одной выдачей. Не нужно держать 10 вкладок.
• Архив снятых объектов. Когда продавец снимает объявление с источника, оно пропадает с витрины — навсегда. В SmartAgent объект сохраняется в архиве, и вы продолжаете видеть его в выдаче с пометкой «снято». Часто собственник всё ещё готов продавать — просто устал от площадки или сменил тактику. По таким объектам идут реальные сделки, а у конкурентов, работающих только напрямую, эти объекты выпадают из поля зрения.
• Восстановление давно висящих объектов. Когда «новое» объявление на площадке оказывается тем же объектом, который полгода назад уже продавали, — CRM поднимает архивную карточку и сшивает её с текущей публикацией. Сразу видно полную историю попыток продать.
• Полная история объекта. Когда менялась цена, какое было описание полгода назад, по какому адресу публиковали (если редактировали), на каких источниках одновременно. История не теряется, даже если на самой площадке карточка перевыложена с нуля как «новое объявление».
• История фотографий за годы. Если объект уже публиковался год, пять или десять лет назад — у нас в архиве сохранены фото из тех публикаций. Вы видите, как квартира выглядела до ремонта, какой ремонт сделали, что переставляли, был ли тот же собственник. Это сильный аргумент в разговоре и в торге: «Здесь же два года назад были другие обои и цена 4,9 — давайте обсудим текущую».
• Сцепка повторных публикаций. Когда собственник снял объект и через 3 месяца выложил заново, площадка показывает это как новое объявление. SmartAgent цепляет его к старой карточке: видно полную историю попыток продать, как долго в сумме объект висит, какие цены пробовали.
• Дедупликация. Один объект на пяти площадках — это одна карточка в CRM, а не пять одинаковых лидов. Дозвонились по Авито — статус «дозвонились» сразу проставится и на ЦИАНе, и на ДомКлике.
• Прямые контакты собственника там, где источник их прячет. Сопоставление одного объекта с разных площадок плюс данные расширения SmartVision вытягивают телефон, которого на конкретной карточке нет.
• Турбо-мониторинг по фильтру. Не вы открываете каждые 10 минут площадку, а CRM сама присылает уведомление в Telegram или MAX по нужным районам, цене, типу — до того, как объект окажется в общей выдаче.
• Сигналы для торга. Цена снизилась второй раз за две недели, объект висит четвёртый месяц, фото поменяли — всё это видно одним взглядом. Прямая площадка такого среза не показывает.
• Аналитика по рынку. Сколько объектов в районе, как менялись цены за полгода, что продаётся быстрее. Срез по всему рынку сразу, а не по одной площадке.
• ИИ-инструменты поверх базы. ИИ-анализ цены, генерация описаний, автоподбор под клиента, ИИ-автолид по звонкам — работают по всей базе и сравнивают объект со всем рынком, а не только с тем, что лежит на одной площадке.
• Единый мессенджер. Чаты ЦИАН, Авито, WhatsApp, Telegram, MAX, VK — собраны в одно окно. Не нужно переключаться между приложениями.
• CRM поверх всего. Лиды, воронка, задачи, ИИ-расшифровка звонков, отчёты — то, ради чего в систему приходит руководитель агентства.

Простой принцип: напрямую — оперативная работа с конкретным объявлением и актуальное состояние карточки прямо сейчас. Через SmartAgent — стратегическая работа со всем рынком сразу, с памятью, историей и архивом. Профессионал использует и то, и другое.

Что делать риэлтору, если объект пришёл с задержкой

1. Сравните момент появления на витрине источника (а не время в карточке) с моментом появления в CRM. Разница до минуты — норма.
2. Проверьте, не «возвращённое» ли это объявление: откройте карточку в SmartAgent — если есть история, объект уже у вас был, и новизна на площадке скорее всего косметическая. Это не задержка, а восстановление из архива.
3. Если карточка восстановлена из архива и фото/цена отличаются от источника — подождите ближайший цикл (до 15 минут), поля синхронизируются. В этот момент особенно полезно сразу позвонить собственнику: вы знаете историю объекта, он сам про неё уже забыл.
4. Если разница больше получаса и объект точно был виден на источнике впервые — отправьте ID объекта в поддержку. Каждый разбор улучшает источник для всех.
5. Используйте Турбо-мониторинг по своим фильтрам — это самый быстрый канал. Уведомление приходит до того, как объект окажется в общей выдаче.
6. Не полагайтесь на одну площадку. SmartAgent смотрит все одновременно — где появилось первым, оттуда и забирает.

FAQ

Почему время в карточке источника не совпадает со временем появления в SmartAgent?

Площадка показывает момент, когда продавец нажал «Опубликовать», а не момент реальной публикации. Между ними — модерация, которая занимает от минут до часов. Парсер забирает объект в течение минуты после прохождения модерации.

Почему «новое» объявление уже есть у меня в SmartAgent со старой ценой и фото?

Этот объект уже публиковался раньше — собственник снял его на паузу и переподал, чтобы поднять в выдаче. CRM восстанавливает карточку из архива со старыми данными, потому что сначала площадке важно вернуть объект в выдачу, а актуализация полей идёт следующим циклом. В ближайшие минуты цена, описание и фото подтянутся к текущему состоянию на источнике, а старая история останется рядом — это и есть козырь для разговора с собственником.

Сколько занимает постепенная синхронизация восстановленного объекта?

Обычно 5–15 минут — это время до ближайшего цикла обновления полей по этому источнику. Старая история не «перетирается», она остаётся параллельно с актуальной версией: вы видите и текущую цену, и все прошлые попытки продать.

Парсятся ли объекты с агрегаторов или только напрямую с площадок?

Напрямую с площадок. Промежуточные агрегаторы дают устаревшие данные и ограниченный набор полей — SmartAgent работает с первоисточниками: Авито, ЦИАН, ДомКлик, Яндекс.Недвижимость, региональные доски, чаты собственников.

Что делать, если телефон собственника заменён на ссылку?

Это поведение источника, парсер показывает то, что есть в карточке. Используйте расширение SmartVision при работе с Авито, ЦИАН и другими площадками — оно подтягивает контакт собственника из базы SmartAgent прямо в браузере, без открытия CRM.

Можно ли получать только новые объекты по конкретному району?

Да, Турбо-мониторинг настраивается по геометке, цене, типу и любому полю карточки. Уведомление приходит в Telegram или MAX в течение минуты после появления объекта на источнике.

Что считается «задержкой парсинга»?

Разница между моментом появления объекта на витрине источника и моментом появления в CRM. Целевой показатель — 1 минута для новых объектов, до 15 минут для обновлений уже опубликованных. Время в карточке («продавец опубликовал в 23:31») в этот подсчёт не входит — оно может быть на часы раньше реального момента публикации.

Хотите проверить, как Турбо-мониторинг и парсинг 100+ источников работают по вашему городу и фильтру? Зарегистрируйтесь в SmartAgent — увидите всё на своих объектах за пару минут.