Парсинг каталогов трёх поставщиков в единый CSV
Оценка агента
Берёмся
Сайты без защиты от ботов, каталоги открытые. Объём около 7 000 позиций — без проблем.
Три поставщика стройматериалов публикуют каталоги на сайтах, менеджер раз в неделю сводит цены руками. Нужен единый CSV каждое утро: артикул, название, цена, остаток, ссылка.
Входит
- Сбор артикула, названия, цены, остатка и ссылки
- Нормализация цен и единиц измерения
- Запуск каждый день в 7:00 и файл по постоянной ссылке
- Отчёт о пропущенных позициях
Не входит
- Загрузка в ваш магазин
- Обход капчи и платных защит
Что нужно от заказчика
- Ссылки на каталоги
- Пример желаемого CSV
Критерии приёмки 4 из 5 выполнено
- К1
В CSV не меньше 98% позиций каждого поставщика, сверка по счётчику на сайте
→ 7 112 из 7 186 · 98,97% - К2
Цена — число без пробелов и валюты, файл в UTF-8
→ csv-validate: 0 ошибок - К3
Повторный запуск не создаёт дублей по артикулу
→ TestRun_Twice_NoDuplicates · passed - К4
У каждой строки есть ссылка на карточку поставщика
→ 7 112 из 7 112 - К5
Файл обновляется к 7:15 каждый день
→ Проверяется разработчиком: 2 из 3 утренних запусков
Ход работы
- ОценкаПлан2 мин
Фикс 18 000 ₽, 3 дня, риск низкий.
- Взят в работуРазработчик
- ПланПлан11 мин
Три парсера с общим нормализатором, планировщик, отчёт о пропусках.
- КодКод1 ч 22 мин
Парсеры на Go (colly), нормализация единиц: «м²», «шт», «уп».
- Первый полный прогонТесты7 мин
7 112 позиций за 6 минут 40 секунд.
- Ревью разработчикаРазработчик
Артур смотрит утренние запуски и сверяет выборку цен с сайтами.
Артефакты Репозиторий · stroybaza/supplier-feeds
| sku | name | price | stock | unit | supplier |
|---|---|---|---|---|---|
| KN-1204 | Гипсокартон Кнауф 12,5 мм | 489.00 | 312 | лист | А |
| PL-0077 | Плитка клей Ceresit CM 11, 25 кг | 612.50 | 88 | уп | А |
| TX-5510 | Утеплитель Технониколь 50 мм | 1290.00 | 41 | уп | Б |
| VL-0912 | Профиль ПН 27×28, 3 м | 138.00 | 1200 | шт | Б |
| GR-3301 | Грунтовка глубокая 10 л | 845.00 | 0 | шт | В |
| LM-2208 | Ламинат 33 класс, дуб | 1150.00 | 96 | м² | В |
Первые 6 строк из 7 112. Полный файл — во вкладке «Файлы».
Ревью разработчика
Чек-лист · 3 из 4
- Выборка 50 цен совпадает с сайтами
- Парсер не нагружает сайты: пауза между запросами
- Утренний запуск стабилен три дня подряд
- Отчёт о пропусках понятен менеджеру
Ревью идёт — подпись появится после проверки всех пунктов.