Универсальный парсер интернет-магазинов
Учет и отчетность - Оптовая торговля
"Ни строчки кода" - это конечно громко. Но в 80% случаев (когда интернет-магазин отвечает некоторым требованиям) - это будет работать.
Магазины, отвечающие этим требованиям:
- В магазине должны быть категории товаров. Возможно подкатегории, но не обязательно.
- В категориях должен быть список товаров с ссылкой на карточку товара.
- В карточке товара должна быть вся интересующая Вас информация о товаре.
Такая структура у 90% сайтов. Так почему только 80%? - спросите Вы.
Есть еще некоторые технические моменты, например такие как формирование содержимого страницы через javascript и еще по мелочи. Но на практике я и такие сайты парсил... правда не универсальным парсером и это совсем другая история.
Что умеет Универсальный парсер"?
- Парсить интернет-магазины и записывать эти данные в таблицы обработки (т.е. запись идет не сразу в 1С, а сначала мы видим результат работы в таблицах)
- Записывать данные о номенклатуре в 1С. После того как мы убедились в корректности данных - можем записать их в 1С:
- Группы и всю иерархию групп
- Наименование товара
- Цена
- Описание
- Описание для сайта
- Атрибуты (дополнительные реквизиты) с их значениями
- Картинки товара
- Использовать прокси-сервера. Можно задать списком и установить кол-во запросов на каждый сервер. Когда список серверов кончится - обработка опять проверит все сервера и обнулит счетчик запросов у работающих
- Задавать для каждого найденного узла произвольный обработчик.
- Сохранять/загружать настройки на любом этапе парсинга
- Делать тестовый парсинг (т.е. не весь сайт, а несколько товаров). Это очень полезно на этапе указания начальных настроек.
- Делать авторизацию на сайте перед загрузкой.
Универсальный парсер НЕ требует установки дополнительных компонент
Что не умеет или пока не умеет Универсальный парсер?
- Парсить характеристики
- Парсить несколько цен одного товара.
- Распознавать текст с картинок.
- Парсить yandex маркет. Тут не совсем правда. Но яндекс маркет надежно защищен от парсинга. Просто оставьте эту затею.
В списке файлов есть еще версия за startmoney. Давайте посмотрим чем они отличаются
Сравнение Универсального парсера.Lite и Универсального парсера
| Универсальный парсер.Lite | Универсальный парсер | |
|---|---|---|
| Парсить и записывать в 1С | + | + |
| Формировать иерархию групп | + | + |
| Наименования товаров | + | + |
| Цены | + | + |
| Описания | + | + |
| Делать тестовый парсинг сайта (загрузка только нескольких позиций) | + | + |
| Файл описания для сайта | + | |
| Атрибуты товара | + | |
| Картинки товара | + | |
| Авторизация на сайте | + | |
| Работа по протоколу HTTPS | + | |
| Сохранять/загружать настройки и таблицы | + | |
| Использовать прокси-сервера | + |
Как он работает?
Для того, чтобы он начал работать - его нужно немного обучить. Для этого нужно воспользоваться селекторами.
У нас есть селекторы групп, товаров, всех вышеуказанных реквизитов товара и селекторы атрибутов.
Для того, чтобы указать селектор - достаточно открыть интересующий нас сайт в браузере Google Chrome, нажать F12 (инструменты разработчика), выбрать интересующий нас элемент и скопировать его селектор. Ниже будет видео как это сделать. При этом не обязательно, но совсем неплохо будет иметь базовые знания HTML.
При необходимости мы можем поменять обработчик узла, который был найден селектором. Это открывает для нас по-настоящему широкие возможности. Обработчик приходится менять не часто, но приходится и чтобы его правильно задать необходим базовый набор знаний в программировании 1С.
Если у Вас нет базовых знаний HTML и/или программирования 1С - советую обратить внимание на версию с начальными настройками. Вы просто скажите какой сайт Вам нужен, а я сделаю файл настроек. Вам останется только нажать несколько кнопок.
А как насчет нажатия всего одной кнопки "Записать в 1С"? Тоже возможно. Для этого будет версия обработки + настройки + заполненные таблицы. Это самый дорогой, но самый верный вариант получить результат. До 4000 товаров. Свыше 4000 - 1 р./товар
Для каких конфигураций подойдет парсер?
Обработка тестировалась на следующих конфигурациях:
- УТ 11.3
- УТ 11.4
- УТ для Белоруси 3.3
- КА 2.4
- ERP 2.4
Так же может подойти для конфигураций, которые имеют схожую структуру с вышеперечисленными конфигурациями. Как, например, УТ для Белоруси 3.3
Инструкции и обзор обработки
Как проверить, что интернет-магазин можно спарсить?
Тут только экспериментальный путь. Приобретайте обработку. Если парсер не будет парсить интересующий Вас сайт - есть возможность заказать настройки. А ели и настройки не подойдут - 100% гарантия возврата денег.
Можно ли парсить Яндекс Маркет?
Над ним работает целый отдел программистов. Яндекс маркет достаточно хорошо защищен от этого. Начиная с блокировок по IP, специфичной пагинации товаров и заканчивая наименованием категорий в виде картинок. Да и меняют алгоритмы они часто и оперативно. Я бы Вам рекомендовал поискать интернет-магазины на которых есть подавляющее большинство интересующих Вас товаров. Ведь в яндекс маркет товары попадают именно с этих сайтов.
Обсудить и пообщаться на тему универсального парсера можете в комментариях ниже
Гарантия возврата денег
ООО "Инфостарт" гарантирует Вам 100% возврат оплаты, если программа не соответствует заявленному функционалу из описания. Деньги можно вернуть в полном объеме, если вы заявите об этом в течение 14-ти дней со дня поступления денег на наш счет.
Программа настолько проверена в работе, что мы с полной уверенностью можем дать такую гарантию. Мы хотим, чтобы все наши покупатели оставались довольны покупкой.
Для возврата оплаты просто свяжитесь с нами.
Скачать файлы
| Наименование | ||
|---|---|---|
|
Универсальный парсер интернет-магазинов.Lite
.epf 20,43Kb
22.10.18
52
|
52 | |
|
22.10.2018
|
11 |
Цена
до 30.12.2019
4500 руб. |
|
15.07.2019
|
2 |
Цена
до 30.12.2019
6750 руб. |
|
Универсальный парсер + настройки + заполнение таблиц (До 4000 товаров. Свыше 4000 - 1 р./товар) для одного сайта
12 мес.
1 мес.
15.07.2019
|
2 |
Цена
до 30.12.2019
9000 руб. |
|
Техподдержка (1 час)
1 час
22.10.2018
|
7 |
Моментальная Новый вопрос
Специальные предложения
См. также
- 10 %
Онлайн-курс "Технология выполнения проектов ERP-класса – процессный подход". Третий поток. Курс проходит с 21 января по 18 марта 2020 года. Промо
Курс разработан Внедренческим центром «Раздолье». Курс предназначен для подготовки аналитиков, архитекторов и руководителей проектов автоматизации процессов управления с использованием комплексных ИТ-систем (1С:ERP, 1С:УХ, 1С:КА, 1С:УТ). В основе курса лежит методика применения процессного подхода.
9000 рублей
- 10 %
- 10 %
Вывод доступных остатков товаров в документе Чек ККМ (РМК). Конфигурация УТ 11.4 3
1000 руб.
04.09.2019 3158 3 3
Программы для исполнения 488-ФЗ: Маркировка товаров Промо
1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.
- 10 %
Аналоги номенклатуры для УТ 11.4, КА 2.4, ERP 2.4, Розница 2.2. Расширение 6
3500 руб.
30.08.2019 4447 3
Перенос данных УПП 1.3 => ERP 2 (ЕРП) / УТ 11 / КА 2.х (обработка переноса документов, остатков и справочников из "1С:Управление производственным предприятием, ред. 1.3" в ERP / УТ 11 / КА 2). Обновлен до УПП 1.3.127.х, КА 2.4.10.х и ERP 2.4.10.х! Промо
Обработка позволяет переносить из УПП 1.3 в ERP 2 документы за выбранный период и остатки. Типовая обработка от фирмы 1С документы не переносит. Также исправлены ошибки типовой обработки. При выходе новых релизов обновление высылается бесплатно в течение года. Разработка будет полезна фирмам-франчайзи, которые периодически выполняют такой перенос данных для заказчиков. Вы можете один раз приобрести обработку переноса, и потом бесплатно получать обновления при выходе новых релизов конфигураций 1С.
29700 руб.
- 10 %
Формирование УПД для документооборота ЭДО с ОЗОН ozon.ru (все типовые конфигурации) 33
3000 руб.
24.07.2019 7680 28 93
Новый раздел на Инфостарте - Electronic Software Distribution Промо
Инфостарт напоминает: на нашем сайте можно купить не только ПО, связанное с 1С. В нашем арсенале – ESD-лицензии на ПО от ведущих вендоров: Microsoft, Kaspersky, ESET, Dr.Web, Аскон и другие.
- Низкие цены, без скрытых платежей и наценок
- Оперативная отгрузка
- Возможность оплаты с личного счета (кешбек, обмен стартмани на рубли и т.п.)
- Покупки идут в накопления для получения скидочных карт лояльности Silver (5%) и Gold (10%)
- 10 %
Новогодние скидки на авторское ПО Промо
В преддверии праздника в Маркетплейсе на Инфостарт действует скидка на все платные авторские программы. Размер скидок начинается от 10%. Советуем не откладывать покупки, многие наши партнеры повышают цены на свои продукты именно в начале нового года.
- 10 %
Автоматическая загрузка в фоне из EXCEL (номенклатура, цены, остатки) из почты и с сайта 5
2000 руб.
24.06.2019 4247 15 2
- 10 %
Перенос документов, остатков и справочников КА 1.1 => КА 2 / УТ 11. Обновлено до КА 2.4.10.х и УТ 11.4.10.х! Промо
Более 130 компаний выполнили переход на КА 2 или УТ 11 с помощью нашей разработки! Позволяет перенести не только остатки и справочники (как типовая обработка), но и документы за нужный период времени. Предоставляем техподдержку, оперативно исправляем замечания, выпускаем обновления при выходе новых релизов программ 1С. Вы можете проверить разработку до покупки: сделаем бесплатный тестовый перенос из вашей базы КА 1.1 и предоставим доступ к базе-результату через веб-клиент!
29700 руб.
- 10 %
- 10 %
Модуль для интеграции с сервисом "Счетмаш Онлайн" для выдачи электронных чеков при оплате жилищно-коммунальных услуг. 1
5000 руб.
18.06.2019 3314 0
Подборка программ для взаимодействия с ЕГАИС Промо
ЕГАИС (Единая государственная автоматизированная информационная система) - автоматизированная система, предназначенная для государственного контроля за объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. Инфостарт рекомендует подборку проверенных решений для взаимодействия с системой.
- 10 %
- 10 %
Перенос данных УТ 10.3 => УТ 11 / КА 2 / ERP 2 (ЕРП 2) (документы, остатки и справочная информация из "1С:Управление торговлей, ред. 10.3" в УТ 11 / КА 2 / ERP 2). Обновлен до УТ 10.3.56.х, УТ 11.4.10.х, КА 2.4.10.х и ERP 2.4.10.х! Промо
Уже более 100 компаний приобрели перенос и выполнили переход на УТ 11 / КА 2 / ERP 2 с помощью нашей разработки! Обработка перехода с УТ 10.3 на УТ 11 / КА 2 / ERP 2 позволяет перенести не только остатки на указанную дату (как типовой перенос), но и все возможные документы за выбранный период. При выходе новых релизов этих программ оперативно выпускаем обновление обработки. Предоставляем техническую поддержку. Можем сделать бесплатный тестовый перенос!
29700 руб.
- 10 %
Модуль "Путевой лист" для 1С:Бухгалтерия предприятия 8, редакция 3.0 8
4000 руб.
03.06.2019 4442 45 0
- 10 %
Выгрузка новых акцизных марок в R-Keeper 7 из 1С:Общепит посредством EGAIS for Pos 5
3000 руб.
03.06.2019 4058 0
Базовый курс для начинающих 1С-программистов. Пятый поток. Онлайн-курс с 12 февраля по 15 апреля 2020 г. Промо
Данный онлайн-курс является начальной ступенью по изучению базовых принципов программирования в системе “1С:Предприятие” и предназначен для обучения 1С-программированию “с нуля”.
4500/9500 рублей
Перенос данных БП 3.0 => УТ 11 / КА 2 / ERP 2 (ЕРП) (перенос остатков, документов и справочной информации из "1С:Бухгалтерия предприятия 8", ред.3.0). Обновлено до БП 3.0.73.х, УТ 11.4.10.х, КА 2.4.10.х., ERP 2.4.10.х! Промо
Переносятся документы за выбранный период, справочная информация и остатки по счетам бух. учета в программу УТ 11 / КА 2 / ЕРП 2 (ERP). Переносятся все возможные виды операций ввода остатков на нужную дату. Есть отбор по периоду переноса документов и фильтр по организации, доступен выбор даты ввода остатков. Если нужно переносить что-то дополнительно, то обычно бесплатно добавляем это в перенос . Смотрите видеодемонстрацию со звуком - советами по переносу и рекомендациями настройки программ.
29700 руб.
1C:Предприятие для программистов: Запросы и отчеты. Второй поток. Онлайн-интенсив с 17 марта по 16 апреля 2020 г. Промо
Данный онлайн-курс предусматривает углубленное изучение языка запросов и возможностей системы компоновки данных, которые понадобятся при разработке отчетов, работающих на платформе “1С:Предприятие” в рамках различных прикладных решений. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”, а также для опытных пользователей различных прикладных решений, которые используют в своей работе отчеты разного назначения.
6500 рублей
- 10 %
Обмен с системой ЦРПТ (Универсальная конфигурация ХамелеонЦРПТ + маркировка табака, обуви, лекарств, света, молока, духов(парфюма) и шин 55
1500 руб.
18.03.2019 17706 232 19
Программы для исполнения 54-ФЗ Промо
С 01.02.2017 контрольно-кассовая техника должна отправлять электронные версии чеков оператору фискальных данных - правила установлены в 54-ФЗ ст.2 п.2. Инфостарт предлагает подборку программ, связанных с применением 54-ФЗ, ККТ и электронных чеков.
- 10 %
Отчет по продажам и поступлениям в разрезе контрагентов. Конфигурация Управление торговлей, редакции 11.4 4
1000 руб.
07.03.2019 4475 0
- 10 %
Универсальная внешняя печатная форма "Товарный чек" Со скидками / Без скидок для 1С "Штрих-М" 1
1000 руб.
18.12.2018 5280 0
