Парсер товаров интернет-магазинов 8.8 от 04.01.2013

marsrip · 3 апр 2013

Обновлено до версии 8.8 от 04.01.2013

История изменения

Спойлер

###################################

***4 января 2013**

Добавлено:

Yandex.ru: Новый парсер Яндекс.Одежда
Yandex.ru: Теперь парсит модификации, например: http://market.yandex.ru/model-mod.x...=651600-EXC=1-PG=10&modelid=5014625&hid=91019

Исправлено:

Ядро: Исправлен установочный файл.
Hotline.ua: Не парсил картинки.
Hotline.ua: Не переходил по страницам.
Yandex.ru: Теперь парсяться большие картинки у товаров без карточек.
Ozone.ru: Названия товаров не парсились в некоторых категориях.
MarketGid: Не парсились цены.

###################################

***4 декабря 2012**

Добавлено:

1. Market.Yandex: Добавлен Калининград.
2. Редактор товаров: Добавлено отображение цены и бренда.
3. Ozone: Появилась возможность парсить товары из поиска.

Исправлено:

1. Hotline.ua: В список товаров попадали лишняя информация.
2. Hotline.ua: Не сохранялись цены и бренды.
3. Market.Yandex: Иногда не парсились товары из урлов с Search.
4. Ozone: Переработан парсер с исправлением основных ошибок.
5. Avito: Переработан парсер с исправлением основных ошибок.
6. Редактор товаров: Стандартно выводиться по 25 товаров.
7. Редактор товаров: Редактирование товаров открывается в новом окне.

###################################

***7 октября 2012**

Внимание! Возможно ложное срабатывание при использовании NOD32

Добавлено:

1. Ядро: Корректная работа с PHP 5.3
2. Ядро: В редактор товаров можно просматривать изображение товара.
3. Ядро: Новый экспорт для VirtueMart 2.х

Исправлено:

1. Яндекс: Парсинг товаров без карточек: http://market.yandex.ru/search.xml?hid=91011
2. Яндекс.Поиск: Полностью переписан парсер.
3. Яндекс.Поиск: Добавлено время в название директории.
4. Все парсеры: Иногда не добавлялись товары с символом `.
5. Все экспорты: Добавлено время в название экспорта.

###################################

***29 августа 2012**

Исправлено:

1. Ядро: Прокси работали не со всеми магазинами.
2. Cars.auto.ru: Теперь парсятся телефоны объявлений.
3. Slando.ru: Не парсились характеристики и описания у некоторых объявлений.
4. Wikimart.ru: Не верно парсился бренд.
5. Avito.ru: Не верно проставлялась ссылка на исходную страницу товара.

###################################

***27 августа 2012***

Исправлено:

1. Ядро: Не работали некоторые виды прокси.
2. Редактор товаров: Иногда разъезжалась таблица.
3. Hotline.ua: Не парсились некоторые товары и не верно создавались категории.
4. Hotline.ua: Не парсились бренды товаров.
5. Hotline.ua: Иногда появлялась характеристика без названия.
6. Torg.mail.ru: Полностью новый парсер.
7. Market.yandex.ru: Теперь умеет парсить товары без полного описания.
8. Slando: Не парсился список объявлений.
9. Slando: Не верно проверялись дубликаты объявлений.
10. Slando: Не парсились некоторые картинки.
11. Wikimart.ru: Не парсились характеристики.

###################################

***25 июня 2012***

Добавлено:

1. Экспорт CMSimple.
2. Экспорты с возможностью оставлять исходный размер картинок (Для этого нужно убрать цифры).
3. Ozone: Парсинг новых дополнительных характеристик.

Исправлено:

1. Wiki: Не создавались категории.
2. Wiki: Цены не парсит.
3. Wiki: Слипались некоторые характеристики.
4. Wiki: Не парсились некоторые описания.
5. Ozone: Более точнее стали парситься категории.
6. Ozone: Не парсились названия и описания товара.
7. Ozone: Не должным образом проверялись существующие категории.
8. Экспорт WebAsyst: Мелкие недочёты.
9. Ядро: Обработка капчи иногда происходила не верно.
10. Ядро: В некоторых случаях парсер не реагировал на команду "Остановиться".
11. Torg.mail.ru: Не верно рассчитывалось количество страниц.
12. Slando: Из-за смены дизайна и CMS, полностью переписан парсер.

###################################

***18 марта 2012***

Добавлено:

1. Новый модуль парсинга из поиска Яндекс.Маркет

Исправлено:

1. Ozon: не парсились характеристики у некоторых товаров.
2. Ozon: при применении фильтра парсер не переходил по страницам.
3. Ozon: исправлен парсер картинок.
4. Ozon: не находились некоторые описание товаров.
5. Ozon: в некоторых категориях парсил только первую страницу.
6. Ozon: из названий категорий убраны спец.символы.
7. Яндекс: исправлен выбор региона, в некоторых случаях сбивался.
8. Яндекс: исправлен парсер цен.
9. Яндекс: для некоторых категорий переработан метод парсинга характеристик.
10. Slando: полностью исправлен модуль.
11. WikiMart: исправлены проблемы при парсинге.
12. Экспорт PhpShop: исправлены недочёты.
13. Экспорт TXT: не выводилась ссылка на папку с файлами
14. Экспорт TXT: исправлен ошибочный тэг <letf>.
15. Экспорт TXT: файлы создавались с русскими буквами, теперь в транслите.
16. Экспорт 1C-Bitrix: переделан под новую версию CMS.
17. Экспорты: приведены к единому стилю.
18. Редактор: обновлён стиль и дизайн.

###################################

***4 февраля 2012***

Исправлено:

1. Парсинг цен в HotLine.ua.
2. ВикиМарт, были проблемы с кавычками.
3. В редакторе убрано редактирование характеристик.
4. Парсинг Товары@Mail.Ru т.к. не парсил некоторые категории.
5. Парсинг HotLine.ua и Ozon, дублировал первую страницу и не парсил дальше 2-й страницы

###################################

***17 декабря 2011***

Добавлено:

1. Экспорт в xml для WordPress

Исправлено:

1. Парсинг картинок и категорий с ВикиМарт.
2. Парсер Товары@Mail.Ru и HotLine.ua
3. Убрана функция по минимальным описаниям.
4. Защита ВикиМарт снята, теперь все характеристики парсятся.
5. Полностью переписан экспорт для OSCommerce под новый стандарт.

###################################

***19 ноября 2011***

Добавлено:

1. Новая площадка для парсинга Slando.ru

Исправлено:

1. Многопоточность в ВикиМарт.
2. При выборе отдельного бренда из категории, название категории = название бренда
3. Ошибка с полями в экспорте для OSCommerce.
4. Описание товаров и характеристик Озон.
5. Яндекс Бренды и мелкие недочёты.
6. В некоторых новых площадках не работала задержка.
7. В HotLine.ua не парсились некоторые категории.
8. Небольшие исправления интерфейса.
9. Появление примеров URL для каждой площадки.

###################################

***27 октября 2011***

Добавлено:

1. Парсинг avito.ru
2. Экспорт Zebrum Lite

Исправлено:
1. Парсинг картинок Озон.
2. В некоторых случаях, не работали прокси.
3. Noindex в названиях товаров WikiMart.
4. В редакторе вылезало пустое предупреждение.
5. Цены в Торг.Маил в некоторых случаях не парсились.
6. Парсинг описаний и удалены пустые характеристики на Озон
7. Пропуск парсинга некоторых характеристик на Hotline.ua
8. URL магазина пишется в категории.
9. Не парсились товары с Озон, когда только 1 страница.

###################################

***25 сентября 2011***

Добавлено:

1. Экспорт Zerber
2. Экспорт Insales
3. Экспорт Amiro.CMS
4. Экспорт Drupal e-Commerce
5. Экспорт Zebroid
6. 4-ре языка интерфейса
7. Автоматическая установка БД, через setup.php

Исправлено:

1. Дубликаты ID во всех экспортах.
2. Убраны пробелы в ценах в Я.Маркет и Маил.Торг.
3. Все настройки убраны в отдельный раздел.
4. МаилТорг, парсинг цены, когда указан диапазон цен.
5. Для Я.Маркет выбирается более точное название категории.
6. Убраны надписи "Новинка" в названиях товараха в Я.Маркет.
7. Оптимизирована БД для ускорения работы парсера и экспортов.

###################################

***1 сентября 2011***

Добавлено:

1. Парсинг нового украинского интернет-магазина Hotline.ua
2. Автопроставление рекомендуемых параметров задержки
3. Отображение количества товаров в категории во всех экспортах

Исправлено:

1. Парсинг ВикиМарт.
2. Парсинг Яндекс. Маркет

###################################

***30 июля 2011***

Добавлено:

1. Очередь заданий.
2. Синонимизация текста.
3. Парсинг новой площадки Cars.auto.ru
4. Инструкция по использованию парсера.

Исправлено:

1. Парсинг ВикиМарт.
2. Зацикливание прокси. Парсер сделает 5 попыток перебрать прокси.
3. В экспорте TextKit ошибка "Не задана ссылка на объект" при импорте.

###################################

***21 июня 2011***

Добавлено:

1. Указание "Точное\неточное вхождение ключевых слов".
2. Новые правила для парсинга категорий на Озон с нестандартной вёрсткой.
3. Парсинг дополнительной информации товаров на Озон.
4. Удаление\изменение категорий в редакторе товаров.
5. Добавили высота миниатюры в экспорт VirtueMart.
6. Экспорт в csv для 1С-Битрикс

Исправлено:

1. Ошибка с парсингом Озон, когда парсер показывал, что открыта пустая категория.
2. Поля в экспорте WebAsyst для авто выбора значений при импорте в админке.
3. Ошибка при парсинге товаров Яндекс.Маркет, когда у товара только маленькая картинка.
4. Экспорт ShopCMS.
5. Появление дублей при парсинге.
6. В экспорте VirtueMart убрано выбор информации для экспорта.
7. В экспорте VirtueMart появление лишних знаков препинания и тегов в описаниях товаров.

###################################

***29 мая 2011***

Добавлено:

1. Редактор товаров.
2. Выбор региона для Яндекс.Маркет.
3. Антикапча для Яндекс.Маркет
4. Объединены версии парсинга по файлу из тхт файла и стандартная версия.

Исправлено:

1. Улучшен интерфейс.
2. Исправлена фильтрация данных при парсинге МаркетГид.
3. Исправлена функция "Не парсить без картинки"
4. Небольшие поправки парсинга Яндекс.Маркет.

###################################

***28 апреля 2011***

* Ввиду изменения вёрстки на Яндекс.Маркете, полностью перенастроен парсинг + добавлен парсинг всех характеристик.
* Поправлен парсинг Озон и добавлена поддержка парсинга новых категорий, в которых вёрстка отличается от стандартных категорий.
* Исправлена ошибка экспорта из-за отсутствия полной картинки у товара на Озон.
* Исправлен экспорт VamShop.
* Исправлен экспорт PhpShop.

###################################

***7 марта 2011***

* Исправлена ошибка при парсинге с Озон.ру.
* Поправлен экспорт в csv для ShopScript Free.

###################################

***27 февраля 2011***

* Правильное отображение изображений в экспорте WebAsyst.
* Баг с обработкой больших изображений в экспорте OSCommerce.
* Поправлена работа прокси с нестандартными портами, сейчас работает с любыми портами прокси.
* Исправлен парсинг в виду изменений на торговых площадках.

###################################

***17 января 2011***

* Исправлена ошибка, когда скрипт не скачивал изображение, если не было увеличенной копии.
* Приватные прокси, т.е подключать платные прокси, требующие авторизации.
* Во всех экспортах показывается метка, с какой площадки категория товара.
* Теперь названия в папке export создаются на транслите.
* Подключили новый экспорт в CMS OSCommerce.
* Поправили другие мелкие баги в работе скрипта.

Год выпуска: 2013
Версия: v.8.8 04.01.2013
Платформа: Php
Язык интерфейса: Английский, русский, украинский, белорусский
Таблэтка: Не требуется

Скачать

Скрытый контент. Для просмотра Вы должны быть зарегистрированным участником.
Нажмите, чтобы раскрыть...

wbvetal86 · 1 июл 2013

marsrip сказал(а): ↑

Обновлено до версии 8.8 от 04.01.2013

История изменения

Спойлер

###################################

***4 января 2013**

Добавлено:

Yandex.ru: Новый парсер Яндекс.Одежда
Yandex.ru: Теперь парсит модификации, например: http://market.yandex.ru/model-mod.x...=651600-EXC=1-PG=10&modelid=5014625&hid=91019

Исправлено:

Ядро: Исправлен установочный файл.
Hotline.ua: Не парсил картинки.
Hotline.ua: Не переходил по страницам.
Yandex.ru: Теперь парсяться большие картинки у товаров без карточек.
Ozone.ru: Названия товаров не парсились в некоторых категориях.
MarketGid: Не парсились цены.

###################################

***4 декабря 2012**

Добавлено:

1. Market.Yandex: Добавлен Калининград.
2. Редактор товаров: Добавлено отображение цены и бренда.
3. Ozone: Появилась возможность парсить товары из поиска.

Исправлено:

1. Hotline.ua: В список товаров попадали лишняя информация.
2. Hotline.ua: Не сохранялись цены и бренды.
3. Market.Yandex: Иногда не парсились товары из урлов с Search.
4. Ozone: Переработан парсер с исправлением основных ошибок.
5. Avito: Переработан парсер с исправлением основных ошибок.
6. Редактор товаров: Стандартно выводиться по 25 товаров.
7. Редактор товаров: Редактирование товаров открывается в новом окне.

###################################

***7 октября 2012**

Внимание! Возможно ложное срабатывание при использовании NOD32

Добавлено:

1. Ядро: Корректная работа с PHP 5.3
2. Ядро: В редактор товаров можно просматривать изображение товара.
3. Ядро: Новый экспорт для VirtueMart 2.х

Исправлено:

1. Яндекс: Парсинг товаров без карточек: http://market.yandex.ru/search.xml?hid=91011
2. Яндекс.Поиск: Полностью переписан парсер.
3. Яндекс.Поиск: Добавлено время в название директории.
4. Все парсеры: Иногда не добавлялись товары с символом `.
5. Все экспорты: Добавлено время в название экспорта.

###################################

***29 августа 2012**

Исправлено:

1. Ядро: Прокси работали не со всеми магазинами.
2. Cars.auto.ru: Теперь парсятся телефоны объявлений.
3. Slando.ru: Не парсились характеристики и описания у некоторых объявлений.
4. Wikimart.ru: Не верно парсился бренд.
5. Avito.ru: Не верно проставлялась ссылка на исходную страницу товара.

###################################

***27 августа 2012***

Исправлено:

1. Ядро: Не работали некоторые виды прокси.
2. Редактор товаров: Иногда разъезжалась таблица.
3. Hotline.ua: Не парсились некоторые товары и не верно создавались категории.
4. Hotline.ua: Не парсились бренды товаров.
5. Hotline.ua: Иногда появлялась характеристика без названия.
6. Torg.mail.ru: Полностью новый парсер.
7. Market.yandex.ru: Теперь умеет парсить товары без полного описания.
8. Slando: Не парсился список объявлений.
9. Slando: Не верно проверялись дубликаты объявлений.
10. Slando: Не парсились некоторые картинки.
11. Wikimart.ru: Не парсились характеристики.

###################################

***25 июня 2012***

Добавлено:

1. Экспорт CMSimple.
2. Экспорты с возможностью оставлять исходный размер картинок (Для этого нужно убрать цифры).
3. Ozone: Парсинг новых дополнительных характеристик.

Исправлено:

1. Wiki: Не создавались категории.
2. Wiki: Цены не парсит.
3. Wiki: Слипались некоторые характеристики.
4. Wiki: Не парсились некоторые описания.
5. Ozone: Более точнее стали парситься категории.
6. Ozone: Не парсились названия и описания товара.
7. Ozone: Не должным образом проверялись существующие категории.
8. Экспорт WebAsyst: Мелкие недочёты.
9. Ядро: Обработка капчи иногда происходила не верно.
10. Ядро: В некоторых случаях парсер не реагировал на команду "Остановиться".
11. Torg.mail.ru: Не верно рассчитывалось количество страниц.
12. Slando: Из-за смены дизайна и CMS, полностью переписан парсер.

###################################

***18 марта 2012***

Добавлено:

1. Новый модуль парсинга из поиска Яндекс.Маркет

Исправлено:

1. Ozon: не парсились характеристики у некоторых товаров.
2. Ozon: при применении фильтра парсер не переходил по страницам.
3. Ozon: исправлен парсер картинок.
4. Ozon: не находились некоторые описание товаров.
5. Ozon: в некоторых категориях парсил только первую страницу.
6. Ozon: из названий категорий убраны спец.символы.
7. Яндекс: исправлен выбор региона, в некоторых случаях сбивался.
8. Яндекс: исправлен парсер цен.
9. Яндекс: для некоторых категорий переработан метод парсинга характеристик.
10. Slando: полностью исправлен модуль.
11. WikiMart: исправлены проблемы при парсинге.
12. Экспорт PhpShop: исправлены недочёты.
13. Экспорт TXT: не выводилась ссылка на папку с файлами
14. Экспорт TXT: исправлен ошибочный тэг <letf>.
15. Экспорт TXT: файлы создавались с русскими буквами, теперь в транслите.
16. Экспорт 1C-Bitrix: переделан под новую версию CMS.
17. Экспорты: приведены к единому стилю.
18. Редактор: обновлён стиль и дизайн.

###################################

***4 февраля 2012***

Исправлено:

1. Парсинг цен в HotLine.ua.
2. ВикиМарт, были проблемы с кавычками.
3. В редакторе убрано редактирование характеристик.
4. Парсинг Товары@Mail.Ru т.к. не парсил некоторые категории.
5. Парсинг HotLine.ua и Ozon, дублировал первую страницу и не парсил дальше 2-й страницы

###################################

***17 декабря 2011***

Добавлено:

1. Экспорт в xml для WordPress

Исправлено:

1. Парсинг картинок и категорий с ВикиМарт.
2. Парсер Товары@Mail.Ru и HotLine.ua
3. Убрана функция по минимальным описаниям.
4. Защита ВикиМарт снята, теперь все характеристики парсятся.
5. Полностью переписан экспорт для OSCommerce под новый стандарт.

###################################

***19 ноября 2011***

Добавлено:

1. Новая площадка для парсинга Slando.ru

Исправлено:

1. Многопоточность в ВикиМарт.
2. При выборе отдельного бренда из категории, название категории = название бренда
3. Ошибка с полями в экспорте для OSCommerce.
4. Описание товаров и характеристик Озон.
5. Яндекс Бренды и мелкие недочёты.
6. В некоторых новых площадках не работала задержка.
7. В HotLine.ua не парсились некоторые категории.
8. Небольшие исправления интерфейса.
9. Появление примеров URL для каждой площадки.

###################################

***27 октября 2011***

Добавлено:

1. Парсинг avito.ru
2. Экспорт Zebrum Lite

Исправлено:
1. Парсинг картинок Озон.
2. В некоторых случаях, не работали прокси.
3. Noindex в названиях товаров WikiMart.
4. В редакторе вылезало пустое предупреждение.
5. Цены в Торг.Маил в некоторых случаях не парсились.
6. Парсинг описаний и удалены пустые характеристики на Озон
7. Пропуск парсинга некоторых характеристик на Hotline.ua
8. URL магазина пишется в категории.
9. Не парсились товары с Озон, когда только 1 страница.

###################################

***25 сентября 2011***

Добавлено:

1. Экспорт Zerber
2. Экспорт Insales
3. Экспорт Amiro.CMS
4. Экспорт Drupal e-Commerce
5. Экспорт Zebroid
6. 4-ре языка интерфейса
7. Автоматическая установка БД, через setup.php

Исправлено:

1. Дубликаты ID во всех экспортах.
2. Убраны пробелы в ценах в Я.Маркет и Маил.Торг.
3. Все настройки убраны в отдельный раздел.
4. МаилТорг, парсинг цены, когда указан диапазон цен.
5. Для Я.Маркет выбирается более точное название категории.
6. Убраны надписи "Новинка" в названиях товараха в Я.Маркет.
7. Оптимизирована БД для ускорения работы парсера и экспортов.

###################################

***1 сентября 2011***

Добавлено:

1. Парсинг нового украинского интернет-магазина Hotline.ua
2. Автопроставление рекомендуемых параметров задержки
3. Отображение количества товаров в категории во всех экспортах

Исправлено:

1. Парсинг ВикиМарт.
2. Парсинг Яндекс. Маркет

###################################

***30 июля 2011***

Добавлено:

1. Очередь заданий.
2. Синонимизация текста.
3. Парсинг новой площадки Cars.auto.ru
4. Инструкция по использованию парсера.

Исправлено:

1. Парсинг ВикиМарт.
2. Зацикливание прокси. Парсер сделает 5 попыток перебрать прокси.
3. В экспорте TextKit ошибка "Не задана ссылка на объект" при импорте.

###################################

***21 июня 2011***

Добавлено:

1. Указание "Точное\неточное вхождение ключевых слов".
2. Новые правила для парсинга категорий на Озон с нестандартной вёрсткой.
3. Парсинг дополнительной информации товаров на Озон.
4. Удаление\изменение категорий в редакторе товаров.
5. Добавили высота миниатюры в экспорт VirtueMart.
6. Экспорт в csv для 1С-Битрикс

Исправлено:

1. Ошибка с парсингом Озон, когда парсер показывал, что открыта пустая категория.
2. Поля в экспорте WebAsyst для авто выбора значений при импорте в админке.
3. Ошибка при парсинге товаров Яндекс.Маркет, когда у товара только маленькая картинка.
4. Экспорт ShopCMS.
5. Появление дублей при парсинге.
6. В экспорте VirtueMart убрано выбор информации для экспорта.
7. В экспорте VirtueMart появление лишних знаков препинания и тегов в описаниях товаров.

###################################

***29 мая 2011***

Добавлено:

1. Редактор товаров.
2. Выбор региона для Яндекс.Маркет.
3. Антикапча для Яндекс.Маркет
4. Объединены версии парсинга по файлу из тхт файла и стандартная версия.

Исправлено:

1. Улучшен интерфейс.
2. Исправлена фильтрация данных при парсинге МаркетГид.
3. Исправлена функция "Не парсить без картинки"
4. Небольшие поправки парсинга Яндекс.Маркет.

###################################

***28 апреля 2011***

* Ввиду изменения вёрстки на Яндекс.Маркете, полностью перенастроен парсинг + добавлен парсинг всех характеристик.
* Поправлен парсинг Озон и добавлена поддержка парсинга новых категорий, в которых вёрстка отличается от стандартных категорий.
* Исправлена ошибка экспорта из-за отсутствия полной картинки у товара на Озон.
* Исправлен экспорт VamShop.
* Исправлен экспорт PhpShop.

###################################

***7 марта 2011***

* Исправлена ошибка при парсинге с Озон.ру.
* Поправлен экспорт в csv для ShopScript Free.

###################################

***27 февраля 2011***

* Правильное отображение изображений в экспорте WebAsyst.
* Баг с обработкой больших изображений в экспорте OSCommerce.
* Поправлена работа прокси с нестандартными портами, сейчас работает с любыми портами прокси.
* Исправлен парсинг в виду изменений на торговых площадках.

###################################

***17 января 2011***

* Исправлена ошибка, когда скрипт не скачивал изображение, если не было увеличенной копии.
* Приватные прокси, т.е подключать платные прокси, требующие авторизации.
* Во всех экспортах показывается метка, с какой площадки категория товара.
* Теперь названия в папке export создаются на транслите.
* Подключили новый экспорт в CMS OSCommerce.
* Поправили другие мелкие баги в работе скрипта.

Год выпуска: 2013
Версия: v.8.8 04.01.2013
Платформа: Php
Язык интерфейса: Английский, русский, украинский, белорусский
Таблэтка: Не требуется

Скачать

***Скрытый текст***
Нажмите, чтобы раскрыть...

Это последняя версия?

terr · 14 фев 2014

блин зачем сполер на 100 постов делать? Из-за этого че приток пользователей? Или вам тупа форум заспамить нужно??
По теме не работает даже установочник

Internal Server Error

Alexono · 14 фев 2014

Не подскажите, потом в каом формате лучше выгружать для opencarta, то я вижу, что отдельно для этого движка не предусмотрено вариант?

Frolik · 13 мар 2014

А обратный экспорт из shopcms для opencart реализуем?

Парсер товаров интернет-магазинов 8.8 от 04.01.2013

marsrip

wbvetal86

terr

Alexono

Frolik