Формат yml парсер данных в html. Парсер контента: Внедрение парсинга XML(YML) файлов. Вкладка Основные настройки - Категории

20.06.2020

Введение. Краткое описание технологии парсинга Яндекс XML. Варианты применения: импорт из других движков магазнов + создание магазинов (или товарных разделов) для заработка на партнерках.

Решение ПЕРВОЙ задачи: автоматизированная переливка товаров со старого магазина на новый
Установка тестового магазина, своими силами
Открытие хостинга (бесплатный период) для установки магазина

Установка магазина инсталлятором

Вход в админку установленного магазина и первые действия по активации магазина

Очистка тестового магазина от демо-контента: удаление записей, рубрик, тегов, страниц, слайдов, баннеров, меню

Установка плагина парсера через админку плагинов
Создание проекта для парсинга
Краткий обзор, что такое Яндекс XML формат
Заполнение данных проекта, запуск анализа YML-источника
Запуск импорта
Пояснение отличия бесплатной версии парсера (с лимитом на 100 товаров) от платной (безлимитной)
Обзор результатов парсинга, внимание на совершенную ошибку
Откат импорта: удаление импортированного контента, проверка что все удалено.
Повторный импорт, обзор результатов: рубрики, записи.
Обзор импортированной записи в админке: название, описание, цена товара, миниатюра
Обзор перенесенных товаров на фронтенде сайта: архив рубрики товаров, страничка 1 товара

Создание главной страницы тестового магазина, с витриной. Тестовый магазин готов! Прототип магазина, на основе Вашего товара со старого магазина, можно тестировать.

Услуга переноса контента со старого магазина на новый, с помощью студии WP Shop
Краткое описание услуги
Очистка тестового магазина для импорта образца файла, который клиент получает после оказания услуги
Импорт образца файла, встроенным импортером ВордПресс
Обзор результатов импорта
Дополнительные сведения об услуге. Решим любые сложности.

Решение ВТОРОЙ задачи: создание псевдо-магазина (или раздела с товарами) для продажи товаров других интернет-магазинов
Общий обзор ситуаций, когда есть желание или необходимость поставить партнерский товар на свой сайт или магазин.
Основная сложность — автоматизация процесса переноса товаров и периодического обновления ассортимента. Плагин решает все эти проблемы

Практический кейс: ставим партнерский товар на свой магазин
Одно из преимуществ тем от студии WP Shop: замена действия по клику на кнопку «купить» в случае указания партнерской ссылки
ОБЯЗАТЕЛЬНЫЙ БЕКАП перед импортом сторонних товаров парсером
Установка парсера, пояснения отличия бесплатного парсера от платного. Демонстрация возможностей парсера на платной версии

Редактирование шаблона парсинга для добавления партнерских ссылок
Обзор редактора шаблонов парсинга: зона для контента записи, зона для дополнительных полей
Составление партнерской ссылки в редакторе шаблона парсинга
Запуск парсинга, обзор результатов: новые рубрики, новые товары. Обзор нового товара.
Демонстрация логики события по клику на кнопку «купить» — посетитель переходит на сайт магазина-поставщика.

Обновление данных и синхронизация ассортимента с магазином-источником
Обновления при изменении цен, ассортимента на магазине-источнике. Автоматизация экономит огромное количество времени и сил!
Реакция на изменение цен, пример обновления, обзор результата

Реакция на удаление товаров из источника: пример обновления, просмотр результатов. Товар не удаляется а становится в режим «нет в продаже»

Реакция на добавление товаров в источнике: пример обновления, просмотр результатов

Обновление товаров автоматически по расписанию: через крон сервера.
Обзор урла для обновления …/wp-admin/tools.php?iy-ajax&iy-project-id=1 &iy-project-action=update
Настройка крона на хостинге ХостЛенд: синтаксис команды на запуск и настройка периодичности запуска

Результаты срабатывания задания из крона: просмотр результатов

Импорт товаров из трех разных источников
Копирование шаблона из предыдущего проекта
Изменяем структуру партнерской ссылки
Запуск мпорта товаров из второго магазина. Обзор источника XML второго магазина. Просмотр результатов импорта

Пояснения по импорту из полей «param» — они автоматически пишутся в произвольные поля

Обзор результатов импорта из второго магазина
Обзор логики вывода «связанных товаров» в товарной записи

Импорт из третьего магазина
Обзор особенностей XML-фида из партнерского агрегатора Mixmarket.biz для настройки его парсинга
Редактирование шаблона импорта под третий магазин
Запуск импорта
Обзор результатов

Исправление ошибок, выявленных после парсинга
Удаление импортированного контета
Изменение партнерской ссылки, удаление лишнего параметра
ВАЖНАЯ информация по теме риска писсимизации поисковиками в связи с прямым переносом контента с других сайтов: нужно закрывать перенесенный контент NOINDEX и NOFOLLOW!
Пояснения, зачем нужно закрывать импортированные товары от индексации на своем сайте
Пояснение, как сделать страницу из чужих товаров, повысив уровень оригинальности, за счет «замешивания» между собой товаров из разных партнерок, а так же статей и прочего
Пояснение, как технически исключить запись импортированного товара из индексации, через мета-тег «robots» и плагине Platinum SEO
Исправляем шаблон импорта для того чтобы прописать всем импортированным товарам запрет на индексацию поисковиками
Запуск импорта, просмотр результата. Убеждаемся что все импортированные записи защищены от индексации. Риск писсимизации за плагиат уменьшен (снят).

Заключение. Парсер от WP Shop — удобный инструмент для «манимейкеров». Команда WP Shop поддержит всех, но в приоритете те пользователи, которые пользуются платными продуктами или услугами, либо .
Пример парсинга массива на 14000 товаров, на «мощном» севрере. Тем кто хочет заниматься парсингом в «промышленных масштабах» — дополнтельные услуги: установка и конфигурация серверов и персональные доработки парсера.

Плагин позволяет импортировать товары из других магазинов через Yandex XML feed, который используется магазинами для торговли на Яндекс.Маркете.
Товары импортируются в структуру плагина магазина WP Shop. Работает автоматическая синхронизация товаров с источником, которую можно запускать как вручную, так и через крон.
Незаменимый инструмент для:
1. Переноса магазина с любых других движков на WordPress WP-Shop
2. Построения партнерских магазинов, для зарабатывания на партнерской комиссии по модели CPS

Для работы приложения требуется IonCube Loader!

Arbitrary section 1

Часто задаваемые вопросы

Installation Instructions

Upload plugin «WP Shop YML Parser» to the /wp-content/plugins/ directory
Activate the plugin «WP Shop YML Parser» through the ‘Plugins’ menu in WordPress
See full userguide how to set up your «WP Shop YML Parser»

A question that someone might have

Visit the site wp-shop.ru for help.

Отзывы

Ни в коем случае не связывайтесь с этими разработчиками и ничего у них не покупайте. Тот функционал, который они обещают в про версии - обман. Они просто возьмут с вас деньги, а потом от всего откажутся, в том числе от поддержки. Просто посмотрите их кривой сайт и полуживую документацию и сами всё поймёте!

Журнал изменений

Version: 0.9
-project_as_field
-id_as_field

Version: 0.8
-template_price (custom price tag)

Version: 0.7
-fields_update — new setting to update custom fields in projects

Version: 0.6
-Sample xml parser replaced by SAX parser that better for memory management

Version: 0.5
-improovments

Version: 0.4
-bulk analizing
-clone project by category

Version: 0.3
-link to docs

Version: 0.2
-local feeds enable
— source as file enable
— addition yml options

Version: 0.1
-initial relese

(PECL yaml >= 0.4.0)

yaml_parse — Разбирает поток YAML

Описание

yaml_parse (string $input [, int $pos = 0 [, int &$ndocs [, array $callbacks = NULL ]]]) : mixed

Конвертирует весь поток YAML или его часть и записывает в переменную.

Список параметров

Строка для парсинга как поток YAML.

Документ для разбора (-1 для всех документов, 0 для первого документа, ...).

Если ndocs найден, тогда он будет заменен на количество документов в потоке YAML.

Возвращаемые значения

Возвращает значение, закодированое в input , в соответствующем типе PHP или FALSE в случае возникновения ошибки. Если параметр pos равен -1 , будет возвращен массив, содержащий по одной записи для каждого документа, найденого в потоке.

Примеры

Пример #1 Пример использования yaml_parse()

$yaml = <<---
invoice: 34843
date: "2001-01-23"
bill-to: &id001
given: Chris
family: Dumars
address:
lines: |-
458 Walkman Dr.
Suite #292
city: Royal Oak
state: MI
postal: 48046
site: zxibit.esy.es
ship-to: *id001
product:
- sku: BL394D
quantity: 4
description: Basketball
price: 450
- sku: BL4438H
quantity: 1
description: Super Hoop
price: 2392
tax: 251.420000
total: 4443.520000
comments: Late afternoon is best. Backup contact is Nancy Billsmer @ 338-4338.
...
EOD;

$parsed = yaml_parse ($yaml );
var_dump ($parsed );
?>

Результатом выполнения данного примера будет что-то подобное:

array(8) { ["invoice"]=> int(34843) ["date"]=> string(10) "2001-01-23" ["bill-to"]=> &array(3) { ["given"]=> string(5) "Chris" ["family"]=> string(6) "Dumars" ["address"]=> array(4) { ["lines"]=> string(34) "458 Walkman Dr. Suite #292" ["city"]=> string(9) "Royal Oak" ["state"]=> string(2) "MI" ["postal"]=> int(48046) } } ["ship-to"]=> &array(3) { ["given"]=> string(5) "Chris" ["family"]=> string(6) "Dumars" ["address"]=> array(4) { ["lines"]=> string(34) "458 Walkman Dr. Suite #292" ["city"]=> string(9) "Royal Oak" ["state"]=> string(2) "MI" ["postal"]=> int(48046) } } ["product"]=> array(2) { => array(4) { ["sku"]=> string(6) "BL394D" ["quantity"]=> int(4) ["description"]=> string(10) "Basketball" ["price"]=> int(450) } => array(4) { ["sku"]=> string(7) "BL4438H" ["quantity"]=> int(1) ["description"]=> string(10) "Super Hoop" ["price"]=> int(2392) } } ["tax"]=> float(251.42) ["total"]=> float(4443.52) ["comments"]=> string(68) "Late afternoon is best. Backup contact is Nancy Billsmer @ 338-4338." }

Станислав Шашалевич

Парсер контента – наше глобальное и передовое решение, которое позволяет парсить каталоги, страницы и rss ленты. Казалось бы, что еще можно требовать от данного модуля?! Но не тут-то было. Наши клиенты не стоят на месте и постоянно требуют от нас развития решения. А мы этому только рады. И вот теперь мы хотим сообщить, что удовлетворили еще одну очень важную просьбу наших клиентов: Парсинг XML файлов. Теперь Парсер может работать не только с rss, page, catalog типами данных, но и с xml . И что самое главное: внедрение такого полезного функционала никак не повлияет на стоимость решения. Цена решения в 14 990 руб. останется неизменной.

Парсинг xml файлов позволяет парсить и такой полезный для интернет-магазинов формат, как YML файлы. Именно поэтому xml парсер по умолчанию настроен для парсинга yml выдачи. Но тут же у наших клиентов может возникнуть вопрос: А чем же ваша загрузка YML файлов отличается от аналогичных решений в Маркетплейсе. Вот список некоторых преимуществ нашего модуля над аналогами:

возможность конвертации и пересчета валют
возможность изменения цен
возможность редактирования названия и свойств товаров
возможность указания свойств по умолчанию
возможность авторизации на стороннем сервере
выполнять различные действия над элементами, которые отсутствуют в текущей выгрузке(ничего не делать, удалить, деактивировать)
автоматический перевод текста
возможность периодического запуска (агенты, крон)
возможность указания полей и свойств для обновления
возможность использования прокси-сервера

Если сравнивать парсинг xml с catalog , то парсинг xml уже на первый взгляд проще: меньше вкладок, полей и другой информации. Скорость загрузки информации тоже быстрее, так как отсутствует множество тяжелых запросов на сторонние сайты.

Суть парсинга осталась аналогичная: обработка xml файла идет по селекторам и атрибутам. Так что, если вы уже настраивали парсер catalog , то настройка парсера нового типа для Вас пройдет просто и легко.

А теперь давайте подробнее рассмотри функциональность нового типа данных:

Вкладка Парсер:

Тип парсера – соответственно и есть тип парсера: rss, page, catalog, xml

Режим парсера – режим, в котором работает парсер. Существует два режима работы: debug и work. По умолчанию для отладки используется debug режим. Именно в этом режиме необходимо настраивать парсер. В debug режиме осуществляется парсинг первых 30 элементов XML файла.

Стоит отметить, что, если вы используете модуль «Парсер контента» в триал версии, то парсер работает только в дебаг режиме.

Дополнительные урлы XML файлов - вы можете также включить в выгрузку и другие урлы xml файлов. Для этого просто укажите их с новой строки.

ID инфоблока-каталога – инфоблок, в который будет осуществляться загрузка разделов и товаров.

ID раздела – раздел инфоблока, в который будет осуществляться загрузка разделов и товаров.

Количество товаров, выгружаемых за один шаг парсера – количество товаров, который парсер обрабатывает за один шаг. По умолчанию 300

Шаг парсера – понятие, которое имеет место при ручном режиме запуска парсера. В этом случае каждый шаг происходит отключение и новое подключение к каналу выгрузки. Варьируйте это значение в зависимости от возможностей вашего хостинга. Если парсер работает от агента(крон), то шаг парсера игнорируется, и выгрузка осуществляется одним запросом.

Активен, Сортировка, Название, Время последнего запуска – интуитивно понятные поля и в комментариях не нуждаются.

Кодировка - кодировка xml файла. Устаревшее поле. На данный момент кодировка определяется автоматически, но, если возникают какие-то проблемы с кодировкой, то рекомендуется указать вручную.

Вкладка Основные настройки - Категории

Пример XML файла для категорий:

Селектор-атрибут названия категории – указывается путь к названию категории. Если пусто, то название берется из значения самой категории

Селектор-атрибут, содержащий id категории – путь к id категории.

Селектор-атрибут, содержащий id родительской категории – для организации вложенности разделов необходимо указать пусть к значению родительского id категории.

Вкладка Основные настройки - Товары

Пример XML файла для товаров:

Селектор конкретного товара – путь к контейнеру конкретного товара

Селектор-атрибут, содержащий id товара – путь к id товара

Селектор-атрибут названия товара – путь к наименованию товара

Селектор-атрибут цены – контейнер, содержащий значение цены товара

Селектор-атрибут описания – содержит описание товара

Селектор-атрибут превью картинки – путь к картинке

Селектор-атрибут детальной картинки – путь к картинке

Вкладка Свойства

Свойство доп. картинок – если есть доп. картинки, то необходимо указать поля, в которые будет осуществляться выгрузка картинок.

Селектор-атрибут перечисления доп. картинок – указывается селектор и атрибут доп. картинок. Пример picture. Указывается относительно селектора товара.

Значения свойств по умолчанию – можно указать значения свойств, которые будут заноситься по умолчанию автоматически при создании товаров

Парсинг по селектору – вы можете указать конкретный селектор свойства, который находится внутри селектора товара в xml. Например: vendor, barcode

Удалять символы – также вы можете удалять лишние символы в свойствах(единицы измерения и прочее)

Парсинг свойств и автоматическое создание - позволяет автоматически создавать, заполнять и обновлять свойства, которые идут списком в xml файле.

Уникализация свойств в данном случае идет по наименованию.

Автоматическое создание свойств – если галочка отмечена, то, в случае отсутствия свойства, оно будет создавать. Если свойство уже есть

Селектор-атрибут перечисления свойств – общий селектор, в котором находятся информация о свойстве

Селектор-атрибут названия свойства – путь расположения названия свойства. Напоминаем, что это важный параметр, так как уникализация в данном случае идет именно по этому параметру.

Селектор-атрибут значения свойства – путь к значению свойства. Если ничего не задано, то значение берется непосредственно из селектора свойства

Выберите тип создаваемых свойств – если свойства не создавались, то они будут созданы. Необходимо выбрать тип новых свойств из значений: Список или Строка.

Удалять символы – позволяет удалять лишние символы из свойств.

Добавление/удаление символов полей и свойств – функционал, позволяющий добавлять и удалять символы и названия товара, а также у его свойств.

Вкладки Торговый каталог, Дополнительные настройки, Обновления/уникальность, Логи, Видео-инструкци идентичны парсеру типа catalog . Поэтому подробно их рассматривать не будем.

Вкладка Торговый Каталог