Парсинг на основе sitemap.xml через PHP
Зачастую на сайте есть файл карты сайта sitemap.xml.
В этом файле хранятся ссылки на все страницы
сайта для удобства индексации их поисковыми системами
(индексация - это по сути и есть парсинг
сайта яндексом и гуглом). Об устройстве этого
файла вы можете прочитать в
википедии.
Наличие такого файла избавляет нас от получения всех адресов сайта какими-то хитрыми методами. Нам достаточно получить содержимое файла и отделить адреса целевых страниц от нецелевых.
Для того, чтобы проверить наличие
этого файла на любом сайте, просто
в адресной строке браузера после
имени домена вбейте sitemap.xml
и нажмите Enter. Если что-то
откроется, то можно пробовать эту
методику, а если нет - то этот метод
к данному сайту не применим. Иногда
путь к карте сайта не стандартный,
а содержится в файле robots.txt.
При наличии такого файла мы легко можем получить его следующим образом:
<?php
$xml = simplexml_load_file('http://targ.loc/sitemap.xml');
?>
А затем перебрать циклом записи и отделить урлы целевых страниц от нецелевых.
Поизучайте в интернете различные сайты. Определите, есть ли у них карта сайта.
Возьмите сайт, у которого есть карта, и спарсите с него страницы со контентом.