# Поэтапный метод парсинга сайтов в PHP

На больших сайтах обычная ситуация, когда на главной странице мы парсим ссылки на страницы категорий, а на страницах категорий мы уже парсим ссылки на целевые страницы. Парсинг таких сайтов осуществляется в несколько этапов. Давайте посмотрим, как это делается.

Пусть на главной странице у нас стоят ссылки на страницы категорий:

`<nav> <a href="http://targ.loc/1/">1</a> <a href="http://targ.loc/2/">2</a> <a href="http://targ.loc/3/">3</a> </nav>`

Пусть на каждой странице категории стоят ссылки на страницы статей, тексты которых мы хотим спарсить:

`<nav> <a href="http://targ.loc/1/1.html">1</a> <a href="http://targ.loc/1/2.html">2</a> <a href="http://targ.loc/1/3.html">3</a> </nav>`

Давайте выполним многоэтапный парсинг:

`<?php $href0 = 'http://targ.loc/'; $text0 = getPage($href0); $hrefs1 = getHrefs($text0); foreach ($hrefs1 as $href1) { $text1 = getPage($href1); $hrefs2 = getHrefs($text1); foreach ($hrefs2 as $href2) { $text2 = getPage($href2); var_dump($text2); } } ?>`

Скачайте сайт по ссылке targ1.zip и разверните его у себя. Напишите парсер, который спарсит все конечные страницы и получит содержимое тегов `title` и `main`.

Модифицируйте предыдущую задачу так, чтобы тайтлы и тексты страниц сохранялись в базу данных.

← →
↑