Парсинг PHP: Функция file_get_contents

Функция file_get_contents() — это базовый инструмент для получения данных в PHP, который часто используется для простого парсинга сайтов, API и файлов. Несмотря на свою простоту, при правильном использовании она может решать достаточно широкий круг задач.

В этой статье разберём не только основы, но и практические приёмы, ограничения и улучшенные подходы.

Как работает file_get_contents() при парсинге

При обращении к URL функция выполняет HTTP-запрос и возвращает тело ответа:

$html = file_get_contents('https://example.com');

Фактически происходит:

Отправка GET-запроса
Получение ответа от сервера
Возврат HTML как строки

Важно: file_get_contents() не является парсером — это только инструмент получения данных.

Использование контекста потока (stream context)

По умолчанию запрос очень простой и легко блокируется сайтами. Поэтому в реальных задачах почти всегда используют контекст запроса.

Пример с User-Agent

$context = stream_context_create([
    'http' => [
        'method' => 'GET',
        'header' => "User-Agent: Mozilla/5.0\r\n"
    ]
]);

$html = file_get_contents('https://example.com', false, $context);

Зачем это нужно:

многие сайты блокируют «пустые» запросы
можно имитировать браузер

Добавление заголовков

$context = stream_context_create([
    'http' => [
        'header' => implode("\r\n", [
            "User-Agent: Mozilla/5.0",
            "Accept: text/html",
            "Accept-Language: ru-RU,ru;q=0.9",
            "Connection: close"
        ])
    ]
]);

Работа с POST-запросами

$data = http_build_query([
    'login' => 'test',
    'password' => '123456'
]);

$context = stream_context_create([
    'http' => [
        'method' => 'POST',
        'header' => "Content-type: application/x-www-form-urlencoded",
        'content' => $data
    ]
]);

$result = file_get_contents('https://example.com/login', false, $context);

Обработка ошибок и таймауты

По умолчанию функция плохо обрабатывает ошибки, поэтому важно контролировать поведение.

Таймаут запроса

$context = stream_context_create([
    'http' => [
        'timeout' => 5
    ]
]);

Проверка результата

$html = @file_get_contents($url);

if ($html === false) {
    echo 'Ошибка запроса';
}

Получение HTTP-кода ответа

file_get_contents($url, false, $context);

$status = $http_response_header[0] ?? '';
echo $status;

Пример результата:

HTTP/1.1 200 OK

Парсинг HTML после загрузки

После получения HTML нужно извлечь данные.

Способ 1: DOMDocument (рекомендуется)

$dom = new DOMDocument();
libxml_use_internal_errors(true);

$dom->loadHTML($html);

$links = $dom->getElementsByTagName('a');

foreach ($links as $link) {
    echo $link->getAttribute('href') . PHP_EOL;
}

Преимущества:

корректно работает с HTML
устойчив к ошибкам разметки

Способ 2: XPath

$xpath = new DOMXPath($dom);
$nodes = $xpath->query('//h2');

foreach ($nodes as $node) {
    echo $node->textContent . PHP_EOL;
}

Способ 3: регулярные выражения (ограниченно)

preg_match_all('/<title>(.*?)<\/title>/i', $html, $matches);
print_r($matches[1]);

Использовать осторожно:

плохо подходит для сложного HTML
легко ломается

Работа с JSON и API

Часто file_get_contents() используют не для HTML, а для API:

$json = file_get_contents('https://api.example.com/data');
$data = json_decode($json, true);print_r($data);

Это один из самых распространённых сценариев.

Ограничения file_get_contents()

1. Нет гибкости HTTP

нет удобной работы с cookies
нет редиректов (в полном контроле)
нет детального контроля соединения

2. Блокировки со стороны сайтов

Многие сайты:

блокируют запросы без User-Agent
требуют cookies
используют защиту (Cloudflare и др.)

3. Ограничения по памяти

Функция загружает всё сразу в память:

// плохо для больших файлов
file_get_contents('large_file.zip');

4. Зависимость от allow_url_fopen

Если настройка отключена — HTTP работать не будет.

Когда стоит использовать

Подходит для:

простого парсинга страниц
получения JSON API
быстрых скриптов
внутренних задач

Не подходит для:

сложного веб-скрейпинга
авторизации и сессий
обхода защиты сайтов
высоконагруженных систем

Лучшие практики

1. Всегда задавайте заголовки

Минимум — User-Agent

2. Используйте таймауты

Чтобы не зависал скрипт

3. Проверяйте ответ

Не доверяйте результату без проверки

4. Используйте DOM вместо regex

Это надёжнее

5. Кэшируйте результат

Чтобы не делать лишние запросы

Альтернативы

Когда file_get_contents() уже недостаточно:

cURL — для гибких HTTP-запросов
Guzzle — для сложных проектов
Symfony HTTP Client — современный подход

Итог

file_get_contents() — это простой, но мощный инструмент для получения данных в PHP. При правильной настройке (контекст, заголовки, обработка ошибок) он подходит для большинства базовых задач парсинга.

Однако для сложных сценариев лучше использовать более специализированные инструменты, так как возможности этой функции ограничены.