Seiteninhalt mit cURL abrufen

In diesem Zusammenhang möchten Sie den Inhalt einer Google-Suchergebnisseite mit cURL durchsuchen. Trotz der Versuche, Benutzeragenten und verschiedene Optionen festzulegen, ist Ihnen ein erfolgreicher Abruf des Seiteninhalts nicht gelungen. Weiterleitungen oder „Seite verschoben“-Fehler beeinträchtigen Ihre Bemühungen weiterhin.

Es wird angenommen, dass das Problem von der Kodierung von Sonderzeichen in der Abfragezeichenfolge herrührt. Um dies zu mildern, sind Änderungen an Ihrem PHP-Code erforderlich.

Hier ist der Ansatz:

function get_web_page($url)
{
    $user_agent = 'Mozilla/5.0 (Windows NT 6.1; rv:8.0) Gecko/20100101 Firefox/8.0';

    $options = array(
        CURLOPT_CUSTOMREQUEST => "GET",
        CURLOPT_POST           => false,
        CURLOPT_USERAGENT      => $user_agent,
        CURLOPT_COOKIEFILE     => "cookie.txt",
        CURLOPT_COOKIEJAR      => "cookie.txt",
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_HEADER         => false,
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_ENCODING       => "",
        CURLOPT_AUTOREFERER    => true,
        CURLOPT_CONNECTTIMEOUT => 120,
        CURLOPT_TIMEOUT        => 120,
        CURLOPT_MAXREDIRS      => 10
    );

    $ch = curl_init($url);
    curl_setopt_array($ch, $options);
    $content = curl_exec($ch);
    $err = curl_errno($ch);
    $errmsg = curl_error($ch);
    $header = curl_getinfo($ch);
    curl_close($ch);

    $header['errno']   = $err;
    $header['errmsg']  = $errmsg;
    $header['content'] = $content;
    return $header;
}

Verwendung:

$result = get_web_page($url);

if ($result['errno'] != 0) {
    // Handle errors: bad URL, timeout, redirect loop
}

if ($result['http_code'] != 200) {
    // Handle errors: no page, no permissions, no service
}

$page = $result['content'];

Mit diesem Code können Sie nun den genauen Seiteninhalt abrufen, wie er in Ihrem Browser angezeigt wird. Indem Sie die Sonderzeichen in der Abfragezeichenfolge berücksichtigen, können Sie die Hindernisse überwinden, mit denen Sie zuvor konfrontiert waren.