Google indexing api 403 ошибка

I’m trying to use the Google Indexing API using the PHP client library.

This is my code:

    $client = new Google_Client();

    //use the private key that we created for our service account.
    $client->setAuthConfig(storage_path('google_auth_config.json'));    //this works
    $client->addScope('https://www.googleapis.com/auth/indexing');

    // Get a Guzzle HTTP Client
    $httpClient = $client->authorize();
    $endpoint = 'https://indexing.googleapis.com/v3/urlNotifications:publish';

    $content = '{
      "url": "https://myverifieddomain.com/url",
      "type": "URL_UPDATED"
    }';

    $response = $httpClient->post($endpoint, [ 'body' => $content ]);
    $status_code = $response->getStatusCode();

The auth part works.

However, the $status_code I get is 403. Here’s the full $response:

object(GuzzleHttpPsr7Response)#2233 (6) {
  ["reasonPhrase":"GuzzleHttpPsr7Response":private]=>
  string(9) "Forbidden"
  ["statusCode":"GuzzleHttpPsr7Response":private]=>
  int(403)
  ["headers":"GuzzleHttpPsr7Response":private]=>
  array(11) {
    ["Vary"]=>
    array(3) {
      [0]=>
      string(8) "X-Origin"
      [1]=>
      string(7) "Referer"
      [2]=>
      string(22) "Origin,Accept-Encoding"
    }
    ["Content-Type"]=>
    array(1) {
      [0]=>
      string(31) "application/json; charset=UTF-8"
    }
    ["Date"]=>
    array(1) {
      [0]=>
      string(29) "Fri, 24 Jun 2022 10:26:02 GMT"
    }
    ["Server"]=>
    array(1) {
      [0]=>
      string(3) "ESF"
    }
    ["Cache-Control"]=>
    array(1) {
      [0]=>
      string(7) "private"
    }
    ["X-XSS-Protection"]=>
    array(1) {
      [0]=>
      string(1) "0"
    }
    ["X-Frame-Options"]=>
    array(1) {
      [0]=>
      string(10) "SAMEORIGIN"
    }
    ["X-Content-Type-Options"]=>
    array(1) {
      [0]=>
      string(7) "nosniff"
    }
    ["Alt-Svc"]=>
    array(1) {
      [0]=>
      string(162) "h3=":443"; ma=2592000,h3-29=":443"; ma=2592000,h3-Q050=":443"; ma=2592000,h3-Q046=":443"; ma=2592000,h3-Q043=":443"; ma=2592000,quic=":443"; ma=2592000; v="46,43""
    }
    ["Accept-Ranges"]=>
    array(1) {
      [0]=>
      string(4) "none"
    }
    ["Transfer-Encoding"]=>
    array(1) {
      [0]=>
      string(7) "chunked"
    }
  }
  ["headerNames":"GuzzleHttpPsr7Response":private]=>
  array(11) {
    ["vary"]=>
    string(4) "Vary"
    ["content-type"]=>
    string(12) "Content-Type"
    ["date"]=>
    string(4) "Date"
    ["server"]=>
    string(6) "Server"
    ["cache-control"]=>
    string(13) "Cache-Control"
    ["x-xss-protection"]=>
    string(16) "X-XSS-Protection"
    ["x-frame-options"]=>
    string(15) "X-Frame-Options"
    ["x-content-type-options"]=>
    string(22) "X-Content-Type-Options"
    ["alt-svc"]=>
    string(7) "Alt-Svc"
    ["accept-ranges"]=>
    string(13) "Accept-Ranges"
    ["transfer-encoding"]=>
    string(17) "Transfer-Encoding"
  }
  ["protocol":"GuzzleHttpPsr7Response":private]=>
  string(3) "1.1"
  ["stream":"GuzzleHttpPsr7Response":private]=>
  object(GuzzleHttpPsr7Stream)#2221 (7) {
    ["stream":"GuzzleHttpPsr7Stream":private]=>
    resource(767) of type (stream)
    ["size":"GuzzleHttpPsr7Stream":private]=>
    NULL
    ["seekable":"GuzzleHttpPsr7Stream":private]=>
    bool(true)
    ["readable":"GuzzleHttpPsr7Stream":private]=>
    bool(true)
    ["writable":"GuzzleHttpPsr7Stream":private]=>
    bool(true)
    ["uri":"GuzzleHttpPsr7Stream":private]=>
    string(10) "php://temp"
    ["customMetadata":"GuzzleHttpPsr7Stream":private]=>
    array(0) {
    }
  }
}

I’ve enabled the API as instructed here.

The service account is added as an owner as instructed here.

I have no idea what else I can do. The error message doesn’t appear to have any additional information.

Долгое время головной болью вебмастеров было уведомление Google о том, что какие-то странички на их сайте появились или исчезли. Теперь тихо и без особых фанфар появилась такая фича, как Google Indexing API. Сам Google сообщает

Фактически же это хорошая замена канувшим уже в лету и плохо работающим пингерам, которые я все равно еще не отключал… Приходит бот и ладно…

Но, вернемся к Google Indexing API.

Во-первых, подчеркну, что работает API для всех страниц. По крайней мере, у меня никаких JobPosting нет, только Article, но странички заходят влет.

Во-вторых, не ожидайте напихать в индекс мусор. Бот придет, страничку подберет, а потом может и выкинуть. Все правила, распространяющиеся на запрос индексации в консоли, распространяются и на API.

Вот основная справка:

Да, от sitemap отказываться все равно не рекомендую. Не путайтесь, что вам там рассказывают по ссылке выше.

Необходимо создать проект и сервисную учетку. Она будет конских размеров и к вашему емейлу отношения иметь не будет. Да, на учетках GSuite все тоже замечательно работает. В смысле, что авторизоваться для настройки всего этого счастья можно и из под GSuite-учетки. Я когда упирался, собирался уже найти свою старую гугловую учетку, вот это делать не надо.

Создадите учетку, главное, что нужно сделать — получить JSON-файлик этой самой учетки и, 100 раз подчеркиваю, учетку добавить в Search Console, как владельца(!) не полную, а именно владельца. Иначе Google Indexing API будет выдавать вам ошибку 403, доводя до отчаяния и матов, как меня.

Все описания, которые сейчас есть в интернете, описывают, как добавить владельца в старой версии консоли. Я решил этот квест за вас. Заходите в , но не спешите жмакать в «Добавить пользователя». У вас есть владелец уже в списке, вот тыкайте в три точки справа от надписи «Владелец»

это как раз то, что вам нужно. Вот в том разделе и добавьте делегированного владельца, ту сервисную учетку, которую вы завели раньше.

Дальше все достаточно просто, кидаете себе на хост где-то файлик (я использую PHP, соответственно, файлик брал на этом языке)

require_once 'google-api-php-client/vendor/autoload.php';

$client = new Google_Client();

// service_account_file.json is the private key that you created for your service account.
$client->setAuthConfig('service_account_file.json');
$client->addScope('https://www.googleapis.com/auth/indexing');

// Get a Guzzle HTTP Client
$httpClient = $client->authorize();
$endpoint = 'https://indexing.googleapis.com/v3/urlNotifications:publish';

// Define contents here. The structure of the content is described in the next step.
$content = '{
  "url": "https://olegon.ru",
  "type": "URL_UPDATED"
}';

$response = $httpClient->post($endpoint, [ 'body' => $content ]);
$status_code = $response->getStatusCode();

Кто бы что ни придумывал, на HTTPS ресурсы работают замечательно. В setAuthConfig укажете путь к файлику, который вы получили раньше, при заведении сервисной учетки. Все, больше ничего не надо. Можете $status_code себе выводить на первое время. Никакие приседания и дополнительные авторизации не требуются, в т.ч. через Oauth2, как я сначала искал. В $status_code должно быть 200, если заявка на индексирование принята.

Некоторый геморрой я получил при попытке зацепить библиотечку на которой вышеуказанный пример работает. Дело в том, что на данный момент релизнулась версия 2.6, однако, к моему удивлению, ни git clone, ни прямое скачивание по линкам исходников версии не давали полный комплект файлов. Все время чего-то не хватало. Так вот, чтобы хватало, берите 2.5 и конкретно файл google-api-php-client-2.5.0.zip оттуда, а не исходники.

Необходимо упомянуть, что я еще включил API в консоли точно не могу сказать, что это обязательно. Однако, включил и с этим работает. Заодно и позволяет видеть, что оно работает.

Задавайте вопросы, если что-то не описал, поправляйте…