Semalt: Блокуйте доступ до вмісту вашого сайту мета-тегами та файлами Robots.txt

Джейсон Адлер, менеджер із успішності клієнтів Semalt , каже, що можна контролювати те, чим ділитися з Bing, Yahoo та Google, коли ви зберігаєте дані в безпеці та не ділитесь ними в Інтернеті. Дані, які потрібно зберігати в таємниці, включають контактну інформацію, ідентифікатор PayPal, дані кредитної картки, імена користувачів та паролі. Ви повинні заборонити індексувати цей тип інформації в Google та інших пошукових системах. Що стосується блокування URL-адрес вашого веб-сайту, ви можете зупинити Google та інші пошукові системи від сканування певних сторінок чи статей. Це означає, що коли люди пройдуть результати пошуку, вони не побачать і не перейдуть до заблокованих URL-адрес. Крім того, вони не зможуть отримати доступ до його вмісту, і ви можете зупинити показ багатьох статей у результатах пошуку Google. Ось як заблокувати доступ до вмісту вашого веб-сайту:

Блокуйте пошукову індексацію метатегами: Ви можете легко заблокувати показ сторінок у пошукових системах, коли використовуєте неіндексовані метатеги у HTML-коді свого сайту. Googlebot сканує сторінки, на яких немає цього метатега, і відхиляє ваші конкретні сторінки з результатів пошуку завдяки цьому. Скажемо, що цей метатег буде працювати лише тоді, коли ваш файл robots.txt не змінений.

Блокуйте URL-адреси за допомогою файлів robots.txt: Файл Robots.txt розташований у корені вашого веб-сайту та вказує частину вашого веб-сайту, яку ви не хочете, щоб сканери пошукових систем та павуки індексували. Він використовує Стандарт виключення роботів - протокол із набором команд, що вказують, де та як веб-сканери отримають доступ до вашого сайту. Robots.txt також допомагає запобігти появі зображень у результатах пошуку, але не забороняє користувачам пов'язувати ваш сайт із власними сторінками. Перед редагуванням слід пам’ятати про обмеження та обмеження файлів robots.txt. Деякі механізми гарантують, що URL-адреси блоковані належним чином. Інструкції robots.txt - це директиви, які означають, що вони не можуть нав'язувати поведінку веб-сканерів. Усі сканери інтерпретують синтаксис по-своєму, а файли robots.txt не можуть перешкоджати посиланням на ваше посилання з інших веб-сайтів. Google добре виконувати директиви файлів robots.txt, але пошукова система може не індексувати заблокований веб-сайт через свою політику.

Відмовитися від Google Local і Google Properties: Ви можете заблокувати показ вмісту в різних ресурсах Google, коли він був індексований. Сюди входить Google Local, Google Flights, Google Shopping і Google Hotels. Коли ви вирішите відмовитись від показу у всіх цих торгових точках, ваш сканований вміст не буде перераховано чи оновлений. Будь-яка стаття, що відображається на будь-якій із цих платформ, буде видалена через 30 днів після відмови.

Висновок:

Важливо приховати від своїх відвідувачів менш цінний і корисний контент. Якщо ваш веб-сайт має подібні теми у кількох місцях, це може залишити негативне враження у пошукових системах та ваших відвідувачів. Ось чому ви повинні ховати всі ці сторінки та не дозволяти пошуковим системам їх індексувати. Позбавтеся від вмісту від сторонніх. Ви повинні будь-якою ціною позбутися стороннього вмісту, який не є цінним для вашого сайту. Не дозволяйте Google бачити, що ви обмінюєтеся вмістом третьої сторони, оскільки пошукова система в цьому випадку побачить меншу цінність на вашому веб-сайті. Коли ви скопіювали вміст з великої кількості сайтів, Google може вас штрафувати, і ви можете заблокувати повторювані статті, щоб поліпшити свої позиції в Google.