Блог за настройките на приставките на WordPress и оптимизацията за търсачки за начинаещи уеб администратори. Бърз начин за проверка на индексирането на страници в Yandex и Google Изпратете за индексиране

Доста често нов сайт не може да бъде намерен в Yandex. Дори ако въведете името му в лентата за търсене. Причините за това може да са различни. Понякога търсачките просто все още не знаят, че се е появил нов ресурс. За да разберете какво се случва и да разрешите проблема, трябва да регистрирате сайта си в Yandex.Webmaster.

Какво е индексиране на сайтове в Yandex

Първо, нека да разберем как търсачките обикновено научават за нови сайтове или промени в тях. Yandex има специална програма, наречена робот за търсене.Този робот сърфира в интернет и търси нови страници. Понякога отива при стари и проверява дали не се е появило нещо ново по тях.

Когато роботът намери полезна страница, той я добавя към своята база данни.Тази база данни се нарича индекс за търсене. Когато търсим нещо в търсенето, виждаме сайтове от тази база данни. Индексирането е, когато роботът добавя нови документи там.

Един робот не може да обхожда целия интернет всеки ден. Той няма достатъчно сила за това. Следователно той има нужда от помощ - да докладва за нови страници или промени в стари.

Какво е Yandex.Webmaster и защо е необходимо?

Yandex.Webmaster е официална услуга на Yandex. Трябва да добавите уебсайт към него, така че роботът да знае за съществуването му. С негова помощ собствениците на ресурси (уебмастъри) могат да докажат, че това е техният сайт.

Можете също да видите в Webmaster:

• кога и къде е влязъл роботът;
• кои страници е индексирал и кои не;
• какви ключови думи търсят хората?
• има ли технически грешки?

Чрез тази услуга можете да създадете уебсайт:задайте региона, цените на стоките, защитете вашите текстове от кражба. Можете да помолите робота да посети отново страниците, където сте направили промени. Yandex.Webmaster улеснява преминаването към https или друг домейн.

Как да добавите нов уебсайт към Yandex.Webmaster

Отидете на панела за уеб администратори. Кликнете върху „Вход“. Можете да въведете данните за вход и паролата, които използвате за влизане в Yandex mail.Ако все още нямате сметка, ще трябва да се регистрирате.

След като влезете, ще бъдете отведени до страница със списък с добавени ресурси. Ако не сте използвали услугата преди, списъкът ще бъде празен. За да добавите нов ресурс, щракнете върху бутона „+“.

На следващата страница въведете адреса на вашия сайт и потвърдете добавянето му.

На последния етап трябва да потвърдите правата си- докажете на Yandex, че сте собственик. Има няколко начина да направите това.

Как да потвърдите правата върху уебсайт в Yandex.Webmaster

Най-лесният начин да потвърдите правата в Yandex.Webmaster е добавете файл към сайта. За да направите това, щракнете върху раздела „HTML файл“.

Ще се изтегли малък файл.Ще ви трябва този файл сега, така че го запазете някъде, където можете да го видите. Например на работния плот. Не преименувайте файла! Няма нужда да променяте нищо по въпроса.

Сега качете този файл на вашия уебсайт. Обикновено се използва за това файлови мениджъри, Но потребителите не трябва да правят нищо от това. Просто отидете в бек офиса, щракнете върху „Файлове“. След това в горната част на страницата - „Добавяне на файл“. Изберете файла, който сте изтеглили по-рано.

След това се върнете в панела Yandex.Webmaster и щракнете върху бутона „Проверка“.След успешно потвърждаване на правата за достъп, вашият сайт ще се появи в списъка с добавени. Така вие информирахте Yandex.Webmaster за новия сайт.

Мета таг Yandex.Webmaster

Понякога описаният по-горе метод не работи и собствениците не могат да потвърдят правата върху сайта в Webmaster. В този случай можете да опитате друг метод: добавете ред код към шаблона.

В Webmaster отидете на раздела „Мета таг“.. Ще видите ред, който трябва да се добави към HTML кода.

Потребителите могат да се свържат с техническата поддръжка и да поискат да вмъкнат този код. Това ще бъде направено като част от безплатна ревизия.

Когато правят това в Webmaster щракнете върху бутона „Проверка“.. Поздравления, регистрирахте сайта си в търсачката!

Предварителна настройка на Yandex.Webmaster

Сайтът е добавен към търсенето, сега роботът определено ще дойде при вас и ще го индексира. Това обикновено отнема до 7 дни.

Добавете връзка към вашата карта на сайта

За да може роботът да индексира ресурса по-бързо, добавете файла sitemap.xml към Webmaster. Този файл съдържа адресите на всички страници на ресурса.

Онлайн магазините вече имат конфигуриран този файл и трябва да се добавя автоматично към Webmaster. Ако това не се случи, добавете връзка към sitemap.xml в секцията „Индексиране“ - „Файлове на карта на сайта“.

Проверете robots.txt

Във файла robots.txt показват страници, които роботът не трябва да посещава. Това са количката, касата, бек офиса и други технически документи.

По подразбиране той създава robots.txt, който не трябва да се променя. За всеки случай препоръчваме да проверите за грешки в роботите. За да направите това, отидете на „Инструменти“ - „Анализ на robots.txt“.

Задайте региона на сайта

На страницата „Информация за сайта“ - „Регион“ можете да зададете региона на сайта. За онлайн магазините това са градовете, регионите и държавите, където се доставят закупените стоки. Ако нямате магазин, а директория или блог, тогава регионът ще бъде целият свят.

Задайте региона на продажбите, както е показано на екранната снимка:

За какво още е полезен Webmaster?

На страницата " Заявки за търсене» можете да видите фразите, които идват при вас от търсенето.

Разделът „Индексиране“ показва информация кога роботът е бил на сайта и колко страници е намерил. Подразделът „Преместване на сайт“ ще ви помогне, ако решите да инсталирате и преминете към https. Подразделът „Обръщане на страница“ също е изключително полезен.В него можете да посочите на робота страниците, на които е променена информацията. След това, при следващото ви посещение, роботът първо ще ги индексира.

На страницата „Продукти и цени” в секцията „Информация за сайта” можете да предоставите информация за вашия онлайн магазин. За да направите това, ресурсът трябва да бъде конфигуриран да качва данни за продукти и цени в YML формат. При правилна настройкаЦените и информацията за доставка ще бъдат показани в резултатите от търсенето на продуктовите страници.

Ако искате да подобрите видимостта на вашата компания в услугите на Yandex, трябва да използвате раздела „Полезни услуги“. В Yandex.Directory можете да посочите телефонния номер, адреса на вашия магазин и работното време.Тази информация ще се показва директно в резултатите на Yandex. Това също ще ви добави към Yandex.Maps.

Yandex.Metrica - друг важен инструмент за собственика на интернет ресурс, показващ данни за трафика.Статистиката и динамиката на трафика на сайта се показват в лесни за анализ таблици, диаграми и графики.

След като се свържете с услугите Yandex.Webmaster и Yandex.Metrica, ще получите достатъчно информация, за да управлявате позициите и трафика на сайта. Това са незаменими инструменти за собствениците на уебсайтове, които искат да популяризират своите ресурси в най-популярната търсачка в Русия.

Следващата стъпка в промоцията на уебсайта ечрез подобна услуга Search Console. Това е всичко, успех с промоцията!

Какво представлява индексирането на сайта? Как се случва? Можете да намерите отговори на тези и други въпроси в статията. в търсачките) е процес на добавяне на информация за сайт към база данни от робот на търсачката, който впоследствие се използва за търсене на информация за уеб проекти, които са преминали през такава процедура.

Данните за уеб ресурси най-често се състоят от ключови думи, статии, връзки, документи. Аудио, изображения и т.н. също могат да бъдат индексирани. Известно е, че алгоритъмът за идентифициране на ключови думи зависи от устройството за търсене.

Има някои ограничения за типовете индексирана информация (flash файлове, javascript).

Управление на включването

Индексирането на уебсайт е сложен процес. За да го управлявате (например да забраните включването на определена страница), трябва да използвате файла robots.txt и правила като Allow, Disallow, Crawl-delay, User-agent и други.

Таговете се използват и за индексиране и реквизит , скривайки съдържанието на ресурса от Google роботии Yandex (Yahoo използва маркера ).

В търсачката Goglle новите сайтове се индексират от няколко дни до една седмица, а в Yandex - от една седмица до четири.

Искате ли вашият сайт да се показва в резултатите на търсачката? След това трябва да бъде обработен от Rambler, Yandex, Google, Yahoo и т.н. Трябва да информирате търсачките (паяци, системи) за съществуването на вашия уебсайт, след което те ще го обходят изцяло или частично.

Много сайтове не са индексирани от години. Информацията, съдържаща се в тях, не се вижда от никого, освен от техните собственици.

Методи за обработка

Индексирането на сайта може да се извърши по няколко начина:

1. Първата опция е да го добавите ръчно. Необходимо е да въведете данните за вашия сайт чрез специалните форми, предлагани от търсачките.
2. Във втория случай роботът на търсачката сам намира вашия уеб сайт чрез връзки и го индексира. Той може да намери вашия сайт, използвайки връзки от други ресурси, които водят до вашия проект. Този метод е най-ефективен. Ако търсачката намери сайт по този начин, тя го смята за значим.

Срокове

Индексирането на сайта не е много бързо. Сроковете варират от 1-2 седмици. Връзките от авторитетни ресурси (с отличен PR и Tits) значително ускоряват поставянето на сайта в базата данни на търсачката. Днес Google се счита за най-бавния, въпреки че до 2012 г. можеше да свърши тази работа за една седмица. За съжаление всичко се променя много бързо. Известно е, че Mail.ru работи с уебсайтове в тази област от около шест месеца.

Не всеки специалист може да индексира уебсайт в търсачките. Времето за добавяне на нови страници към базата данни на сайт, който вече е обработен от търсачките, се влияе от честотата на актуализиране на съдържанието му. Ако на даден ресурс постоянно се появява свежа информация, системата я счита за често актуализирана и полезна за хората. В този случай работата му се ускорява.

Можете да наблюдавате напредъка на индексирането на уебсайта в специални секции за уеб администратори или в търсачките.

Промени

И така, вече разбрахме как се индексира сайтът. Трябва да се отбележи, че базите данни на търсачките се актуализират често. Следователно броят на страниците на вашия проект, добавен към тях, може да се промени (намалее или увеличи) поради следните причини:

• санкции на търсачката срещу уебсайта;
• наличие на грешки в сайта;
• промени в алгоритмите на търсачките;
• отвратителен хостинг (недостъпност на сървъра, на който се намира проекта) и т.н.

Yandex отговаря на често срещани въпроси

Yandex е търсачка, използвана от много потребители. Тя е на пето място сред системите за търсене в света по отношение на броя на обработените заявки за изследвания. Ако сте добавили сайт към него, може да отнеме твърде много време, за да го добавите към базата данни.

Добавянето на URL не гарантира, че той ще бъде индексиран. Това е само един от методите, чрез които системата информира робота, че се е появил нов ресурс. Ако вашият сайт има малко или никакви връзки от други сайтове, добавянето му ще ви помогне да го откриете по-бързо.

Ако индексирането не се случи, трябва да проверите дали е имало повреди на сървъра по време на създаването на заявката от робота Yandex. Ако сървърът съобщи за грешка, роботът ще прекрати работата си и ще се опита да я завърши чрез цялостно обхождане. Служителите на Yandex не могат да ускорят добавянето на страници към базата данни на търсачката.

Индексирането на сайт в Yandex е доста трудна задача. Не знаете как да добавите ресурс към търсачка? Ако има връзки към него от други уебсайтове, тогава не е необходимо да добавяте сайта специално - роботът автоматично ще го намери и индексира. Ако нямате такива връзки, можете да използвате формуляра за добавяне на URL, за да кажете на търсачките, че вашият сайт съществува.

Важно е да запомните, че добавянето на URL не гарантира, че вашето творение ще бъде индексирано (или колко бързо ще бъде индексирано).

Много хора се интересуват колко време отнема индексирането на уебсайт в Yandex. Служителите на тази фирма не дават гаранции и не предвиждат срокове. Като правило, след като роботът е научил за сайта, неговите страници се появяват при търсения в рамките на два дни, понякога след няколко седмици.

Процес на обработка

Yandex е търсачка, която изисква точност и внимание. Индексирането на сайта се състои от три части:

1. Роботът за търсене обхожда страниците с ресурси.
2. Съдържанието на сайта се записва в базата данни (индекс) на системата за търсене.
3. След 2-4 седмици, след актуализиране на базата данни, можете да видите резултатите. Вашият сайт ще се появи (или няма да се появи) в резултатите от търсенето.

Проверка на индексиране

Как да проверите индексирането на сайта? Има три начина да направите това:

1. Въведете името на вашия бизнес в лентата за търсене (например „Yandex“) и проверете всяка връзка на първата и втората страница. Ако намерите URL адреса на вашето въображение там, това означава, че роботът е изпълнил задачата си.
2. Можете да въведете URL адреса на вашия сайт в лентата за търсене. Ще можете да видите колко интернет листа са показани, тоест индексирани.
3. Регистрирайте се на страниците на уеб администраторите в Mail.ru, Google, Yandex. След като преминете проверката на сайта, ще можете да видите резултатите от индексирането и други услуги на търсачката, създадени за подобряване на ефективността на вашия ресурс.

Защо Yandex отказва?

Индексирането на сайт в Google се извършва по следния начин: роботът въвежда всички страници на сайта в базата данни, нискокачествени и висококачествени, без да избира. Но в класацията са включени само полезни документи. И Yandex незабавно изключва всички уеб боклуци. Може да индексира всяка страница, но търсачката в крайна сметка елиминира всички боклуци.

И двете системи имат допълнителен индекс. И при двете страните с ниско качество влияят върху класирането на уебсайта като цяло. Тук действа проста философия. Любимите ресурси на даден потребител ще се класират по-високо в резултатите от търсенето. Но същият този човек ще има затруднения да намери сайт, който не е харесал последния път.

Ето защо е необходимо първо да защитите копията на уеб документи от индексиране, да проверите за празни страници и да предотвратите връщането на нискокачествено съдържание.

Ускоряване на Yandex

Как мога да ускоря индексирането на сайта в Yandex? Трябва да се следват следните стъпки:

Междинни действия

Какво трябва да се направи, докато уеб страницата бъде индексирана от Yandex? Домашната търсачка трябва да счита сайта за първичен източник. Ето защо, още преди да публикувате статия, е задължително да добавите нейното съдържание във формата „Конкретни текстове“. В противен случай плагиаторите ще копират записа в своя ресурс и ще се окажат първи в базата данни. Накрая те ще бъдат разпознати като автори.

База данни на Google

Забрана

Какво представлява забраната за индексиране на сайт? Можете да го приложите както към цялата страница, така и към отделна част от нея (линк или част от текст). Всъщност има както глобална забрана за индексиране, така и локална. Как се изпълнява това?

Нека помислим за забрана на добавянето на уебсайт към базата данни на търсачката в Robots.txt. С помощта на файла robots.txt можете да изключите индексирането на една страница или цяла категория ресурс по следния начин:

1. Потребителски агент: *
2. Забрана: /kolobok.html
3. Забрана: /снимка/

Първата точка показва, че инструкциите са определени за всички подсистеми, втората показва, че индексирането на файла kolobok.html е забранено, а третата не позволява добавяне на цялото съдържание на папката foto към базата данни. Ако трябва да изключите няколко страници или папки, посочете ги всички в Robots.

За да предотвратите индексирането на отделен интернет лист, можете да използвате мета тага robots. Различава се от robots.txt по това, че дава инструкции на всички подсистеми едновременно. Този мета таг се подчинява основни принципи html формат. Трябва да се постави в заглавката на страницата между записа за забрана, например може да се напише така: .

Аякс

Как Yandex индексира Ajax сайтове? Днес технологията Ajax се използва от много разработчици на уеб сайтове. Разбира се, тя има големи възможности. Използвайки го, можете да създавате бързи и продуктивни интерактивни уеб страници.

Системата обаче „вижда“ уеб листа по различен начин от потребителя и браузъра. Например, човек гледа удобен интерфейс с подвижно заредени интернет листове. За робот за търсене съдържанието на същата страница може да е празно или представено като друго статично HTML съдържание, за генерирането на което не се използват скриптове.

За да създадете Ajax сайтове, можете да използвате URL с #, но роботът на търсачката не го използва. Обикновено частта от URL адреса след # е разделена. Това трябва да се вземе предвид. Следователно, вместо URL като http://site.ru/#example, той прави заявка към главната страница на ресурса, намираща се на http://site.ru. Това означава, че съдържанието на интернет страницата може да не бъде включено в базата данни. В резултат на това няма да се показва в резултатите от търсенето.

За да подобри индексирането на сайтовете на Ajax, Yandex поддържа промени в робота за търсене и правилата за обработка на URL адреси на такива уебсайтове. Днес уеб администраторите могат да посочат на търсачката Yandex необходимостта от индексиране, като създадат подходяща схема в структурата на ресурса. За да направите това ви трябва:

1. Заменете символа # в URL адреса на страницата с #!. Сега роботът ще разбере, че може да поиска HTML версия на съдържанието за този интернет лист.
2. HTML версията на съдържанието на такава страница трябва да бъде поставена на URL адрес, където #! заменен от?_escaped_fragment_=.

Какво е индексиране? Това е процес на робот, който получава съдържанието на страниците на вашия сайт и включва това съдържание в резултатите от търсенето. Ако погледнем числата, базата данни на индексиращия робот съдържа трилиони адреси на страници на уебсайтове. Всеки ден роботът изисква милиарди такива адреси.

Но целият този голям процес на индексиране на интернет може да бъде разделен на малки етапи:

Първо, индексиращият робот трябва да знае, че се е появила страница на вашия сайт. Например чрез индексиране на други страници в Интернет, намиране на връзки или изтегляне на набора nemp. Научихме за страницата, след което планираме да обходим тази страница, да изпратим данни до вашия сървър, за да поискаме тази страница от сайта, да получим съдържанието и да го включим в резултатите от търсенето.

Целият този процес е процесът на обмен на индексиращия робот с вашия уебсайт. Ако заявките, изпратени от индексиращия робот, практически не се променят и се променя само адресът на страницата, тогава отговорът на вашия сървър на заявката за страница на робота зависи от много фактори:

• от вашите CMS настройки;
• от настройките на хостинг доставчика;
• от работата на междинния доставчик.

Този отговор просто се променя. На първо място, при заявка на страница, роботът от вашия сайт получава следния сервизен отговор:

Това са HTTP заглавки. Те съдържат различна служебна информация, която позволява на робота да разбере какво съдържание ще бъде предадено сега.

Бих искал да се съсредоточа върху първата заглавка - това е HTTP кодът за отговор, който показва на индексиращия робот състоянието на страницата, която роботът е поискал.

Има няколко десетки такива състояния на HTTP код:

Ще ви разкажа за най-популярните. Най-често срещаният код за отговор е HTTP-200. Страницата е достъпна, може да се индексира, включва в резултатите от търсенето, всичко е наред.

Обратното на този статус е HTTP-404. Страницата не е в сайта, няма какво да се индексира и няма какво да се включи в търсенето. При промяна на структурата на сайтове и смяна на адреси вътрешни странициПрепоръчваме да настроите 301 сървър за пренасочвания. Той просто ще посочи на робота това стара страницасе премества на нов адрес и трябва да бъде включен в Резултати от търсенетоточно новия адрес.

Ако съдържанието на страницата не се е променило от последния път, когато робот е посетил страницата, най-добре е да върнете HTTP-304 код. Роботът ще разбере, че няма нужда да актуализира страниците в резултатите от търсенето и съдържанието също няма да бъде прехвърлено.

Ако вашият сайт е достъпен само за кратък период от време, например, когато извършвате някаква работа на сървъра, най-добре е да конфигурирате HTTP-503. Той ще покаже на робота, че сайтът и сървърът в момента не са достъпни, трябва да се върнете малко по-късно. В случай на краткосрочна липса, това ще попречи на страниците да бъдат изключени от резултатите от търсенето.

В допълнение към тези HTTP кодове и състояния на страницата, вие също трябва директно да получите съдържанието на самата страница. Ако за редовен посетител страницата изглежда така:

това са снимки, текст, навигация, всичко е много красиво, тогава за индексиращия робот всяка страница е просто набор от изходен код, HTML код:

Различни мета тагове, текстово съдържание, връзки, скриптове, много всякаква информация. Роботът го събира и го включва в резултатите от търсенето. Изглежда, че всичко е просто: те поискаха страница, получиха статуса, получиха съдържанието и го включиха в търсенето.

Но не без причина услугата за търсене на Yandex получава повече от 500 писма от уебмастъри и собственици на сайтове, в които се посочва, че са възникнали определени проблеми с отговора на сървъра.

Всички тези проблеми могат да бъдат разделени на две части:

Това са проблеми с HTTP кода за отговор и проблеми с HTML кода, с директното съдържание на страниците. Може да има огромен брой причини за тези проблеми. Най-често срещаният е, че индексиращият робот е блокиран от хостинг доставчика.

Например стартирахте уебсайт, добавихте нов раздел. Роботът започва да посещава вашия сайт по-често, увеличавайки натоварването на сървъра. Хостинг доставчикът вижда това при тяхното наблюдение, блокира индексиращия робот и следователно роботът няма достъп до вашия сайт. Отивате на вашия ресурс - всичко е наред, всичко работи, страниците са красиви, всичко се отваря, всичко е страхотно, но роботът не може да индексира сайта. Ако сайтът е временно недостъпен, например ако сте забравили да платите Име на домейн, сайтът не работи от няколко дни. Роботът идва на сайта, той е недостъпен, при такива условия може да изчезне от резултатите от търсенето буквално след известно време.

Неправилните настройки на CMS, например при актуализиране или преминаване към друга CMS, при актуализиране на дизайна, също могат да доведат до изчезване на страници от вашия сайт от резултатите от търсенето, ако настройките са неправилни. Например наличието на забраняващ мета таг в програмен кодстраници на сайта, неправилна настройка на каноничния атрибут. Уверете се, че след всички промени, които правите в сайта, страниците са достъпни за робота.

Инструментът Yandex ще ви помогне с това. До уеб администратора, за да провери отговора на сървъра:

Можете да видите какви HTTP хедъри вашият сървър връща на робота и съдържанието на самите страници.

Разделът „индексиране“ съдържа статистика, където можете да видите кои страници са изключени, динамиката на промените в тези индикатори и да извършвате различни видове сортиране и филтриране.

Освен това вече говорих за този раздел днес, раздела „диагностика на сайта“. Ако вашият сайт стане недостъпен за робот, ще получите съответно известие и препоръки. Как може да се поправи това? Ако не възникнат подобни проблеми, сайтът е достъпен, отговаря на кодове 200 и съдържа правилно съдържание, тогава роботът започва автоматичен режимпосетете всички страници, които разпознава. Това не винаги води до желаните последствия, така че дейностите на робота могат да бъдат ограничени по определен начин. За това има файл robots.txt. Ще говорим за това в следващия раздел.

Robots.txt

Самият файл robots.txt е малък Текстов документ, той се намира в основната папка на сайта и съдържа строги правила за индексиращия робот, които трябва да се спазват при обхождане на сайта. Предимствата на файла robots.txt са, че не се нуждаете от специални или специализирани познания, за да го използвате.

Всичко, което трябва да направите, е да отворите Notepad, да въведете определени правила за форматиране и след това просто да запишете файла на сървъра. В рамките на един ден роботът започва да използва тези правила.

Ако вземем пример за прост файл robots.txt, ето го, точно на следващия слайд:

Директивата „User-Agent:“ показва за кои роботи е предназначено правилото, позволяващи/отказващи директиви и спомагателни директиви Sitemap и Host. Малко теория, бих искал да премина към практиката.

Преди няколко месеца исках да си купя крачкомер, затова се обърнах към Yandex. Пазар за помощ при избора. Преместен от главната страница на Yandex в Yandex. Пазар и стигна до начална страницаобслужване.

По-долу можете да видите адреса на страницата, на която отидох. Адресът на самата услуга добави и идентификатора за мен като потребител на сайта.

След това отидох в секцията „каталог“.

Избрах желания подраздел и конфигурирах параметрите за сортиране, цена, филтър, начин на сортиране и производител.

Получих списък с продукти и адресът на страницата вече е нараснал.

Отидох до желания продукт, щракнах върху бутона „добави в количката“ и продължих с плащането.

По време на краткото ми пътуване адресите на страниците се промениха по определен начин.

Към тях бяха добавени параметри на услугата, които ме идентифицираха като потребител, настроих сортиране и посочиха на собственика на сайта откъде идвам на тази или онази страница на сайта.

Мисля, че такива страници, служебни страници, няма да бъдат много интересни за потребителите на търсачките. Но ако те са достъпни за индексиращия робот, те могат да бъдат включени в търсенето, тъй като роботът по същество се държи като потребител.

Той отива на една страница, вижда връзка, върху която може да кликне, отива на нея, зарежда данните в базата данни на своя робот и продължава това обхождане на целия сайт. Тази категория от такива адреси също включва лични данни на потребителите, например информация за доставка или информация за контакт на потребителите.

Естествено, по-добре е да ги забраните. Точно за това ще ви помогне файлът robots.txt. Можете да отидете на уебсайта си тази вечер в края на Webmaster, да щракнете и да видите кои страници са действително налични.

За да проверите robots.txt има специален инструмент в Webmaster:

Можете да изтеглите, да въведете адреси на страници, да видите дали са достъпни за робота или не.

Направете някои промени, вижте как роботът реагира на тези промени.

Грешки при работа с robots.txt

В допълнение към такъв положителен ефект - затваряне на страниците на услугата, robots.txt може да изиграе жестока шега, ако се борави неправилно.

Първо, най-често срещаният проблем при използване на robots.txt е затварянето на наистина необходими страници на сайта, тези, които трябва да бъдат в търсенето и показани за заявки. Преди да направите промени в robots.txt, не забравяйте да проверите дали страницата, която искате да затворите, се показва при заявки за търсене. Може би страница с някои параметри е в резултатите от търсенето и посетителите идват на нея от търсене. Затова не забравяйте да проверите, преди да използвате и правите промени в robots.txt.

Второ, ако вашият сайт използва адреси на кирилица, няма да можете да ги посочите в robots.txt директна форма, те трябва да бъдат кодирани. Тъй като robots.txt е международен стандарт, който следват всички роботи за индексиране, те определено ще трябва да бъдат кодирани. Не е възможно изрично да се посочи кирилицата.

Третият най-популярен проблем са различните правила за различните роботи на различните търсачки. За един индексиращ робот всички страници за индексиране бяха затворени, за втория не беше затворено нищо. В резултат на това в една търсачка всичко е наред, желаната страница е в търсенето, но в друга търсачка може да има боклук, различни страници за боклук и нещо друго. Уверете се, че ако зададете забрана, това трябва да се направи за всички индексиращи роботи.

Четвъртият най-популярен проблем е използването на директивата Crawl-delay, когато не е необходимо. Тази директива ви позволява да повлияете на чистотата на заявките от индексиращия робот. Това е практически пример, малък уебсайт, поставен на малък хостинг, всичко е наред. Добавихме голям каталог, роботът дойде, видя куп нови страници, започна да посещава сайта по-често, увеличи натоварването, изтегли го и сайтът стана недостъпен. Задаваме директивата Crawl-delay, роботът вижда това, намалява натоварването, всичко е наред, сайтът работи, всичко е идеално индексирано, има го в резултатите от търсенето. След известно време сайтът расте още повече, прехвърля се на нов хостинг, който е готов да се справи с тези заявки, с голям брой заявки, и те забравят да премахнат директивата Crawl-delay. В резултат на това роботът разбира, че на вашия сайт са се появили много страници, но не може да ги индексира просто поради установената директива. Ако някога сте използвали директивата за забавяне на обхождането, уверете се, че сега я няма и че услугата ви е готова да се справи с натоварването от индексиращия робот.

В допълнение към описаната функционалност, файлът robots.txt ви позволява да решите две много важни задачи - да се отървете от дубликатите на сайта и да посочите адреса на основното огледало. Точно за това ще говорим в следващия раздел.

Двойки

Под дубликати имаме предвид няколко страници от един и същ сайт, които съдържат абсолютно идентично съдържание. Най-често срещаният пример са страници с и без наклонена черта в края на адреса. Също така дубликат може да се разбира като един и същ продукт в различни категории.

Например, ролери могат да бъдат за момичета, за момчета, един и същи модел може да бъде в две секции едновременно. И трето, това са страници с незначителен параметър. Както в примера с Yandex. Пазарът определя тази страница като „ИД на сесия“; този параметър не променя съдържанието на страницата по принцип.

За да откриете дубликати и да видите кои страници има достъп до робота, можете да използвате Yandex. Уеб администратор.

В допълнение към статистиката има и адреси на страници, които роботът е изтеглил. Виждате кода и последното повикване.

Проблеми, до които водят дубликатите

Какво лошо има в двойките?

Първо, роботът започва да има достъп до абсолютно идентични страници на сайта, което създава допълнително натоварване не само на вашия сървър, но също така засяга обхождането на сайта като цяло. Роботът започва да обръща внимание на дублиращи се страници, а не на онези страници, които трябва да бъдат индексирани и включени в резултатите от търсенето.

Вторият проблем е, че дублиращите се страници, ако са достъпни за робота, могат да попаднат в резултатите от търсенето и да се конкурират с основните страници за заявки, което естествено може да повлияе негативно на сайта, който се намира за определени заявки.

Как можете да се справите с дубликати?

На първо място, препоръчвам да използвате маркера „canonical“. за да насочи робота към главната, канонична страница, която трябва да бъде индексирана и открита в заявките за търсене.

Във втория случай можете да използвате пренасочване на сървър 301, например за ситуации с наклонена черта в края на адреса и без наклонена черта. Настроихме пренасочване - няма дубликати.

И трето, както вече казах, това е файлът robots.txt. Можете да използвате както директиви deny, така и директива Clean-param, за да се отървете от незначителни параметри.

Огледала на сайта

Втората задача, която robots.txt ви позволява да разрешите, е да насочите робота към адреса на главното огледало.

Огледалата са група от сайтове, които са абсолютно идентични, като дубликати, само двата сайта са различни. Уеб администраторите обикновено се сблъскват с огледала в два случая - когато искат да се преместят в нов домейн или когато потребителят трябва да предостави няколко адреса на уебсайтове.

Например, знаете, че когато потребителите въвеждат вашия адрес или адреса на уебсайта ви в адресната лента, те често правят същата грешка - грешно изписват, поставят грешен знак или нещо друго. Можете да закупите допълнителен домейн, за да покажете на потребителите не мъниче от хостинг доставчика, а сайта, на който наистина искат да отидат.

Нека се съсредоточим върху първата точка, защото именно с това най-често възникват проблеми при работа с огледала.

Съветвам ви да извършите целия процес на преместване съгласно следните инструкции. Малка инструкция, която ще ви позволи да избегнете различни проблеми при преминаване към ново име на домейн:

Първо, трябва да направите сайтовете достъпни за индексиращия робот и да поставите абсолютно идентично съдържание върху тях. Също така се уверете, че роботът знае за съществуването на сайтовете. Най-лесният начин е да ги добавите към Yandex. Уеб администратор и потвърдете правата върху тях.

Второ, използвайки директивата Host, насочете робота към адреса на главното огледало - това, което трябва да бъде индексирано и да бъде в резултатите от търсенето.

Очакваме залепване и прехвърляне на всички показатели от стария сайт към новия.

След което можете да настроите пренасочване от стария към новия адрес. Проста инструкция, ако се местите, не забравяйте да я използвате. Надявам се, че няма да има проблеми с
движещ се.

Но естествено възникват грешки при работа с огледала.

На първо място, най-важният проблем е липсата на изрични инструкции за индексиращия робот към адреса на основното огледало, адресът, който трябва да бъде в търсенето. Проверете на вашите сайтове дали имат директива за хост в своя robots.txt и дали тя сочи точно към адреса, който искате да видите при търсенето.

Вторият най-популярен проблем е използването на пренасочване за промяна на главното огледало в съществуваща група огледала. Какво се случва? Старият адрес, тъй като пренасочва, не се индексира от робота и се изключва от резултатите от търсенето. В този случай новият сайт не се появява в търсенето, тъй като не е основното огледало. Губите трафик, губите посетители, мисля, че никой няма нужда от това.

И третият проблем е недостъпността на едно от огледалата при движение. Най-честият пример в тази ситуация е, когато са копирали съдържанието на сайта на нов адрес, но старият адрес е просто деактивиран, те не са платили за името на домейна и то е станало недостъпно. Естествено, такива сайтове няма да бъдат обединени, те трябва да бъдат достъпни за индексиращия робот.

Полезни връзки в работата:

• | Повече ▼ полезна информацияще намерите в услугата Yandex.Help.
• Всички инструменти, за които говорих, и дори повече - има бета версия на Yandex.Webmaster.

Отговори на въпроси

„Благодаря ви за доклада. Необходимо ли е да деактивирате индексирането на CSS файлове за робота в robots.txt или не?

Не препоръчваме да ги затваряте в момента. Да, по-добре е да оставите CSS и JavaScript, защото сега работим, за да гарантираме, че индексиращият робот започва да разпознава както скриптовете на вашия сайт, така и стиловете, и да вижда как се справя посетителят от обикновен браузър.

„Кажете ми, ако URL адресите на сайта са еднакви за стария и новия, това нормално ли е?“

всичко е наред По принцип просто актуализирате дизайна, добавяте малко съдържание.

„Сайтът има категория и се състои от няколко страници: наклонена черта, страница1, страница2, до 10 например. Всички страници имат един и същ текст на категория и се оказва, че се дублира. Този текст ще бъде ли дубликат или трябва да се затвори по някакъв начин, нов индекс на втората и следващите страници?

Първо, тъй като пагинацията на първата страница и съдържанието на втората страница обикновено са различни, те няма да бъдат дублирани. Но трябва да очаквате, че втората, третата и следващите страници за пагинация могат да влязат в търсенето и да се покажат за някакво подходящо запитване. По-добре в страниците за пагинация, бих препоръчал да използвате каноничния атрибут, в най-добрия случай - на страницата, на която са събрани всички продукти, така че роботът да не включва страници за пагинация в търсенето. Хората много често използват canonical на първата страница на пагинацията. Роботът стига до втората страница, вижда продукта, вижда текста, не включва страницата в търсенето и разбира поради атрибута, че това е първата страница с пагинация, която трябва да бъде включена в резултатите от търсенето. Използвайте canonical, и затворете самия текст, мисля, че няма нужда.

Източник (видео): Как да настроите индексирането на сайта- Александър Смирнов

Магомед Чербижев

Като цяло, ако вашият ресурс е добър, добре направен, тогава не трябва да има проблеми с неговото индексиране. Ако сайтът, макар и не на 100%, отговаря на изискванията на търсачките - „за хора“, тогава те с удоволствие ще ви разгледат и ще индексират всичко ново, което ще бъде добавено.

Но както и да е, първата стъпка в популяризирането на сайт е да го добавите към PS индекса. Докато ресурсът не бъде индексиран, като цяло няма какво да се популяризира, защото търсачките изобщо няма да знаят за него. Затова в тази статия ще разгледам какво е индексирането на сайтове в Yandex и как да подадете ресурс за индексиране. Също така ще ви кажа как да проверите дали даден сайт или отделна страница е включена в индекса на Yandex и какво да направите, за да ускорите индексирането от Yandex.

Индексирането на сайт в Yandex е роботите, които обхождат търсачката на yandex на вашия сайт и въвеждат всички отворени страницикъм базата данни. Руският паяк на търсачките добавя данни за сайта към базата данни: неговите страници, снимки, видеоклипове, документи, които могат да се търсят. Също така ботът за търсене се занимава с индексиране на връзки и други елементи, които не са скрити от специални тагове и файлове.

Основните начини за индексиране на ресурс:

Принудително - трябва да изпратите сайта за индексиране на Yandex чрез специален формуляр.

Естествен - паякът за търсене успява самостоятелно да намери вашия сайт, като се премества от външни ресурси, които се свързват към уебсайта.

Времето, необходимо за индексиране на сайт в Yandex, е различно за всеки и може да варира от няколко часа до няколко седмици.

Това зависи от много фактори: какви стойности има в Sitemap.xml, колко често се попълва ресурсът, колко често споменаванията на сайта се появяват на други ресурси. Процесът на индексиране е цикличен, така че роботът ще идва при вас на (почти) равни интервали от време. Но с каква честота зависи от гореспоменатите фактори и конкретния робот.

Паякът може да индексира целия уебсайт (ако е малък) или отделен раздел (това се отнася за онлайн магазини или медии). На често актуализирани ресурси, като медии и информационни портали, съществуват така наречените бързи роботи за бързо индексиране на сайтове в Yandex.

Понякога в проекта могат да възникнат технически проблеми (или проблеми със сървъра), в този случай индексирането на сайта на Yandex няма да се извърши, поради което търсачката може да прибегне до следния сценарий:

• незабавно изхвърляне на неиндексирани страници от базата данни;
• повторно индексиране на ресурса след определено време;
• настройва страниците, които не са били индексирани, да бъдат изключени от базата данни и ако не ги намери по време на повторното индексиране, ще бъде изхвърлено от индекса.

Как да ускорите индексирането на сайта в Yandex

Как да ускорите индексирането в Yandex е често срещан въпрос в различни форуми за уеб администратори. Всъщност животът на целия сайт зависи от индексирането: позицията на ресурса в PS, броят на клиентите от тях, популярността на проекта, печалбата в крайна сметка.

Подготвил съм 10 метода, които се надявам да са ви полезни. Първите пет са стандартни за постоянно индексиране на ресурс, а следващите пет ще ви помогнат да ускорите индексирането на вашия сайт в Yandex:

услуги за маркиране;

RSS емисия – ще осигури излъчването на нови материали от вашия ресурс към имейлите на абонатите и RSS директориите;

обмен на връзки - ще осигури стабилно увеличение на dofollow връзките от качествени донори, ако са избрани правилно (как да изберете правилно);

– ако все още не сте регистрирали вашия сайт в директории, тогава ви съветвам да го направите. Много хора казват, че директориите са умрели отдавна или че регистрацията в тях ще убие сайт - това не е вярно. По-точно, това не е пълната истина, ако се регистрирате във всички директории подред, тогава вашият ресурс наистина ще пострада само от това. Но при правилен подбор на доверие и добри каталози ефектът несъмнено ще бъде.

Проверка на индексирането на сайта в Yandex

• Сайтът и url операторите. Ако искате да проверите индексирането на сайт в Yandex, можете да използвате стандартните оператори на търсачката ..biz. (Естествено, вместо моя домейн, вашият)

  

• RDS лента. Смятам, че това е най-добрият и бърз начин за проверка на индексирането на страница в Yandex. Този плъгин може да бъде инсталиран на всички популярни браузъри и веднага ще предостави подробна информация за броя на страниците на сайта в индекса и наличието на конкретен материал в него. С това разширение няма да губите време за ръчно въвеждане на URL адреси в услуги или търсения. Като цяло го препоръчвам, RDS лентата е изключително удобна:
• Служител Serphant. Многофункционален ресурс, с който можете да анализирате сайт: оценка на ефективността и мониторинг на сайтове, анализиране на страници на конкуренти, проверка на позиции и индексиране на сайтове. Можете да проверите безплатно индексирането на страницата, като използвате тази връзка: https://serphunt.ru/indexing/. Благодарение на груповата проверка (до 50 адреса) и високата надеждност на резултатите, тази услуга е една от трите най-добри според мен.

  

• XSEO услуга. Набор от инструменти за уеб администратори, в XSEO.in можете да разгледате индексирането на сайта в Yandex. Получете също много допълнителна полезна информация за вашия ресурс:

  

• PR-CY и CY-PR услуги. Още няколко услуги, които ще ви предоставят информация за общия брой индексирани страници:

  

• Услуга Sitereport. Отлична услуга, която ще ви посочи всички грешки при работа в сайта. Има и раздел „Индексиране“, където ще бъде представена информация за всяка страница от сайта, показваща дали е индексирана или не в търсачките Yandex системии Google. Затова препоръчвам да използвате този ресурсза откриване на проблеми на сайта и проверка на масовото индексиране на Yandex:

  

С Google всичко е много просто. Трябва да добавите сайта си към инструментите за уеб администратори на https://www.google.com/webmasters/tools/, след което изберете добавения сайт, като по този начин влезете в Search Console на вашия сайт. След това в лявото меню изберете секцията „Сканиране“ и в нея елемента „Преглед като Googlebot“.

На страницата, която се отваря, в празното поле въведете адреса на новата страница, която искаме бързо да индексираме (като вземем предвид вече въведеното име на домейн на сайта) и щракнете върху бутона „Обхождане“ вдясно. Изчакваме, докато страницата бъде сканирана и се появи в горната част на таблицата с адреси, сканирани преди това по подобен начин. След това щракнете върху бутона „Добавяне към индекса“.

Ура, новата ви страница е незабавно индексирана от Google! Само след няколко минути ще можете да го намерите в резултатите от търсенето с Google.

Бързо индексиране на страници в Yandex

IN нова версиястанаха достъпни инструменти за уеб администратори подобен инструментза добавяне на нови страници към индекса. Съответно вашият сайт също трябва първо да бъде добавен към Yandex Webmaster. Можете също да стигнете до там, като изберете желания сайт в уеб администратора, след това отидете в секцията „Индексиране“, изберете елемента „Повторно обхождане на страницата“. В прозореца, който се отваря, въвеждаме адресите на новите страници, които искаме бързо да индексираме (чрез връзка на един ред).

За разлика от Google, индексирането в Yandex все още не се случва незабавно, но се опитва да се стреми към него. С помощта на горните действия ще информирате робота Yandex за нова страница. И ще бъде индексиран в рамките на половин час до час - това показва моят личен опит. Може би скоростта на индексиране на страницата в Yandex зависи от редица параметри (репутацията на вашия домейн, акаунт и/или други). В повечето случаи можете да спрете дотук.

Ако видите, че страниците на вашия сайт са слабо индексирани от Yandex, тоест има няколко общи препоръки как да се справите с това:

• Най-добрата, но и трудна препоръка е да инсталирате Yandex quickbot на вашия уебсайт. За да направите това, препоръчително е да добавяте нови материали към сайта всеки ден. За предпочитане 2-3 или повече материала. Освен това не ги добавяйте наведнъж, а след известно време, например сутрин, следобед и вечер. Още по-добре би било да поддържате приблизително същия график за публикуване (приблизително да поддържате същото време за добавяне на нови материали). Също така мнозина препоръчват създаване RSS каналсайт, така че роботите за търсене да могат да четат актуализации директно от него.
• Естествено, не всеки ще може да добавя нови материали към сайта в такива обеми - добре е, ако можете да добавяте 2-3 материала на седмица. В този случай не можете наистина да мечтаете за скоростта на Yandex, но се опитайте да получите нови страници в индекса по други начини. Най-ефективният от които се счита за публикуване на връзки към нови страници към надстроени акаунти в Twitter. Като се използва специални програмиподобно на Twidium Accounter, можете да „изпомпвате“ броя акаунти в Twitter, от които се нуждаете, и с тяхна помощ бързо да вмъквате нови страници на сайта в индекса на търсачката. Ако нямате възможност сами да публикувате връзки към надстроени акаунти в Twitter, можете да закупите такива публикации чрез специални борси. Една публикация с вашата връзка ще струва средно 3-4 рубли и повече (в зависимост от силата на избрания акаунт). Но тази опция ще бъде доста скъпа.
• Третият вариант за бързо индексиране е да използвате услугата http://getbot.guru/, която само за 3 рубли ще ви помогне да постигнете желания ефект с гаранция за резултати. Много подходящ за сайтове с рядък график за добавяне на нови публикации. Има и по-евтини цени. По-добре е да разгледате техните подробности и разлики на уебсайта на самата услуга. Лично аз имам услуги на тази услугаМного съм доволен от него като ускорител на индексиране.

Разбира се, можете също да добавяте нови публикации към социални отметки, което на теория също трябва да помогне на сайта да се индексира бързо. Но ефективността на такова допълнение ще зависи и от нивото на вашите акаунти. Ако имате малко активност върху тях и използвате акаунти само за такъв спам, тогава практически няма да има полезен резултат.

P.S.с богат опит винаги е от значение - свържете се с нас!