En blogg om WordPress-plugininställningar och sökmotoroptimering för nybörjare webbansvariga. Ett snabbt sätt att kontrollera indexeringen av sidor i Yandex och Google Submit för indexering

Ganska ofta kan en ny webbplats inte hittas i Yandex. Även om du skriver dess namn i sökfältet. Orsakerna till detta kan vara olika. Ibland vet sökmotorer helt enkelt inte ännu att en ny resurs har dykt upp. För att ta reda på vad som händer och lösa problemet måste du registrera din webbplats hos Yandex.Webmaster.

Vad är webbplatsindexering i Yandex

Låt oss först ta reda på hur sökmotorer i allmänhet får reda på nya webbplatser eller ändringar av dem. Yandex har ett speciellt program som kallas sökrobot. Den här roboten surfar på Internet och letar efter nya sidor. Ibland går han till gamla och kollar om det har dykt upp något nytt på dem.

När roboten hittar en användbar sida lägger den till den i sin databas. Denna databas kallas sökindex. När vi letar efter något i sökningen ser vi webbplatser från denna databas. Indexering är när roboten lägger till nya dokument där.

En robot kan inte genomsöka hela Internet varje dag. Han har inte tillräckligt med kraft för det. Därför behöver han hjälp – att rapportera om nya sidor eller ändringar av gamla.

Vad är Yandex.Webmaster och varför behövs det?

Yandex.Webmaster är en officiell tjänst från Yandex. Du måste lägga till en webbplats på den så att roboten vet om dess existens. Med dess hjälp kan resursägare (webbansvariga) bevisa att detta är deras sida.

Du kan också se i Webmaster:

• när och var roboten kom in;
• vilka sidor den indexerade och vilka den inte gjorde;
• vilka sökord söker folk efter?
• finns det några tekniska fel?

Genom denna tjänst kan du skapa en webbplats: ställ in regionen, priserna på varor, skydda dina texter från stöld. Du kan be roboten att återbesöka sidorna där du gjorde ändringar. Yandex.Webmaster gör det enkelt att flytta till https eller en annan domän.

Hur man lägger till en ny webbplats till Yandex.Webmaster

Gå till panelen Webmaster. Klicka på "Logga in". Du kan ange inloggningen och lösenordet som du använder för att logga in på Yandex mail. Om du inte har det än konto, du måste registrera dig.

Efter att ha loggat in kommer du till en sida med en lista över tillagda resurser. Om du inte har använt tjänsten tidigare kommer listan att vara tom. För att lägga till en ny resurs, klicka på "+"-knappen.

På nästa sida anger du adressen till din webbplats och bekräftar att den lagts till.

I det sista skedet måste du bekräfta dina rättigheter- bevisa för Yandex att du är ägaren. Det finns flera sätt att göra detta.

Hur man bekräftar rättigheterna till en webbplats i Yandex.Webmaster

Det enklaste sättet att bekräfta rättigheter i Yandex.Webmaster är lägg till en fil på webbplatsen. För att göra detta, klicka på fliken "HTML-fil".

En liten fil kommer att laddas ner. Du behöver den här filen nu, så spara den någonstans där du kan se den. Till exempel på skrivbordet. Byt inte namn på filen! Det finns ingen anledning att ändra något i det.

Ladda nu upp den här filen till din webbplats. Används vanligtvis för detta filhanterare, Men användare behöver inte göra något av detta. Gå bara till back office, klicka på "Filer". Sedan högst upp på sidan - "Lägg till fil". Välj filen du laddade ner tidigare.

Gå sedan tillbaka till Yandex.Webmaster-panelen och klicka på knappen "Kontrollera". Efter att ha bekräftat åtkomsträttigheterna kommer din webbplats att visas i listan över tillagda. Således har du informerat Yandex.Webmaster om den nya webbplatsen.

Metatagg Yandex.Webmaster

Ibland fungerar inte metoden som beskrivs ovan, och ägarna kan inte bekräfta rättigheterna till webbplatsen i Webmaster. I det här fallet kan du prova en annan metod: lägg till en kodrad i mallen.

I Webmaster gå till fliken "Metatagg".. Du kommer att se en rad som måste läggas till HTML-koden.

Användare kan kontakta teknisk support och be att få infoga denna kod. Detta kommer att göras som en del av en kostnadsfri revision.

När de gör detta i Webmaster klickar du på knappen "Kontrollera".. Grattis, du har registrerat din webbplats i en sökmotor!

Preliminär installation av Yandex.Webmaster

Webbplatsen har lagts till i sökningen, nu kommer roboten definitivt till dig och indexera den. Detta tar vanligtvis upp till 7 dagar.

Lägg till en länk till din webbplatskarta

För att roboten ska kunna indexera resursen snabbare, lägg till filen sitemap.xml till Webmaster. Den här filen innehåller adresserna till alla sidor i resursen.

Onlinebutiker har redan den här filen konfigurerad och bör läggas till Webmaster automatiskt. Om detta inte händer, lägg till en länk till sitemap.xml i avsnittet "Indexering" - "Webbplatskartor".

Kontrollera robots.txt

I robots.txt-filen ange sidor som roboten inte behöver besöka. Dessa är vagnen, kassan, backoffice och andra tekniska dokument.

Som standard skapar den robots.txt, som inte behöver ändras. För säkerhets skull rekommenderar vi att du letar efter fel i robotar. För att göra detta, gå till "Verktyg" - "Analys av robots.txt".

Ställ in platsregionen

På sidan "Webbplatsinformation" - "Region" kan du ställa in regionen för webbplatsen. För nätbutiker är dessa städer, regioner och länder där köpta varor levereras. Om du inte har en butik, utan en katalog eller blogg, kommer regionen att vara hela världen.

Ställ in försäljningsregionen som visas på skärmdumpen:

Vad mer är Webmaster användbar för?

På sidan " Sökfrågor» du kan se fraserna som kommer till dig från sökningen.

Avsnittet "Indexering" visar information om när roboten var på webbplatsen och hur många sidor den hittade. Undersektionen "Site Moving" hjälper dig om du bestämmer dig för att installera och byta till https. Undersektionen "Page Retraversal" är också extremt användbar. I den kan du indikera för roboten på vilka sidor informationen har ändrats. Sedan, vid ditt nästa besök, kommer roboten att indexera dem först.

På sidan "Produkter och priser" i avsnittet "Webbplatsinformation" kan du ge information om din webbutik. För att göra detta måste resursen konfigureras för att ladda upp data om produkter och priser i YML-format. På korrekt inställning Priser och leveransinformation kommer att visas i sökresultaten på produktsidorna.

Om du vill förbättra ditt företags synlighet i Yandex-tjänster bör du använda avsnittet "Användbara tjänster". I Yandex.Directory kan du ange telefonnummer, adress till din butik och öppettider. Denna information kommer att visas direkt i Yandex-resultat. Detta kommer också att lägga till dig till Yandex.Maps.

Yandex.Metrica - ett annat viktigt verktyg för ägaren av en internetresurs, som visar trafikdata. Statistik och dynamik för webbplatstrafiken visas i tabeller, diagram och grafer som är lätta att analysera.

Efter att ha anslutit till tjänsterna Yandex.Webmaster och Yandex.Metrica kommer du att få en tillräcklig mängd information för att hantera webbplatsens positioner och trafik. Dessa är oumbärliga verktyg för webbplatsägare som vill marknadsföra sina resurser i den mest populära sökmotorn i Ryssland.

Nästa steg i webbplats marknadsföring är genom en liknande tjänst Search Console. Det var allt, lycka till med din marknadsföring!

Vad är webbplatsindexering? Hur går det till? Du kan hitta svar på dessa och andra frågor i artikeln. i sökmotorer) är processen att lägga till information om en webbplats till en databas av en sökmotorrobot, som sedan används för att söka information om webbprojekt som har genomgått en sådan procedur.

Data om webbresurser består oftast av nyckelord, artiklar, länkar, dokument. Ljud, bilder och så vidare kan också indexeras. Det är känt att algoritmen för att identifiera nyckelord beror på sökenheten.

Det finns vissa begränsningar för vilka typer av information som indexeras (flash-filer, javascript).

Inklusionshantering

Att indexera en webbplats är en komplex process. För att hantera det (till exempel förbjuda inkludering av en viss sida) måste du använda robots.txt-filen och regler som Tillåt, Disallow, Crawl-delay, User-agent och andra.

Taggar används också för indexering och rekvisita , döljer innehållet i resursen från Google robotar och Yandex (Yahoo använder taggen ).

I Goglle-sökmotorn indexeras nya webbplatser från ett par dagar till en vecka och i Yandex - från en vecka till fyra.

Vill du att din webbplats ska visas i sökmotorernas resultat? Sedan måste det bearbetas av Rambler, Yandex, Google, Yahoo och så vidare. Du måste informera sökmotorer (spindlar, system) om att din webbplats finns, och sedan kommer de att genomsöka den helt eller delvis.

Många webbplatser har inte indexerats på flera år. Informationen om dem ses inte av någon förutom deras ägare.

Bearbetningsmetoder

Webbplatsindexering kan göras på flera sätt:

1. Det första alternativet är att lägga till det manuellt. Du måste ange din webbplatsdata genom särskilda formulär som erbjuds av sökmotorer.
2. I det andra fallet hittar sökmotorroboten själv din webbplats med hjälp av länkar och indexerar den. Han kan hitta din webbplats med hjälp av länkar från andra resurser som leder till ditt projekt. Denna metod är den mest effektiva. Om en sökmotor hittar en webbplats på det här sättet, anser den att den är viktig.

Deadlines

Webbplatsindexering är inte särskilt snabb. Villkoren varierar, från 1-2 veckor. Länkar från auktoritativa resurser (med utmärkt PR och bröst) påskyndar avsevärt placeringen av webbplatsen i sökmotordatabasen. Idag anses Google vara det långsammaste, även om det fram till 2012 kunde göra det här jobbet på en vecka. Tyvärr förändras allt väldigt snabbt. Det är känt att Mail.ru har arbetat med webbplatser inom detta område i ungefär sex månader.

Inte alla specialister kan indexera en webbplats i sökmotorer. Tidpunkten för att lägga till nya sidor i databasen för en webbplats som redan har bearbetats av sökmotorer påverkas av hur ofta innehållet uppdateras. Om färsk information ständigt dyker upp på en resurs, anser systemet att den är ofta uppdaterad och användbar för människor. I det här fallet påskyndas dess arbete.

Du kan övervaka utvecklingen av webbplatsindexering i särskilda avsnitt för webbansvariga eller på sökmotorer.

Ändringar

Så vi har redan räknat ut hur sajten indexeras. Det bör noteras att sökmotordatabaser uppdateras ofta. Därför kan antalet sidor i ditt projekt som läggs till dem ändras (antingen minska eller öka) av följande skäl:

• sökmotorsanktioner mot webbplatsen;
• förekomst av fel på webbplatsen;
• förändringar i sökmotorernas algoritmer;
• vidrig hosting (otillgänglighet för servern som projektet ligger på) och så vidare.

Yandex svar på vanliga frågor

Yandex är en sökmotor som används av många användare. Det ligger på femte plats bland söksystemen i världen när det gäller antalet bearbetade forskningsförfrågningar. Om du har lagt till en webbplats till den kan det ta för lång tid att lägga till den i databasen.

Att lägga till en URL garanterar inte att den kommer att indexeras. Detta är bara en av metoderna med vilka systemet informerar roboten om att en ny resurs har dykt upp. Om din webbplats har få eller inga länkar från andra webbplatser kan du upptäcka den snabbare om du lägger till den.

Om indexering inte sker måste du kontrollera om det fanns några fel på servern när begäran skapades av Yandex-roboten. Om servern rapporterar ett fel kommer roboten att avsluta sitt arbete och försöka slutföra det i en omfattande genomsökning. Yandex-anställda kan inte öka hastigheten för att lägga till sidor i sökmotordatabasen.

Att indexera en webbplats i Yandex är en ganska svår uppgift. Vet du inte hur man lägger till en resurs i en sökmotor? Om det finns länkar till den från andra webbplatser behöver du inte lägga till webbplatsen specifikt - roboten kommer automatiskt att hitta och indexera den. Om du inte har sådana länkar kan du använda formuläret Lägg till URL för att tala om för sökmotorer att din webbplats finns.

Det är viktigt att komma ihåg att att lägga till en URL inte garanterar att din skapelse kommer att indexeras (eller hur snabbt den kommer att indexeras).

Många människor är intresserade av hur lång tid det tar att indexera en webbplats i Yandex. Anställda i detta företag lämnar inga garantier eller förutsäger deadlines. Som regel, eftersom roboten har lärt sig om webbplatsen, visas dess sidor i sökningar inom två dagar, ibland efter ett par veckor.

Bearbetningsprocess

Yandex är en sökmotor som kräver noggrannhet och uppmärksamhet. Webbplatsindexering består av tre delar:

1. Sökroboten genomsöker resurssidorna.
2. Webbplatsens innehåll registreras i söksystemets databas (index).
3. Efter 2-4 veckor, efter uppdatering av databasen, kan du se resultatet. Din webbplats kommer att visas (eller inte visas) i sökresultaten.

Indexeringskontroll

Hur kontrollerar man webbplatsindexering? Det finns tre sätt att göra detta:

1. Ange namnet på ditt företag i sökfältet (till exempel "Yandex") och kontrollera varje länk på första och andra sidan. Om du hittar webbadressen till ditt idébarn där betyder det att roboten har slutfört sin uppgift.
2. Du kan ange din webbplats URL i sökfältet. Du kommer att kunna se hur många internetblad som visas, det vill säga indexerade.
3. Registrera dig på webbansvarigas sidor i Mail.ru, Google, Yandex. När du har klarat webbplatsverifieringen kommer du att kunna se resultaten av indexering och andra sökmotortjänster som skapats för att förbättra prestandan för din resurs.

Varför vägrar Yandex?

Indexering av en webbplats i Google utförs på följande sätt: roboten lägger in alla sidor på webbplatsen i databasen, låg kvalitet och hög kvalitet, utan att välja. Men bara användbara dokument ingår i rankningen. Och Yandex utesluter omedelbart allt webbskräp. Den kan indexera vilken sida som helst, men sökmotorn eliminerar så småningom allt skräp.

Båda systemen har ett extra index. För båda påverkar sidor av låg kvalitet rankningen av webbplatsen som helhet. Det finns en enkel filosofi här. En viss användares favoritresurser kommer att rankas högre i sökresultaten. Men samma person kommer att ha svårt att hitta en sida som han inte gillade förra gången.

Det är därför det först är nödvändigt att skydda kopior av webbdokument från indexering, kontrollera om det finns tomma sidor och förhindra att innehåll av låg kvalitet returneras.

Påskyndar Yandex

Hur kan jag påskynda webbplatsindexeringen i Yandex? Följande steg måste följas:

Mellanliggande åtgärder

Vad behöver göras tills webbsidan indexeras av Yandex? En inhemsk sökmotor bör betrakta webbplatsen som den primära källan. Det är därför, även innan du publicerar en artikel, är det absolut nödvändigt att lägga till dess innehåll i formuläret "Specifika texter". Annars kommer plagiatörer att kopiera posten till sin resurs och hamna först i databasen. I slutändan kommer de att bli erkända som författarna.

Googles databas

Förbud

Vad är ett förbud mot webbplatsindexering? Du kan tillämpa den antingen på hela sidan eller på en separat del av den (en länk eller ett stycke text). Faktum är att det finns både ett globalt indexeringsförbud och ett lokalt. Hur genomförs detta?

Låt oss överväga att förbjuda att lägga till en webbplats i sökmotordatabasen i Robots.txt. Med hjälp av robots.txt-filen kan du utesluta indexering av en sida eller en hel resurskategori så här:

1. Användaragent: *
2. Disallow: /kolobok.html
3. Disallow: /foto/

Den första punkten anger att instruktionerna är definierade för alla delsystem, den andra anger att indexering av filen kolobok.html är förbjuden, och den tredje tillåter inte att hela innehållet i fotomappen läggs till i databasen. Om du behöver utesluta flera sidor eller mappar, ange dem alla i Robots.

För att förhindra indexering av ett enskilt internetblad kan du använda robotens metatagg. Den skiljer sig från robots.txt genom att den ger instruktioner till alla delsystem samtidigt. Denna metatagg lyder generella principer html-format. Det ska placeras i sidhuvudet mellan Ban-posten, till exempel kan det skrivas så här: .

Ajax

Hur indexerar Yandex Ajax-webbplatser? Idag används Ajax-teknik av många webbutvecklare. Självklart har hon stora möjligheter. Med den kan du skapa snabba och produktiva interaktiva webbsidor.

Systemet "ser" dock webbarket annorlunda än användaren och webbläsaren. Till exempel tittar en person på ett bekvämt gränssnitt med rörligt laddade Internetark. För en sökrobot kan innehållet på samma sida vara tomt eller presenteras som annat statiskt HTML-innehåll, för vilket skript inte används.

För att skapa Ajax-sajter kan du använda en URL med #, men sökmotorroboten använder den inte. Vanligtvis separeras den del av URL:en efter #. Detta måste beaktas. Därför, istället för en URL som http://site.ru/#example, gör han en begäran till huvudsidan för resursen som finns på http://site.ru. Detta innebär att innehållet i internetbladet inte får finnas med i databasen. Som ett resultat kommer det inte att visas i sökresultaten.

För att förbättra indexeringen av Ajax-webbplatser stödde Yandex ändringar i sökroboten och reglerna för bearbetning av webbadresser till sådana webbplatser. Idag kan webbansvariga indikera för Yandex sökmotor behovet av indexering genom att skapa ett lämpligt schema i resursstrukturen. För att göra detta behöver du:

1. Ersätt #-symbolen i sidans URL med #!. Nu kommer roboten att förstå att den kan begära en HTML-version av innehållet för detta internetblad.
2. HTML-versionen av innehållet på en sådan sida bör placeras på en URL där #! ersatt av?_escaped_fragment_=.

Vad är indexering? Detta är processen för en robot som tar emot innehållet på din webbplats sidor och inkluderar det innehållet i sökresultaten. Om vi ​​tittar på siffrorna innehåller indexeringsrobotens databas biljoner webbadresser. Varje dag begär roboten miljarder sådana adresser.

Men hela denna stora process för att indexera Internet kan delas upp i små steg:

Först måste indexeringsroboten veta att en sida på din webbplats har dykt upp. Till exempel genom att indexera andra sidor på Internet, hitta länkar eller ladda ner setet nemp. Vi lärde oss om sidan, varefter vi planerar att genomsöka den här sidan, skicka data till din server för att begära den här sidan på webbplatsen, ta emot innehållet och inkludera det i sökresultaten.

Hela denna process är processen att byta ut indexeringsroboten med din webbplats. Om förfrågningarna som skickas av indexeringsroboten praktiskt taget inte ändras, och bara sidadressen ändras, beror din servers svar på robotens sidförfrågan på många faktorer:

• från dina CMS-inställningar;
• från värdleverantörens inställningar;
• från mellanleverantörens arbete.

Det här svaret förändras bara. Först och främst, när du begär en sida, får roboten från din webbplats följande servicesvar:

Dessa är HTTP-rubriker. De innehåller olika tjänsteinformation som gör att roboten kan förstå vilket innehåll som kommer att överföras nu.

Jag skulle vilja fokusera på den första rubriken - detta är HTTP-svarskoden som anger för indexeringsroboten statusen för sidan som roboten begärde.

Det finns flera dussin sådana HTTP-kodstatusar:

Jag ska berätta om de mest populära. Den vanligaste svarskoden är HTTP-200. Sidan är tillgänglig, den kan indexeras, inkluderas i sökresultaten, allt är bra.

Motsatsen till denna status är HTTP-404. Sidan finns inte på webbplatsen, det finns inget att indexera och det finns inget att inkludera i sökningen. Vid ändring av strukturen på sajter och byte av adresser interna sidor Vi rekommenderar att du ställer in en 301-server för omdirigeringar. Han kommer bara att påpeka för roboten det gammal sida flyttat till ny adress och behöver ingå i sökresultat exakt den nya adressen.

Om sidans innehåll inte har ändrats sedan senaste gången en robot besökte sidan, är det bäst att returnera en HTTP-304-kod. Roboten kommer att förstå att det inte finns något behov av att uppdatera sidorna i sökresultaten och innehållet kommer inte heller att överföras.

Om din webbplats bara är tillgänglig under en kort tidsperiod, till exempel när du jobbar på servern, är det bäst att konfigurera HTTP-503. Det kommer att indikera för roboten att webbplatsen och servern för närvarande inte är tillgängliga, du måste komma tillbaka lite senare. I händelse av kortvarig otillgänglighet kommer detta att förhindra att sidor exkluderas från sökresultaten.

Utöver dessa HTTP-koder och sidstatusar behöver du också direkt skaffa innehållet på själva sidan. Om sidan ser ut så här för en vanlig besökare:

det här är bilder, text, navigering, allt är väldigt vackert, så för indexeringsroboten är vilken sida som helst bara en uppsättning källkod, HTML-kod:

Olika metataggar, textinnehåll, länkar, skript, mycket all slags information. Roboten samlar in den och inkluderar den i sökresultaten. Det verkar som att allt är enkelt: de begärde en sida, fick statusen, fick innehållet och inkluderade det i sökningen.

Men det är inte utan anledning att Yandex söktjänst tar emot mer än 500 brev från webbansvariga och webbplatsägare som säger att vissa problem har uppstått med serverns svar.

Alla dessa problem kan delas upp i två delar:

Det här är problem med HTTP-svarskoden och problem med HTML-koden, med det direkta innehållet på sidorna. Det kan finnas ett stort antal orsaker till dessa problem. Det vanligaste är att indexeringsroboten blockeras av värdleverantören.

Till exempel har du startat en webbplats, lagt till nytt avsnitt. Roboten börjar besöka din webbplats oftare, vilket ökar belastningen på servern. Värdleverantören ser detta på sin övervakning, blockerar indexeringsroboten och därför kan roboten inte komma åt din webbplats. Du går till din resurs - allt är bra, allt fungerar, sidorna är vackra, allt öppnas, allt är bra, men roboten kan inte indexera webbplatsen. Om sidan är tillfälligt otillgänglig, till exempel om du glömt att betala Domän namn, sajten har varit nere i flera dagar. Roboten kommer till platsen, den är otillgänglig, under sådana förhållanden kan den försvinna från sökresultaten bokstavligen efter ett tag.

Felaktiga CMS-inställningar, till exempel vid uppdatering eller byte till ett annat CMS, vid uppdatering av designen, kan också göra att sidor på din webbplats försvinner från sökresultaten om inställningarna är felaktiga. Till exempel förekomsten av en förbjudande metatagg i källkod webbplatssidor, felaktig inställning av det kanoniska attributet. Se till att efter alla ändringar du gör på webbplatsen är sidorna tillgängliga för roboten.

Yandex-verktyget hjälper dig med detta. Till webmastern för att kontrollera serverns svar:

Du kan se vilka HTTP-rubriker som din server returnerar till roboten och innehållet på själva sidorna.

Avsnittet "Indexering" innehåller statistik där du kan se vilka sidor som är exkluderade, dynamiken i förändringar i dessa indikatorer och göra olika sortering och filtrering.

Dessutom har jag redan pratat om det här avsnittet idag, avsnittet "webbplatsdiagnostik". Om din webbplats blir otillgänglig för en robot kommer du att få ett motsvarande meddelande och rekommendationer. Hur kan detta fixas? Om inga sådana problem uppstår är sidan tillgänglig, uppfyller koderna 200 och innehåller korrekt innehåll, då börjar roboten automatiskt läge besöka alla sidor som han känner igen. Detta leder inte alltid till önskade konsekvenser, så robotens aktiviteter kan begränsas på ett visst sätt. Det finns en robots.txt-fil för detta. Vi kommer att prata om det i nästa avsnitt.

Robots.txt

Själva robots.txt-filen är liten Textdokument, den ligger i webbplatsens rotmapp och innehåller strikta regler för indexeringsroboten som måste följas vid genomsökning av webbplatsen. Fördelarna med robots.txt-filen är att du inte behöver någon speciell eller specialiserad kunskap för att använda den.

Allt du behöver göra är att öppna Anteckningar, ange vissa formatregler och sedan helt enkelt spara filen på servern. Inom ett dygn börjar roboten använda dessa regler.

Om vi ​​tar ett exempel på en enkel robots.txt-fil så är den här, bara på nästa bild:

Direktivet "User-Agent:" visar för vilka robotar regeln är avsedd, tillåter/förnekar direktiv och extra webbplatskartor och värddirektiv. Lite teori, jag skulle vilja gå vidare till praktiken.

För några månader sedan ville jag köpa en stegräknare, så jag vände mig till Yandex. Marknad för hjälp med valet. Flyttade från Yandex huvudsida till Yandex. Marknad och fick startsida service.

Nedan kan du se adressen till sidan jag gick till. Adressen till själva tjänsten lade också till identifieraren för mig som användare på webbplatsen.

Sedan gick jag till avsnittet "katalog".

Jag valde önskat underavsnitt och konfigurerade sorteringsparametrarna, pris, filter, hur man sorterar och tillverkare.

Jag fick en lista över produkter och sidans adress har redan vuxit.

Jag gick till önskad produkt, klickade på knappen "lägg till i varukorgen" och fortsatte kassan.

Under min korta resa ändrades sidadresserna på ett visst sätt.

Serviceparametrar lades till dem, som identifierade mig som användare, ställde in sortering och indikerade för webbplatsägaren var jag kom ifrån till den eller den sidan på webbplatsen.

Jag tror att sådana sidor, tjänstesidor, inte kommer att vara särskilt intressanta för sökmotoranvändare. Men om de är tillgängliga för indexeringsroboten kan de inkluderas i sökningen, eftersom roboten i huvudsak beter sig som en användare.

Han går till en sida, ser en länk som han kan klicka på, går till den, laddar data till sin robots databas och fortsätter genomsökningen av hela webbplatsen. Denna kategori av sådana adresser inkluderar också personliga uppgifter om användare, till exempel, såsom leveransinformation eller kontaktinformation för användare.

Naturligtvis är det bättre att förbjuda dem. Det är exakt vad robots.txt-filen hjälper dig med. Du kan gå till din webbplats i kväll i slutet av Webmaster, klicka och se vilka sidor som faktiskt är tillgängliga.

För att kontrollera robots.txt finns ett speciellt verktyg i Webmaster:

Du kan ladda ner, ange sidadresser, se om de är tillgängliga för roboten eller inte.

Gör några ändringar, se hur roboten reagerar på dessa förändringar.

Fel vid arbete med robots.txt

Förutom en sådan positiv effekt - att stänga servicesidor, kan robots.txt skämta grymt om det hanteras felaktigt.

För det första är det vanligaste problemet när du använder robots.txt stängningen av verkligt nödvändiga webbplatssidor, de som ska finnas i sökningen och visas för frågor. Innan du gör ändringar i robots.txt, se till att kontrollera om sidan du vill stänga visas för sökfrågor. Kanske finns en sida med vissa parametrar i sökresultaten och besökare kommer till den från sökning. Se därför till att kontrollera innan du använder och gör ändringar i robots.txt.

För det andra, om din webbplats använder kyrilliska adresser kommer du inte att kunna ange dem i robots.txt direkt form, måste de vara kodade. Eftersom robots.txt är en internationell standard som alla indexeringsrobotar följer, kommer de definitivt att behöva kodas. Det är inte möjligt att uttryckligen ange det kyrilliska alfabetet.

Det tredje mest populära problemet är olika regler för olika robotar från olika sökmotorer. För en indexeringsrobot stängdes alla indexeringssidor, för den andra stängdes ingenting alls. Som ett resultat av detta är allt bra i en sökmotor, den önskade sidan finns i sökningen, men i en annan sökmotor kan det finnas skräp, olika sopsidor och något annat. Se till att se till att om du sätter ett förbud måste det göras för alla indexeringsrobotar.

Det fjärde mest populära problemet är användningen av Crawl-delay-direktivet när det inte är nödvändigt. Detta direktiv låter dig påverka renheten av förfrågningar från indexeringsroboten. Detta är ett praktiskt exempel, en liten webbplats, placerad den på en liten hosting, allt är bra. Vi lade till en stor katalog, roboten kom, såg ett gäng nya sidor, började komma åt sidan oftare, ökade belastningen, laddade ner den och sidan blev otillgänglig. Vi ställer in Crawl-delay-direktivet, roboten ser detta, minskar belastningen, allt är bra, sajten fungerar, allt är perfekt indexerat, det finns i sökresultaten. Efter en tid växer sajten ännu mer, överförs till en ny hosting som är redo att hantera dessa förfrågningar, med ett stort antal förfrågningar, och de glömmer bort att ta bort Crawl-delay-direktivet. Som ett resultat förstår roboten att många sidor har dykt upp på din webbplats, men kan inte indexera dem bara på grund av det fastställda direktivet. Om du någonsin har använt Crawl-delay-direktivet, se till att det inte finns där nu och att din tjänst är redo att hantera belastningen från indexeringsroboten.

Förutom den beskrivna funktionaliteten låter robots.txt-filen dig lösa två mycket viktiga uppgifter - bli av med dubbletter på webbplatsen och ange adressen till huvudspegeln. Det är precis vad vi kommer att prata om i nästa avsnitt.

Dubbel

Med dubbletter menar vi flera sidor på samma sida som innehåller helt identiskt innehåll. Det vanligaste exemplet är sidor med och utan ett snedstreck i slutet av adressen. En duplikat kan också förstås som samma produkt i olika kategorier.

Till exempel kan rullskridskor vara för tjejer, för pojkar kan samma modell vara i två sektioner samtidigt. Och för det tredje är det sidor med en obetydlig parameter. Som i exemplet med Yandex. Marknaden definierar denna sida som ett "sessions-ID", denna parameter ändrar i princip inte sidans innehåll.

För att upptäcka dubbletter och se vilka sidor roboten kommer åt kan du använda Yandex. Webmaster.

Utöver statistik finns det även adresser till sidor som roboten laddat ner. Du ser koden och det senaste samtalet.

Problem som dubbletter leder till

Vad är det för dåligt med dubbelspel?

För det första börjar roboten komma åt helt identiska sidor på webbplatsen, vilket skapar en extra belastning inte bara på din server utan också påverkar genomsökningen av webbplatsen som helhet. Roboten börjar uppmärksamma dubbletter av sidor, och inte de sidor som behöver indexeras och inkluderas i sökresultaten.

Det andra problemet är att dubbletter av sidor, om de är tillgängliga för roboten, kan hamna i sökresultaten och konkurrera med huvudsidorna för frågor, vilket naturligtvis kan påverka webbplatsen som hittas för vissa frågor negativt.

Hur kan du hantera dubbletter?

Först och främst rekommenderar jag att du använder taggen "kanonisk". för att peka roboten till den kanoniska huvudsidan, som ska indexeras och hittas i sökfrågor.

I det andra fallet kan du använda en 301-serveromdirigering, till exempel för situationer med ett snedstreck i slutet av adressen och utan ett snedstreck. Vi ställer in omdirigering - det finns inga dubbletter.

Och för det tredje, som jag redan sa, detta är robots.txt-filen. Du kan använda både deny-direktiv och Clean-param-direktivet för att bli av med obetydliga parametrar.

Site speglar

Den andra uppgiften som robots.txt låter dig lösa är att peka roboten till adressen till huvudspegeln.

Speglar är en grupp webbplatser som är helt identiska, som dubbletter, bara de två webbplatserna är olika. Webbansvariga stöter vanligtvis på speglar i två fall – när de vill flytta till en ny domän, eller när en användare behöver göra flera webbadresser tillgängliga.

Du vet till exempel att när användare skriver in din adress eller adressen till din webbplats i adressfältet gör de ofta samma misstag – de stavar fel, sätter fel tecken eller något annat. Du kan köpa en extra domän för att visa användarna inte en stubb från värdleverantören, utan webbplatsen de verkligen ville gå till.

Låt oss fokusera på den första punkten, för det är med detta som problem oftast uppstår när man arbetar med speglar.

Jag råder dig att utföra hela flyttprocessen enligt följande instruktioner. En liten instruktion som låter dig undvika olika problem när du flyttar till ett nytt domännamn:

Först måste du göra webbplatser tillgängliga för indexeringsroboten och placera helt identiskt innehåll på dem. Se också till att roboten känner till webbplatsernas existens. Det enklaste sättet är att lägga till dem i Yandex. Webmaster och bekräfta rättigheterna till dem.

För det andra, med hjälp av värddirektivet, peka roboten på adressen till huvudspegeln - den som ska indexeras och finnas i sökresultaten.

Vi väntar på limning och överföring av alla indikatorer från den gamla platsen till den nya.

Därefter kan du ställa in omdirigering från den gamla adressen till den nya. En enkel instruktion, om du ska flytta, se till att använda den. Jag hoppas att det inte blir några problem med
rör på sig.

Men naturligtvis uppstår fel när man arbetar med speglar.

Först och främst är det viktigaste problemet bristen på explicita instruktioner för indexeringsroboten till adressen till huvudspegeln, adressen som ska finnas i sökningen. Kontrollera på dina sajter att de har ett värddirektiv i sin robots.txt, och att det pekar på exakt den adress som du vill se i sökningen.

Det näst mest populära problemet är att använda omdirigering för att ändra huvudspegeln i en befintlig grupp speglar. Vad händer? Den gamla adressen, eftersom den omdirigerar, indexeras inte av roboten och exkluderas från sökresultaten. I det här fallet visas inte den nya webbplatsen i sökningen, eftersom den inte är huvudspegeln. Du tappar trafik, du tappar besökare, jag tror att ingen behöver detta.

Och det tredje problemet är otillgängligheten för en av speglarna när man rör sig. Det vanligaste exemplet i den här situationen är när de kopierade webbplatsens innehåll till en ny adress, men den gamla adressen var helt enkelt inaktiverad, de betalade inte för domännamnet och det blev otillgängligt. Naturligtvis kommer sådana webbplatser inte att slås samman, de måste vara tillgängliga för indexeringsroboten.

Användbara länkar i arbetet:

• Mer användbar information hittar du i Yandex.Help-tjänsten.
• Alla verktyg jag pratade om och ännu mer - det finns en betaversion av Yandex.Webmaster.

Svar på frågor

"Tack för rapporten. Är det nödvändigt att inaktivera indexering av CSS-filer för roboten i robots.txt eller inte?

Vi rekommenderar inte att du stänger dem just nu. Ja, det är bättre att lämna CSS och JavaScript, för nu arbetar vi för att se till att indexeringsroboten börjar känna igen både skript på din webbplats och stilar, och se hur en besökare gör från en vanlig webbläsare.

"Säg mig, om webbadresserna är samma för den gamla och den nya, är det normalt?"

Det är okej. I grund och botten uppdaterar du bara designen, lägger till lite innehåll.

"Sajten har en kategori och den består av flera sidor: snedstreck, sida1, sida2, upp till 10, till exempel. Alla sidor har samma kategoritext, och den visar sig vara dubblett. Kommer den här texten att vara en dubblett eller ska den stängas på något sätt, ett nytt index på andra och ytterligare sidor?

För det första, eftersom pagineringen på den första sidan och innehållet på den andra sidan i allmänhet är olika, kommer de inte att vara dubbletter. Men du måste förvänta dig att andra, tredje och ytterligare sidnumreringssidor kan komma in i sökningen och dyka upp för någon relevant fråga. Bättre på pagineringssidor skulle jag rekommendera att använda det kanoniska attributet, i bästa fall - på sidan där alla produkter är samlade så att roboten inte inkluderar pagineringssidor i sökningen. Människor använder väldigt ofta kanoniskt på den första sidan av sideringen. Roboten kommer till andra sidan, ser produkten, ser texten, tar inte med sidan i sökningen och förstår på grund av attributet att det är den första pagineringssidan som ska ingå i sökresultaten. Använd kanoniskt, och stäng själva texten, jag tror att det inte behövs.

Källa (video): Hur man ställer in webbplatsindexering- Alexander Smirnov

Magomed Cherbizhev

I stort sett, om din resurs är bra, välgjord, borde det inte vara några problem med dess indexering. Om webbplatsen, även om den inte är 100%, uppfyller kraven från sökmotorer - "för människor", kommer de gärna att titta på dig och indexera allt nytt som kommer att läggas till.

Men hur som helst, det första steget för att marknadsföra en webbplats är att lägga till den i PS-indexet. Tills resursen är indexerad finns det i stort sett inget att främja, eftersom sökmotorer inte vet om det alls. Därför kommer jag i den här artikeln att titta på vad webbplatsindexering är i Yandex och hur man skickar in en resurs för indexering. Jag kommer också att berätta hur du kontrollerar om en webbplats eller en separat sida ingår i Yandex-indexet och vad du ska göra för att påskynda indexeringen av Yandex.

Att indexera en webbplats i Yandex är robotarna som genomsöker yandex sökmotor på din webbplats och anger alla öppna sidor till databasen. Den ryska sökmotorspindeln lägger till data om webbplatsen till databasen: dess sidor, bilder, videor, dokument som är sökbara. Sökroboten är också engagerad i att indexera länkar och andra element som inte är dolda av speciella taggar och filer.

De viktigaste sätten att indexera en resurs:

Tvingad - du måste skicka in webbplatsen för indexering till Yandex genom ett speciellt formulär.

Naturligt – sökspindeln lyckas självständigt hitta din webbplats genom att flytta från externa resurser som länkar till webbplatsen.

Tiden det tar att indexera en webbplats i Yandex är olika för alla och kan variera från ett par timmar till flera veckor.

Detta beror på många faktorer: vilka värden finns i Sitemap.xml, hur ofta resursen fylls, hur ofta omnämnanden av webbplatsen visas på andra resurser. Indexeringsprocessen är cyklisk, så roboten kommer till dig med (nästan) lika tidsintervall. Men med vilken frekvens beror på faktorerna som nämns ovan och den specifika roboten.

Spindeln kan indexera hela webbplatsen (om den är liten) eller en separat sektion (detta gäller nätbutiker eller media). På ofta uppdaterade resurser, som media- och informationsportaler, bor så kallade snabba robotar för snabb sajtindexering i Yandex.

Ibland kan tekniska problem (eller problem med servern) uppstå i projektet; i det här fallet kommer Yandex-indexering av webbplatsen inte att äga rum, varför sökmotorn kan ta till följande scenario:

• kasta omedelbart ut oindexerade sidor från databasen;
• indexera om resursen efter en viss tid;
• ställ in sidor som inte indexerades för att uteslutas från databasen, och om den inte hittar dem under återindexering kommer den att kastas ut ur indexet.

Hur man påskyndar webbplatsindexering i Yandex

Hur man påskyndar indexeringen i Yandex är en vanlig fråga på olika webmasterforum. Faktum är att hela webbplatsens livslängd beror på indexering: resursens position i PS, antalet kunder från dem, projektets popularitet, vinst, i slutändan.

Jag har förberett 10 metoder som jag hoppas kommer vara användbara för dig. De första fem är standard för konstant indexering av en resurs, och de nästa fem hjälper dig att påskynda indexeringen av din webbplats i Yandex:

Bokmärkestjänster;

RSS-flöde – kommer att säkerställa sändning av nytt material från din resurs till prenumeranters e-post och RSS-kataloger;

länkutbyten - kommer att säkerställa en stabil ökning av dofollow-länkar från kvalitetsgivare, om de väljs korrekt (hur man väljer rätt);

– om du ännu inte har registrerat din webbplats i kataloger, råder jag dig att göra det. Många säger att kataloger har dött för länge sedan eller att registrering i dem kommer att döda en webbplats - det är inte sant. Mer exakt, det är inte den fullständiga sanningen, om du registrerar dig i alla kataloger i rad, kommer din resurs verkligen bara att lida av detta. Men med rätt urval av förtroende och bra kataloger kommer effekten utan tvekan att bli.

Kontrollera webbplatsindexering i Yandex

• Webbplats- och webbadressoperatörer. Om du vill kontrollera indexeringen av en webbplats i Yandex kan du använda vanliga sökmotoroperatörer ..biz. (Naturligtvis, istället för min domän, din)

  

• RDS bar. Jag anser att det är det bästa och snabbaste sättet att kontrollera indexeringen av en sida i Yandex. Detta plugin kan installeras på alla populära webbläsare och kommer omedelbart att ge detaljerad information om antalet webbplatssidor i indexet och förekomsten av specifikt material i det. Med detta tillägg kommer du inte att slösa tid på att manuellt ange webbadresser i tjänster eller sökningar. I allmänhet rekommenderar jag det, RDS-fältet är extremt bekvämt:
• Service Serphant. En multifunktionell resurs med vilken du kan analysera en webbplats: bedöma effektiviteten och övervakningen av webbplatser, analysera konkurrenters sidor, kontrollera positioner och webbplatsindexering. Du kan kontrollera sidindexering gratis med denna länk: https://serphunt.ru/indexing/. Tack vare batchkontroll (upp till 50 adresser) och hög tillförlitlighet av resultaten är denna tjänst en av de tre bästa enligt min mening.

  

• XSEO-tjänst. En uppsättning verktyg för webbansvariga, i XSEO.in kan du titta på webbplatsindexeringen i Yandex. Få även mycket mer användbar information om din resurs:

  

• PR-CY och CY-PR tjänster. Ett par tjänster till som ger dig information om det totala antalet indexerade sidor:

  

• Platsrapporttjänst. En utmärkt tjänst som kommer att peka ut alla dina misstag när du arbetar på sajten. Den har också en sektion "Indexering", där information kommer att presenteras för varje sida på webbplatsen, som anger om den är indexerad eller inte i sökmotorer Yandex system och Google. Därför rekommenderar jag att använda denna resurs för att upptäcka problem på webbplatsen och kontrollera Yandex massindexering:

  

Med Google är allt väldigt enkelt. Du måste lägga till din webbplats i verktyg för webbansvariga på https://www.google.com/webmasters/tools/, välj sedan den tillagda webbplatsen, så att du kommer in i Search Console på din webbplats. Därefter, i den vänstra menyn, välj avsnittet "Scanning" och i det alternativet "Visa som Googlebot".

På sidan som öppnas, i det tomma fältet, skriv in adressen till den nya sidan som vi snabbt vill indexera (med hänsyn till det redan angivna domännamnet på webbplatsen) och klicka på knappen "Genomsök" till höger. Vi väntar tills sidan har skannats och dyker upp överst i tabellen över adresser som tidigare skannats på liknande sätt. Klicka sedan på knappen "Lägg till i index".

Hurra, din nya sida indexeras omedelbart av Google! På bara ett par minuter kommer du att kunna hitta den i Googles sökresultat.

Snabb indexering av sidor i Yandex

I ny version verktyg för webbansvariga blev tillgängliga liknande verktyg för att lägga till nya sidor i indexet. Följaktligen måste din webbplats också först läggas till Yandex Webmaster. Du kan också komma dit genom att välja önskad webbplats i webbmastern, gå sedan till avsnittet "Indexering", välj alternativet "Sidgenomsökning". I fönstret som öppnas anger du adresserna till nya sidor som vi snabbt vill indexera (via en länk på en rad).

Till skillnad från Google sker indexering i Yandex ännu inte omedelbart, men det försöker sträva efter det. Med hjälp av ovanstående åtgärder kommer du att informera Yandex-roboten om ny sida. Och det kommer att indexeras inom en halvtimme till en timme - detta är vad min personliga erfarenhet visar. Kanske beror hastigheten på sidindexering i Yandex på ett antal parametrar (rykte för din domän, ditt konto och/eller andra). I de flesta fall kan du stanna där.

Om du ser att sidorna på din webbplats är dåligt indexerade av Yandex, det vill säga det finns flera allmänna rekommendationer om hur man hanterar detta:

• Den bästa, men också svåra, rekommendationen är att installera Yandex quickbot på din webbplats. För att göra detta är det lämpligt att lägga till färskt material till webbplatsen varje dag. Gärna 2-3 eller fler material. Lägg dessutom till dem inte alla på en gång, utan efter ett tag, till exempel på morgonen, eftermiddagen och kvällen. Det skulle vara ännu bättre att behålla ungefär samma publiceringsschema (ungefär samma tid för att lägga till nytt material). Dessutom rekommenderar många att skapa RSS-flöde webbplats så att sökrobotar kan läsa uppdateringar direkt från den.
• Naturligtvis kommer inte alla att kunna lägga till nytt material till webbplatsen i sådana volymer - det är bra om du kan lägga till 2-3 material per vecka. I det här fallet kan du inte riktigt drömma om hastigheten på Yandex, men försök få in nya sidor i indexet på andra sätt. Det mest effektiva anses vara att lägga upp länkar till nya sidor till uppgraderade Twitter-konton. Genom att använda specialprogram som Twidium Accounter kan du "pumpa upp" antalet Twitter-konton du behöver och, med deras hjälp, snabbt infoga nya webbplatssidor i sökmotorindex. Om du inte har möjlighet att själv lägga upp länkar till uppgraderade Twitter-konton kan du köpa sådana inlägg genom särskilda börser. Ett inlägg med din länk kommer att kosta i genomsnitt 3-4 rubel och mer (beroende på styrkan på det valda kontot). Men det här alternativet kommer att bli ganska dyrt.
• Det tredje alternativet för snabb indexering är att använda tjänsten http://getbot.guru/, som för bara 3 rubel hjälper dig att uppnå önskad effekt med en garanti för resultat. Väl lämpad för webbplatser med ett sällsynt schema för att lägga till nya publikationer. Det finns också billigare priser. Det är bättre att titta på deras detaljer och skillnader på webbplatsen för själva tjänsten. Personligen har jag tjänster av denna tjänst Jag är väldigt nöjd med den som indexeringsaccelerator.

Naturligtvis kan du även lägga till nya inlägg i sociala bokmärken, vilket i teorin också borde hjälpa sajten att snabbt indexeras. Men effektiviteten av ett sådant tillägg beror också på nivån på dina konton. Om du har lite aktivitet på dem och du bara använder konton för sådan spam, kommer det praktiskt taget inte att finnas någon användbar utdata.

P.S. med lång erfarenhet är alltid relevant - kontakta oss!