Škrabanie SERP v reálnom čase pomocou Zenserp - kontrola

Spoločnosť Google má za sebou dlhú históriu toho, že vývojárom SEO, ktorí sa snažia zoškrabať verejne dostupné údaje zo svojich stránok s výsledkami vyhľadávania, dáva skutočne zabrať. Škrabanie SERP je v skutočnosti oficiálne v rozpore so zmluvnými podmienkami spoločnosti Big G. Tento postup však neporušuje zákon o počítačových podvodoch a zneužitiach (CFAA), a preto sa priame právne kroky spoločnosti Google na obmedzenie tohto postupu zastavili. V tomto článku sa budeme zaoberať vysoko škálovateľným škrabaním SERP v reálnom čase pomocou Zenserpu. Poďme začať!

Aj keď teda škrabanie nie je v skutočnosti nezákonné alebo nijako nepoškodzuje city nikoho v praxi, vývojári musia stále zápasiť s blokovaním ostatných prekážok. Google navrhol tak, aby bránil ich zhromažďovaniu údajov. Medzi bežné bolesti hlavy patrí Captchas a blokovanie IP. V minulosti však boli zasielané listy o zastavení používania, táto taktika je čoraz zriedkavejšia.

Čo však v prípade, ak ste sa s týmito nepríjemnosťami vôbec nemuseli vyrovnať, aby ste získali svoje vzácne údaje? Vstúpte do spoločnosti Zenserp, základnej ponuky od rakúskej spoločnosti SaaS Industries.

Zenserp v skratke SERP škrabanie pomocou Zenserpu

Zenserp API je vysnívaný nástroj pre SEO vývojárov, ktorí hľadajú riešenie na kľúč na odstránenie bežných prekážok pri škrabaní. Používanie a integrácia je úplne jednoduchá vďaka vývojovému cyklu zameranému na používateľa SaaS Industries a širokej jazykovej kompatibilite (prehliadač, Curl, Python, Node.js, PHP). A čo viac, ich nenásytná túžba po spätnej väzbe od spotrebiteľov a požiadavkách na funkcie viedla k obrovskej aktualizácii API z apríla 2019, ktorá zahŕňala komplexnú škálu dátových typov vrátane obrázkov Google, videí, máp, správ, nakupovania a tiež trendov.

V kombinácii s konkurenčnými cenami a špičkovým zákazníckym servisom. Naozaj máte riešenie typu „všetko v jednom“ pre vaše problémy so škrabaním SERP v spoločnosti Zenserp.

Začíname so Zenserpom

Aké je to vlastne používať Zenserp? Ďalej uvádzame postup začiatku práce so Zenserpom. Potom sa ponoríme do ich dokumentácie API, aby sme sa podrobnejšie oboznámili s robustnou funkčnosťou spoločnosti Zenserp.

Prehľad informačného panela SERP škrabanie pomocou Zenserpu

Predpokladajme, že práve nahliadnete do toho, o čom je Zenserp, na svojej domovskej stránke kliknete na jasne zelené tlačidlo Prihlásiť sa na bezplatný plán. Po vytvorení a overení účtu kliknite na položku Prihlásiť sa a dostanete sa na hlavný panel.

Stránka, na ktorú sa dostanete, zobrazuje prehľad vašich najdôležitejších informácií o použití vrátane vášho kľúča API, kvóty mesačných požiadaviek, používania API v priebehu času. Ďalej dokumentácia všetkých zlyhaných požiadaviek, ktoré sa mohli vyskytnúť. K dispozícii je tiež praktická sekcia Vytváranie požiadaviek, ktorá nasmeruje nových používateľov Zenserp na množstvo užitočných zdrojov. Väčšinu z toho preberieme v tejto dokumentácii v časti Dokumentácia, takže to vydržte.

Pozrime sa rýchlo na všetky možnosti bočného panela:

• Dashboard - Už si tu! Toto je jednoducho rýchly odkaz, pomocou ktorého sa môžete kedykoľvek vrátiť na stránku prehľadu.
• Detské ihrisko - Táto stránka má správne pomenovanie a ponúka plne vizuálne (t. J. Nie je potrebné žiadne kódovanie) a interaktívne rozhranie, aby ste si mohli pohrávať s rôznymi koncovými bodmi spoločnosti Zenserp. Tu môžete vygenerovať niekoľko vzorových odpovedí a použiť ich na konfiguráciu vašej požiadavky API. Nespoliehajte sa na to na 100%, pretože sú tu rohové prípady, ktoré presahujú možnosti tohto nástroja. Napriek tomu sa nám páči, ako máte možnosť exportovať svoje experimenty do kódu (Browser, Curl, Python, Node.js, PHP), keď nájdete niečo, čo skutočne funguje.
• Dokumentácia - Podrobnosti o podrobnostiach API Zenserp. Tejto sa venujeme hlbšie nižšie.
• Profil / Zabezpečenie - Základná konfigurácia účtu vrátane vášho avatara, kontaktných informácií a správy hesla. Nič fantastické.
• Fakturácia - Pozostáva z troch možností, kde môžete upgradovať / downgrade / zrušiť svoju úroveň predplatného, ​​spravovať svoj spôsob platby a IČ DPH, plus bezplatné pole, kde môžete požiadať o zahrnutie textu do svojich faktúr za Zenserp, aby ste uľahčili účtovníctvo.

To všetko je celkom štandardné cestovné pre každé API, ale oceňujeme, aké jednoduché je všetko. Uvidíte, čo získate, a Zenserp sa nepokúša zakopať nastavenia predplatného v temných rohoch vášho profilu.

Dokumentácia API Zenserp SERP škrabanie pomocou Zenserpu

Keď nebudeme mať základy, teraz sa môžeme dostať k dobrým veciam: dokumentácii spoločnosti Zenserp. Tu uvidíte, čo presne je API schopné a ako ju používať. Aj keď úplná implementácia rozhrania API do vašej aplikácie presahuje rámec tejto kontroly, v krátkosti sa dotkneme každého koncového bodu, niektorých kľúčových parametrov a poskytneme niekoľko príkladov odpovedí.

Základná funkčnosť

Začíname na stránke dokumentácie je príznačne pomenovaná sekcia Začíname, ktorá podrobne popisuje vaše najzákladnejšie funkcie API, ktoré sú schopné interagovať so všetkými ostatnými koncovými bodmi. Pozrime sa:

je môj bootloader odomknutý

• Overenie - To vám ukáže, ako používať váš kľúč API na autentifikáciu. V hlavičke je príklad použitia, za ktorým nasledujú príklady žiadostí GET a POST. Brnkačka.
• postavenie - Umožňuje vám požiadať o počet zostávajúcich požiadaviek podľa vašich limitov predplatného. Napokon, prečo by ste sa mali trápiť s prihlásením do svojho panela Zenserp Dashboard, keď vám stačí, aby vám to priamo povedala vaša aplikácia?
• šarža - Pripojenie tohto koncového bodu vám umožní vykonať až 1 000 vyhľadávaní v jednej dávke. Máte možnosť požiadať o všetky dávky naraz, konkrétne podľa ID dávky, alebo podľa potreby odoslať novú dávku alebo zlúčiť existujúce dávky.
• Chybové kódy - Zenserp má tiež schopnosť vracať chyby, keď sa vyskytnú. Vrátane 403 Zakázané, keď ste dosiahli svoj mesačný limit alebo ste použili nesprávny kľúč API, 404 Zakázané, keď neboli nájdené žiadne výsledky, alebo 500. Kedykoľvek došlo k chybe servera. Nezabudnite, že neúspešné žiadosti sa zobrazujú aj na vašom hlavnom paneli.

Koncový bod / search | SERP škrabanie pomocou Zenserpu

Základné funkcie Zenserpu sú tu. Pripojením / vyhľadávaním k svojej požiadavke na API. Dostanete komplexné množstvo údajov v podstate o všetkom, na čo si myslíte, že budete zbierať SERPS. Váš dopyt vráti širokú škálu výsledkov vrátane:

• Výsledky organického vyhľadávania - Dotaz na organické servery SERP vráti všetky druhy údajov, vrátane poradia položiek, ich názvu, zobrazenej aj cieľovej adresy URL, niekoľkých typov kontrol, či je odkaz odkazom Google AMP, reťazcov predstavujúcich popis stránky a miestnej 3-balíčky. ktorá obsahuje obchodné informácie.
• Platené výsledky - Získate tiež úplný prehľad platených výsledkov. Vrátené informácie zahŕňajú platenú pozíciu (horná, pravá alebo spodná časť), názov, sledovacia webová adresa AdWords, navigácia, viditeľná webová adresa, ktorá sa zobrazuje na stránkach Google, popis stránky a všetky platené umiestnenia produktu (vrátane pozície, názvu, súvisiacich obrázkov, URL a samozrejme cena).
• Pole odpovedí / vybraný úryvok / hlavná správa - Čisté zlato pre akékoľvek SEO. Ľahko uvidíte, čo robí najlepšie, aby ste získali tieto vytúžené miesta na SERP, a potom vytvorte stratégiu na replikáciu týchto výsledkov.
• Súvisiace vyhľadávania / mali ste na mysli - Zenserp vylepšuje váš výskum kľúčových slov vrátením cenných údajov o všetkých súvisiacich vyhľadávaniach k vášmu dotazu. Môžete tiež predvídať, ako Google reaguje na bežné chyby, ktoré používatelia urobia pri vyhľadávaní vášho dotazu.

Tu je obmedzená verzia príkladu, ktorý sa nachádza v Zenserp dokumentácia, s dotazom Pied Piper. Môžete vidieť rôzne typy výsledkov, ktoré sa zobrazujú v poradí: položka na Wikipédii (1), otázky súvisiace s dotazom (2), web s presnou zhodou názvu domény (3), populárny článok o pôvode Pied Piper (4) a niekoľko súvisiacich videí k tejto téme (5). Uvidíte tiež niektoré súvisiace hľadané frázy a celkový počet vrátených výsledkov.

Príklad

{ 'query':{ 'apikey':'YOUR-API-KEY', 'q':'Pied Piper', 'url':'https://google.com/search?q=Pied+Piper&hl=en&gl=us&sourceid=chrome&ie=UTF-8' }, 'organic':[ { 'position':1, 'title':'Pied Piper of Hamelin - Wikipedia', 'url':'https://en.wikipedia.org/wiki/Pied_Piper_of_Hamelin', 'destination':'https://en.wikipedia.org › wiki › Pied_Piper_of_Hamelin', 'description':'The Pied Piper of Hamelin is the titular character of a legend from the town of Hamelin (Hameln), Lower Saxony, Germany. The legend dates back to the Middle ...', 'isAmp':false }, { 'position':2, 'questions':[ { 'question':'What is the meaning of the Pied Piper?' }, { 'question':'What is the story of the Pied Piper?' }, { 'question':'Is the pied piper a fairy tale?' }, { 'question':'Is Pied Piper a real company?' } ] }, { 'position':3, 'title':'Pied Piper', 'url':'http://www.piedpiper.com/', 'destination':'www.piedpiper.com', 'description':'The old Pied Piper flute player logo was referencing a fairytale character and in no way was meant to suggest a sexual act involving either the mouth or ear of ...', 'isAmp':false }, { 'position':4, 'title':'The Disturbing True Story of the Pied Piper of Hamelin ...', 'url':'https://www.ancient-origins.net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969', 'destination':'https://www.ancient-origins.net › myths-legends › disturbing-true-story-pie...', 'description':'Aug 14, 2014 - Many are familiar with the story of the Pied Piper of Hamelin. Few realise however, that the story is based on real events, which evolved over ...', 'isAmp':false }, { 'position':5, 'videos':[ { 'title':'Pied Piper', 'url':'https://www.youtube.com/watch?v=VEZ_Ui6d9AM', 'parsed':{ 'source':'YouTube', 'date':'May 2, 2018', 'channel':'BTS - Topic' } }, { 'title':'The True History of The Pied Piper of Hamelin | Fairy Tales ...', 'url':'https://www.youtube.com/watch?v=obIAwAAcAAg', 'parsed':{ 'source':'YouTube', 'date':'Aug 4, 2017', 'channel':'Jen Campbell' } }, { 'title':'The Pied Piper: a modern day fairy tale', 'url':'https://www.wvi.org/child-health-now/video/pied-piper-modern-day-fairy-tale', 'parsed':{ 'source':'World Vision International', 'date':'Aug 22, 2013', 'channel':'WVIAdvocacy' } } ] } ], 'related_searches':[ { 'title':'pied piper instrument', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+instrument&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAHoECBMQAQ' }, { 'title':'pied piper poem', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+poem&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAXoECBMQAg' }, { 'title':'moral lesson of pied piper story', 'url':'https://google.com/search?hl=en&gl=us&q=moral+lesson+of+pied+piper+story&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAnoECBMQAw' }, { 'title':'the pied piper of hamelin summary', 'url':'https://google.com/search?hl=en&gl=us&q=the+pied+piper+of+hamelin+summary&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoA3oECBMQBA' }, { 'title':'pied piper of hamelin story pdf', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+of+hamelin+story+pdf&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoBHoECBMQBQ' }, ], 'number_of_results':34800000 }

Spresnenie vašej žiadosti podľa typu vyhľadávania SERP škrabanie pomocou Zenserpu

Okrem predvolenej požiadavky SERP môžete svoj dopyt Vyhľadávania Google vylepšiť aj podľa typu vyhľadávania (Obrázok, Video, Mapy, Nakupovanie, Správy, Nakupovanie atď.). Jednoducho nastavte Tiež (má sa zhodovať) s parametrom ktorejkoľvek z nasledujúcich možností:

• ish - Vráti výsledky vyhľadávania obrázkov Google. Táto žiadosť vráti množstvo údajov vrátane pozícií, miniatúr, zdrojových adries URL, názvov a ďalších. (Pre reverzné vyhľadávanie obrázkov spustíte image_url parameter namiesto tbm = ish )
• o - Vráti výsledky vyhľadávania Google Video. Získate informácie ako zdrojová doména, adresa URL videa, názov, popis a všetky rozšírenia alebo miniatúry.
• lcl - Ďalšia zlatá baňa údajov SEO, lcl parameter vráti výsledky vyhľadávania Google Maps. Uvidíte názov firmy / miesta, adresy URL webových stránok, bez ohľadu na to, či je výsledok spoplatnený, akékoľvek hviezdičky alebo recenzie a dôležité informácie, ako je adresa, telefónne čísla, prevádzková doba, pozoruhodné ceny a dokonca aj typ firmy. Máte tiež možnosť požiadať o smer k týmto firmám.
• to - Potrebujete držať krok s aktuálnymi udalosťami a vývojom vo vašom odbore? Pridajte znak to parameter na váš dopyt, aby sa vrátili výsledky vyhľadávania Správ Google v reálnom čase. Prezrite si názvy článkov, ich odkazy, dátumy publikácie (a analyzované rozhraním API), vydavateľa, stručný popis článku a všetky dostupné miniatúry.
• obchod - Prístup k výsledkom vyhľadávania v Nákupoch Google pomocou obchod parameter. Pozrime sa na niektoré výsledky vzoriek (kvôli skráteniu čitateľnosti značne skrátené) pre ohrievače vody v Atlante v štáte GA:

Nákupný koncový bod

Okrem jadra /Vyhľadávanie koncového bodu je tiež Zenserp API / nakupovanie . To vám umožní analyzovať stránky produktu v Nákupoch Google. Pripojíte identifikačné číslo produktu parameter k vášmu / nakupovanie dopyt s možnosťou zadať požadované geografické umiestnenie vyhľadávania ( umiestnenie ), kód krajiny ( gI ) a / alebo jazyk webového rozhrania ( hl ). Môžete tiež zmeniť, s ktorým variantom regiónu vo Vyhľadávaní Google chcete pracovať search_engine .

Koncový bod trendu | SERP škrabanie pomocou Zenserpu

Žiadosti Trendov Google sa vytvárajú pripojením trendy na vašu žiadosť (hoci dokumentácia spoločnosti Zenserp nesprávne uvádza, že by ste mali použiť / nakupovanie ). Vaše výsledky Trendov sú založené na kľúčové slovo [] parameter, kde zadáte frázu kľúčového slova ako argument v rámci znaku []. Dokumentácia spoločnosti Zenserp má užitočné pripomenutie, ktoré operátory používajú Trends (+ pre alebo, - pre vylúčenie, medzeru pre a a úvodzovky pre presnú zhodu), ktoré pomôžu pri hľadaní.

Ďalej môžete určiť časové pásmo ( tz ), ID kategórie ( kat ), časový rámec za vaše výsledky (hodinové, denné, mesačné, ročné v mnohých pododdieloch). The typu majetku Google na vyhľadávanie (napríklad obrázky, letenky, YouTube, financie atď.). The geo umiestnenie alebo kód umiestnenia Google ( gI ), a dokonca aj rozhodnutie v rámci tohto regiónu (v zásade nastavenie, či hľadáte po celej krajine, celom meste, regionálne atď.)

Povedzme, že ste chceli, aby ste videli, ako Kanye West trendy za posledný mesiac. Žiadosť by ste zadali takto:

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

Výkon | SERP škrabanie pomocou Zenserpu

Teraz, keď sme skončili s prehľadom funkcií, ako si vlastne Zenserp vedie? Nakoniec, všetky tieto pekné údaje sú zbytočné, ak k nim nemáte skutočný prístup kvôli snahám spoločnosti Stonewall o programové zhromažďovanie údajov.

Podľa našich skúseností spoločnosť Zenserp vykonávala svoje úlohy bez štikútania, bez ohľadu na to, čo sme hľadali a kam na svete sme zamerali naše dotazy. Tajnou zbraňou je neuveriteľná celosvetová sieť proxy spoločnosti Zenserp, ktorá presmeruje vaše požiadavky tam, kam musia, a zároveň mení vašu IP adresu tak, aby vyhovovala. Aj keď spoločnosť Zenserp nezverejňuje skutočné počty svojich serverových sietí, ukázalo sa dostatočne robustné na to, aby pri našich testovacích žiadostiach nikdy nezavrhla jednu chybu.

Pod kapotou API Zenserp je obsiahnutý aj prepracovaný riešiteľ Captcha. Opäť nemáme podrobnosti o tom, ako vykonali túto prácu. Ale fungovalo to, a to tiež dôsledne.

Ceny

Infraštruktúra spoločnosti Zenserp je dostatočná na uspokojenie akéhokoľvek rozsahu prevádzky. Ponúkajú širokú škálu cenových bodov predplatného, ​​takže platíte iba za presne to, čo potrebujete. Nech už si vyberiete ktorúkoľvek vrstvu, môžete zaplatiť nízky mesačný poplatok alebo získať 20% zľavu z ročného plánu.

Okrem štandardných úrovní ponúka Zenserp plány veľkého objemu. To je zamknuté v schéme mesačných platieb. Každá úroveň obsahuje všetky prémiové funkcie plánov STREDNE-VEĽMI VEĽKÉHO. A upraví vašu mesačnú kvótu podľa toho, koľko platíte:

• PRÉMIOVÉ - 599,99 dolárov a 250 000 žiadostí mesačne
• PROFESIONÁL - 1 399,99 dolárov a 750 000 žiadostí mesačne
• PODNIKANIE - 1 599,99 dolárov a 1 000 000 žiadostí mesačne

SERP škrabanie pomocou Zenserpu

SaaS Industries vyrobila so svojím API Zenserp neuveriteľnú ponuku. Je prispôsobiteľný a vysoko škálovateľný vďaka svojej robustnej infraštruktúre. Napriek tomu je jednoduchá integrácia do vašej aplikácie vďaka ľahkej parametrickej logike a širokej kompatibilite kódovacieho jazyka.

Naše testovanie prinieslo konzistentné výsledky bez toho, aby sa niekedy vyhodila chyba. Aj keď máme podozrenie, že služba nie je nezraniteľná voči chybám v rozsahu požadovanom veľkými podnikmi. Bez ohľadu na to, aký typ žiadosti sme vzniesli, výsledky boli vždy aktuálne a zmysluplné. Je nesmierne užitočné, aby ste mohli vylepšiť svoju požiadavku SERP podľa typu vyhľadávania, a preto je zrejmé, že spoločnosť Zenserp ponúka neoceniteľný a zároveň cenovo dostupný nástroj pre každého vývojára SEO.

Ak sme kritizovali túto službu, je to tak, že dokumentácia mohla na vysvetlenie jej obsahu použiť dotykový prirodzenejší jazyk. Skúsený vývojár by samozrejme nemal mať problémy s pochopením toho, čo ponúka, takže sa jedná pravdepodobne o problém. Aj keď je to tak, až na najmenšie platobné úrovne patrí palubné recepčné a personalizovaná zákaznícka podpora, takže budete vždy schopní dokonale vyhovieť svojim potrebám.

Záver

Dobre, to bolo všetko, ľudia! Dúfam, že sa vám týmto článkom páči článok SERPs Scraping with Zenserp, ktorý vám pomôže. Dajte nám o tom spätnú väzbu. Tiež, ak máte ďalšie otázky týkajúce sa tohto článku. Dajte nám potom vedieť v sekcii komentárov nižšie. Čoskoro sa ozveme.

Prajem vám skvelý deň!

Pozri tiež: Používateľská príručka Zobrazenie vyrovnávacej pamäte Chrome v systéme Windows 10