Pozdrav svim čitaocima mog bloga. U ovom članku ću objaviti izvor mog parser mail Mail.Ru Group (Moj svijet) na stranicu i objasnite malo o njegovom djelovanju. Ova skripta vam pomaže da prikupite ogromnu bazu podataka postojećih E-Mail'ova sa Mail.Ru za brutalne, neželjene i bilo koje druge radnje. Ne morate igrati nasumično ili tražiti javnu bazu.
Ovaj parser radi sa grupama projekta "Moj svijet" sa Mail.Ru. Srećom, radnici ove službe su rukozhopy. Oni pokazuju adrese e-pošte svih učesnika u datom projektu. Iz tog razloga ih je tako lako nabaviti. Međutim, pretpostavili su da neće prikazati više od 10.000 članova svake grupe. Moj parser mail Mail.Ru Group (Moj svijet)čita html kod stranice s članovima grupe koristeći WinHttp.WinHttpRequest objekt, a onda malo škakljivih manipulacija i voila! Međutim, pogledajte sam kod:
DimFSO, FileLink, arrLink (), i, Link_Line, GoodTxt, InetFile, Soderzh
DimAllUsers, PageUser, AllPageUser, LenPage, OstUser, Pages
Diml, i2, WinHttpRequest, RegExp, Mail, Dict, Start, Finish
SetFSO = CreateObject ("Scripting.FileSystemObject")
SetRegExp = CreateObject ("VBScript.RegExp")
SetWinHttpRequest = CreateObject ("WinHttp.WinHttpRequest.5.1") "WinHttp.WinHttpRequest.5.1
SetDict = CreateObject ("Scripting.Dictionary")
Na ErrorResumeNext
Link_Line = 0 "broj početnog elementa niza sa vezama
SetFileLink = FSO.OpenTextFile ("BaseLinks.txt", 1, True) "otvorite datoteku sa grupnim vezama
DoUntilFileLink.AtEndOfStream "do kraja datoteke
RedimPreservearrLink (Link_Line) "zapis sa rezultatom snimanja
arrLink (Link_Line) = FileLink.ReadLine "dodijeli svaku vezu nizu
Link_Line = Link_Line + 1 "popunite broj elementa niza
Petlja
FileLink.Close "zatvorite datoteku sa vezama
SetGoodTxt = FSO.CreateTextFile ("good.txt", True) "kreirajte fajl u koji će se čuvati mailovi
Fori = LBound (arrLink) toUBound (arrLink) "pokreni petlju od dna niza sa vezama do vrha
IfErr.Broj = 9Onda
MsgBox "Fajl BaseLinks.txt je prazan!", 16
WScript.Quit
Endif
InetLink = "" & arrLink (i) & "" "dodijelite vezu varijabli
RegExp.Pattern = "profile__menuLinkCounter. (2). (1,)SetMatches = RegExp.Execute (Soderzh) "Kreirajte kolekciju iz jedne linije
SetMatch = Matches.Item (0) "dobijete jednu stavku u kolekciji
Str = Match.Value "Nabavite traženi podniz
AllUsers = Mid (Str, 27, Match.Length-31) "Ukloni nepotrebno
AllUsers = Abs (AllUsers) "dobijamo apsolutni broj. Razmak se uklanja
PageUser = Round (AllUsers / 20,2) "saznajte koliko stranica sa pretplatnicima ukupno
AllPageUser = int (PageUser) "dobije cijeli broj pretplatničkih stranica
LenPage = Len (AllPageUser) "doznajte broj znakova u cijelom broju stranica
OstUser = Mid (PageUser, LenPage + 2,2) "dobijamo ostatak od 2 cifre
IfisNumeric (OstUser) thenAllPageUser = AllPageUser + 1 "ako je ostao broj, dodajte jednu stranicu
ForPages = 1toAllPageUser "od prve do zadnje stranice sa pretplatnicima
InetLink = "" & arrLink (i) & "/ prijatelji? Stranica =" & Pages & "" "link do svake stranice sa pretplatnicima
WinHttpRequest.Otvorite "POST", InetLink, 0 "Parametri HTTP zahtjeva
WinHttpRequest.Send "Slanje HTTP zahtjeva
Soderzh = WinHttpRequest.ResponseText "upišite kod stranice kao tekst u varijablu
RegExp.Pattern = "(inviz. (2)). (1,) \. Ru" "Šablon e-pošte po kojem tražimo
RegExp.Global = Tačno "pretraži sva podudaranja
SetMatches = RegExp.Execute (Soderzh) "Kreirajte kolekciju
Fori2 = 0ToMatches.Count-1 "Petlja kroz kolekciju
SetMatch = Matches.Item (i2)
Mail = Mid (Match.Value, 8) "uklonite nepotrebno
IfDict.Exists ("" & Mail & "") Zatim "provjerite poštu da li se ponavlja
Inače
Dict.Add Mail, 0 "dodaj novu poštu u kolekciju
GoodTxt.WriteLine ("" & Mail & "") "upišite primljenu adresu u datoteku Good.txt
EndIf
Sljedeći
IfMatches.Count<20ThenExitFor" Если на странице было меньше 20 человек, значит это конец списка. Выходим
“To se radi iz sigurnosnih razloga
IfPages = 500thenExitFor "ako je 500 stranica, onda izađite
Sljedeće "od prve do posljednje stranice sa pretplatnicima - kraj
Sljedeća "petlja od dna referenciranog niza do vrha
GoodTxt.Close "zatvori Good.txt
Završetak = Tajmer-Start
MsgBox "Razređivanje pošte je završeno za" & Završi & "sekunde!"
Kod možete preuzeti ovdje ako vam je zgodnije.
Ako u pogrešnoj temi pomerite :!
Potreban vam je samo jedan pokret tijela: dodajte veze do grupa koje trebate fajl “BaseLinks.txt”... Imajte na umu da su napisani bez kose crte (bez \).
U ovom primjeru koristio sam RegExp objekat, ali bilo je moguće proći s najjednostavnijim string funkcijama. Pokušao sam raščlaniti grupu od 500 ljudi na oba načina, i prema mojim zapažanjima, RegExp objekat nadmašuje uobičajene funkcije za otprilike 2 sekunde... Čini se malo, ali uz veliki obim posla imat će vrlo snažan učinak.
Ovaj primjer radi odlično! Naravno, moguće je, pa čak i potrebno pravilno postupati s greškama, ali to više nije moj zadatak. I naravno, jednonit je! Možete koristiti i proxy, ali ne vidim smisao u tome. Nisam vodio statistiku. To možete učiniti sami u slobodno vrijeme.
Izvor možete preuzeti ovdje
Morate biti registrovani da vidite linkove.
Parser je program koji implementira proces prikupljanja potrebnih informacija iz određenih izvora.Parsing podataka- jedna od oblasti automatizacije procesa na Internetu kojom se bavimo.
Za raščlanjivanje - razvijamo vlastite botove, kojima povjeravamo ovaj dugotrajan i monoton posao. Razvijamo i jednostavne i složene parsere - od prikupljanja adresa e-pošte do izračunavanja prodaje stavki.
Možete naručiti - botove - i sami ih pokrenuti, ili naručiti raščlanjivanje - kao uslugu - i primati podatke.
Za raščlanjivanje iz popularnih resursa najčešće je dovoljno preuzeti parser - pokrenite ga i nakon nekog vremena imat ćete datoteku sa svim potrebnim podacima.
Činjenica je da za sve potrebne zadatke ne postoje gotovi parseri, ili je efikasnost parsera već na nuli - s obzirom na činjenicu da se izgled na potrebnom resursu može promijeniti, a nisu napravljene nikakve promjene u programski kod parsera.
Početnici u ovom pitanju, naravno, željeli bi preuzeti univerzalni parser, koji sa ...
Automatizacija po narudžbi (zennoposter šabloni) od Vladimira Arkhipova
Više o usluzi - prilagođeni zennoposter šabloni (parseri, posteri, seo programi, smm i smo programi, automatizacija poslovnih procesa)
Tehnologija uspjeha na internetu - "... automatizirajte svoj radni tok na Internetu, pokrenite proces non-stop, skalirajte učinak povećanjem istovremeno pokrenutih niti"- i pogledajte profit)
.
0. Bot (template-program) - za učitavanje robe (prema Vašem algoritmu) preko admin panela na Vašu stranicu.
1. Razvoj algoritama šablona, grupa šablona, - logički dijagram korak po korak
2. Predlošci za prikupljanje baza podataka kupaca prema vašem algoritmu ili baze podataka drugih informacija (Zennoposter šabloni)
3. Šabloni za automatizaciju radnji na Internetu ( zennoposter templates)
4. Šabloni za prijenos informacija sa jednog CRM-a na drugi (zennoposter šabloni)
5. Šabloni za objavljivanje informacija na njihovim stranicama iz određenih izvora
6. Predlošci za opterećenje mjesta za testiranje
7. Vaše akcije u pretraživaču, automatizovane u Zennopu...
Termidroid 2.0 - Planirano upravljanje faktorima ponašanja
Termidroid 2.0 -planirano upravljanje ponašanjem
(najnovija aktuelna verzija je dostupna za prodaju - 4.5)
Više od 100 aktivnih korisnika programa, 12 - maksimalan broj kopija programa za jednog od korisnika.
Termidroid program je efikasno sredstvo za manipulisanje faktorom ponašanja u cilju varanja faktor ponašanja na viši nivo od konkurenata. Varanje faktora ponašanja se dešava programski, u skladu sa vašim planom za broj poseta za određene zahteve, u rasponima vremena koje ste bili na sajtu i dubini pregleda koju ste odredili. Yandex metrika definira svaku posjetu Thermidroida kao novog korisnika - zbog finog podešavanja anonimnosti - 5 pretraživača, emulacije otisaka prstiju, zamjene IP adresa (preporučuje se korištenje dinamičkih mobilnih proksija od
Jedna od najvećih besplatnih email platformi je Mail. ru (Moj svijet). Parser Mail.ru može izvući ogromnu količinu vrijednih informacija iz ovog internetskog izvora. Više od dvadeset miliona ljudi koristi ovu uslugu svakog mjeseca. Sadrži veliku bazu email adrese i druge važne informacije o korisnicima. A danas ih ima više od sto miliona. Mail ima korisničko sučelje za mobilne telefone i tablete, što ga čini još privlačnijim korisnicima. Mobilna pošta je popularna jer se može koristiti dok ste daleko od računara. Pristup ovoj bazi podataka email adrese i druge vrijedne informacije, omogućava vam kreiranje projekata u različitim područjima.
Postoje programi Parseri Mail.ru koji mogu prikupljati informacije iz ove usluge, kao što su brojevi telefona i adrese e-pošte. Takvi programi mogu izdvojiti stotine i hiljade email adrese i brojeve telefona, kao i imena i pseudonime korisnika, koji se u tom procesu mogu koristiti za razne internet projekte i povećati prodaju na određenom području. Preuzimanje email adrese se mogu pojaviti po ključnim riječima i tako možete doći do ciljane publike. Također, uz pomoć ovih programa moguće je automatizirati prikupljanje ličnih podataka. Program ekstrakcije email adrese i imena vlasnika mogu se funkcionalno razlikovati. Od pošte Mail. ru ima mnogo funkcija, kao što su veliki volumen poštanskog sandučeta, zaštita od virusa, mogućnost uređivanja dokumenata, pa čak i mogućnost slanja datoteka do 20 GB, ova usluga je vrlo popularna. Registracija je vrlo jednostavna i brza. I što je bitno, ima mnogo aktivnih korisnika, zahvaljujući svim ovim faktorima, posjećenost je u stalnom porastu.
Parseri Mail. ru pružaju korisniku veliku količinu vrijednih informacija koje se mogu primijeniti u različitim područjima djelatnosti. Ako se ove informacije rastavljaju u pravim smjerovima, onda će biti vrlo korisne. Tokom godina, usluga Mail. ru etablirao se kao pouzdan partner za mnoge korisnike. I sami korisnici su stvarni ljudi koji koriste ovu internet platformu.
Živimo u informatičkom dobu, a internet je potpuno promijenio tok događaja na zemlji. A ko više posjeduje potrebne informacije u određenoj oblasti, korak je ispred ostalih i, shodno tome, u stanju je postići odlične rezultate. Parseri mail. ru pomažu u izdvajanju informacija koje su korisniku potrebne. I već će ga primijeniti u onim oblastima koje su mu relevantnije.
GetEmailFromMyWorld To je makro za Excel bilo koje verzije koji vam omogućava da izvučete poštanske adrese (e-mail) korisnika društvene mreže Moy [email protected] sa gotovo bilo koje stranice. Možete izvršiti pretragu u My World prema kriterijima koji vas zanimaju, a zatim izdvojiti mailove iz rezultata. Ovaj makro program je naprednija verzija, ali i košta malo više, možete platiti i dobiti makro na linku na dnu stranice. Prije kupovine toplo preporučujem korištenje demo verzije makroa, koja izdvaja samo korisnička imena, i pokušajte dobiti svoju prvu listu od 450 kontakata prema uputama ispod.
Ali tada je My World uveo zaštitu od brzog pomicanja stranice do kraja. I tako je sada potrebno ili ručno ili uz pomoć skripte to raditi polako, u intervalima.
Dakle, koje znanje je potrebno da biste dobili e-poštu iz My World koristeći makro?
Prvo, morate biti u mogućnosti da koristite pretraživač (posebno Chrome) i konzolu u njemu. Nisam testirao kako radi (i da li radi) u drugim pretraživačima, ali princip skrolovanja stranice do samog kraja u Chrome-u je sledeći. Učitavamo Moj svijet i vršimo pretragu prema kriterijima koji nas zanimaju. Kao što je prikazano na slici ispod, koristio sam sljedeće dodatke: Polje za pretragu - Michael; Spol Muško; Država Rusija; Region - Moskva; Moskva grad; Dob - 22..24.
Kao što možete vidjeti sa snimka ekrana, pretraga nam je dala broj od 4 549 pronađenih ljudi koji ispunjavaju odabrane kriterije. Ali, kao što ćete kasnije sami vidjeti, nemoguće je prikupiti više od 450 kontakata iz jednog upita za pretraživanje. Ne znam s čime je to povezano, ili je to takav marketinški trik kreatora društvene mreže, ali ne i suštinu. Ovih 450 kontakata nam je dovoljno za početak, a onda možemo još jedan zahtjev i još jedan, pa još jedan...
Podrazumevano, nakon izvršene pretrage, stranica se ne učitava u potpunosti, a kada pokušate da skrolujete prema dolje, podaci će se početi učitavati. Ali ako stalno pritiskate tipku End (PageDown) ili pomičete stranicu pomoću kotačića miša, tada će u nekoj fazi sav sadržaj rezultata pretraživanja iznenada nestati. Ovo je uvedena zaštita. Da biste to zaobišli, samo trebate promatrati intervale između učitavanja stranica. Lično, ovo radim pomoću skripte koja se izvršava u Chrome konzoli, što vam i savjetujem.
Sama skripta je vrlo mala i, prevedena na ljudski jezik, njena radnja se sastoji u pomicanju stranice prema dolje sve dok se ne zaustavi nakon određenog vremenskog perioda. Empirijski, postavio sam ovaj interval jednak 10 sekundi (u skripti se vrijeme mjeri u milisekundama, tako da smo postavili 10000). Kako se ova skripta može izvršiti? Da biste to učinili, pritisnite interventni taster Ctrl + Shift + J u Chromeu. Konzola se pojavljuje na dnu ili desno s malom kutnom zagradom i kursorom:
Umjesto teksta "Ovdje unesite kod skripte", umetnite samu skriptu:
funkcija myScroll ()
{
if (sh! = document.body.scrollHeight)
{
sh = document.body.scrollHeight;
scrollTo (0, sh);
setTimeout (myScroll, 10000);
}
}
I pritisnite tipku Enter. Počinje proces pomicanja stranice. Potrebno je oko 30 minuta. U ovom trenutku možete se baviti svojim poslom, otvarati druge kartice u Chromeu, glavna stvar je da ne zatvorite karticu s rezultatom pretraživanja Moj svijet.
Kada se stranica učita do kraja nakon pola sata, konzola se može zatvoriti pritiskom na tipku F12. Sve ostale radnje praktički se ne razlikuju od onoga što je prikazano u videu iznad, ali ću ih ipak detaljnije opisati u nastavku.
Ovo je bila prva stavka pokreta tijela koju bi korisnik makroa trebao učiniti. Druga stvar je da morate omogućiti izvršavanje makronaredbi u Excel-u. Opisujem kako to učiniti za različite verzije.
Za Excel 2003 i starije verzije:
Idite na meni "Servis" - "Makro" - "Sigurnost"
i u prozoru koji se pojavi odaberite "Low".
Za Excel 2007 i novije verzije:
Pritisnite dugme "Office" (ili stavku menija "File") i izaberite "Opcije". U prozoru koji se pojavi, s lijeve strane odaberite stavku "Centar za povjerenje", a zatim s desne strane kliknite na dugme "Postavke centra za pouzdanost".
U prozoru koji se pojavi, na lijevoj strani odaberite "Opcije makroa", a na desnoj strani "Omogući sve makroe".
Ovim je dovršeno uključivanje makronaredbi u Excel. Preporučujem da ponovo pokrenete Excel za svaki slučaj. Ovo se radi samo jednom i ne morate konfigurirati sigurnost za naredna pokretanja makroa. Stoga prelazimo direktno na raščlanjivanje mail adresa.
Vraćamo se na našu stranicu Moj svijet u Chromeu, gdje su rezultati pretraživanja već skrolovani do kraja. Odaberite sav sadržaj stranice, za to možete koristiti prečicu na tipkovnici Ctrl + A. Kopirajte odabir - Ctrl + C ili na starinski način desnom tipkom miša - Kopiraj. Zatim pokrećemo datoteku makroa GetEmailFromMyWorld.xls i zalijepimo kopiranu u prvu ćeliju (Ctrl + V). Dobićete neku ružnu sliku poput ove:
Ali ništa, sada ćemo pokrenuti makro i imat ćemo divnu listu imena i poštanskih adresa. Da biste to učinili, koristite prečicu tipku Alt + F8 i u prozoru koji se pojavi odaberite makro i pokrenite ga za izvršenje. To će potrajati, a na izlazu ćete imati prekrasan natpis sa dvije kolone: imenom osobe i njenom e-poštom. Ako koristite demo verziju makroa, onda će izlaz biti samo jedna kolona - Ime osobe.
Ponekad stranica sa rezultatima pretrage My World prikazuje duplirane zapise, odnosno nekoliko osoba sa istim imenom, a nakon obrade makroom mogu imati iste adrese poštanskog sandučeta. Ali Excel će nam pomoći u uklanjanju duplikata. Neću detaljno opisivati, samo ću dati link do stranice na kojoj je opisano kako to učiniti za različite verzije programa.
To su, zapravo, svi trikovi u radu makroa. Sa linka ispod možete preuzeti demo verziju makroa.
Ako ste već isprobali demo verziju i želite kupiti punopravni makro, koristite donju vezu i slijedite upute.
