Salutări tuturor cititorilor blogului meu. În acest articol voi posta sursa mea parser mail Mail.Ru Group (Lumea mea) pe siteși explicați puțin despre acțiunea sa. Acest script vă ajută să colectați o bază de date uriașă de E-Mail'ov existente de la Mail.Ru pentru brute, spam și orice alte acțiuni. Nu trebuie să jucați la întâmplare sau să căutați o bază publică.
Acest parser funcționează cu grupuri din proiectul „My World” de la Mail.Ru. Din fericire, lucrătorii acestui serviciu sunt rukozhopy. Acestea arată adresele de e-mail ale tuturor participanților la un anumit proiect. Din acest motiv, sunt atât de ușor de obținut. Cu toate acestea, au ghicit să nu arate mai mult de 10.000 de membri ai fiecărui grup. Ale mele parser mail Mail.Ru Group (Lumea mea) citește codul html al paginii cu membrii grupului folosind Obiect WinHttp.WinHttpRequest, și apoi un pic de manipulări dificile și voila! Cu toate acestea, vedeți codul în sine:
DimFSO, FileLink, arrLink (), i, Link_Line, GoodTxt, InetFile, Soderzh
DimAllUsers, PageUser, AllPageUser, LenPage, OstUser, Pages
Diml, i2, WinHttpRequest, RegExp, Mail, Dict, Start, Finish
SetFSO = CreateObject ("Scripting.FileSystemObject")
SetRegExp = CreateObject ("VBScript.RegExp")
SetWinHttpRequest = CreateObject ("WinHttp.WinHttpRequest.5.1") "WinHttp.WinHttpRequest.5.1
SetDict = CreateObject ("Scripting.Dictionary")
Pe ErrorResumeNext
Link_Line = 0 „numărul elementului de pornire al matricei cu legături
SetFileLink = FSO.OpenTextFile ("BaseLinks.txt", 1, True) "deschide fișierul cu linkuri de grup
DoUntilFileLink.AtEndOfStream „până la sfârșitul fișierului
RedimPreservearrLink (Link_Line) „înregistrare cu rezultatul salvării
arrLink (Link_Line) = FileLink.ReadLine „atribuiți fiecare link unei matrice
Link_Line = Link_Line + 1 "completează numărul elementului matricei
Buclă
FileLink.Close „închideți fișierul cu linkuri
SetGoodTxt = FSO.CreateTextFile ("good.txt", True) „creează un fișier în care vor fi salvate e-mailurile
Fori = LBound (arrLink) toUBound (arrLink) „începe o buclă din partea de jos a matricei cu link-uri către partea de sus
IfErr.Number = 9Atunci
MsgBox „Fișierul BaseLinks.txt este gol!”, 16
WScript.Ieșire
Endif
InetLink = "" & arrLink (i) & "" "atribuiți legătura unei variabile
RegExp.Pattern = „profile__menuLinkCounter. (2). (1,)SetMatches = RegExp.Execute (Soderzh) „Creează o colecție dintr-o singură linie
SetMatch = Matches.Item (0) „obține un singur articol din colecție
Str = Match.Value „Obțineți subșirul necesar
AllUsers = Mid (Str, 27, Match.Length-31) „Eliminați elementele inutile
AllUsers = Abs (AllUsers) „obținem un număr absolut. Spațiul este eliminat
PageUser = Round (AllUsers / 20,2) "aflați câte pagini cu abonați în total
AllPageUser = int (PageUser) „obține un număr întreg de pagini de abonat
LenPage = Len (AllPageUser) "aflați numărul de caractere dintr-un număr întreg de pagini
OstUser = Mid (PageUser, LenPage + 2,2) „obținem restul de 2 cifre
IfisNumeric (OstUser) thenAllPageUser = AllPageUser + 1 "dacă a mai rămas un număr, atunci adăugați o pagină
ForPages = 1toAllPageUser „de la prima până la ultima pagină cu abonații
InetLink = "" & arrLink (i) & "/ prieteni? Pagina =" & Pagini & "" "link către fiecare pagină cu abonați
WinHttpRequest.Open „POST”, InetLink, 0 „Parametri de solicitare HTTP
WinHttpRequest.Send „Trimiterea unei cereri HTTP
Soderzh = WinHttpRequest.ResponseText „scrieți codul paginii ca text într-o variabilă
RegExp.Pattern = "(inviz. (2)). (1,) \. Ru" "Șablonul de e-mail prin care căutăm
RegExp.Global = Adevărat „căutați toate potrivirile
SetMatches = RegExp.Execute (Soderzh) „Creează o colecție
Fori2 = 0ToMatches.Count-1 „Recurge în buclă prin colecție
SetMatch = Matches.Item (i2)
Mail = Mid (Match.Value, 8) „elimină inutil
IfDict.Exists ("" & Mail & "") Apoi "verificați corespondența pentru repetare
Altfel
Dict.Add Mail, 0 "adăugați e-mail noi la colecție
GoodTxt.WriteLine ("" & Mail & "") "scrieți adresa primită în fișierul Good.txt
EndIf
Următorul
DacăPotriviri.Număr<20ThenExitFor" Если на странице было меньше 20 человек, значит это конец списка. Выходим
„Se face din motive de siguranță
IfPages = 500thenExitFor „dacă 500 de pagini, atunci ieșiți
Următorul „de la prima până la ultima pagină cu abonații – sfârșit
Următoarea „buclă din partea de jos a matricei de referință până la capătul de sus
GoodTxt.Close „închide Good.txt
Finish = Timer-Start
MsgBox „Analizarea e-mailurilor s-a încheiat în” & Terminare & „secunde!”
Puteți descărca codul de aici dacă vă este mai convenabil.
Daca intr-un subiect gresit mutati :!
Ai nevoie doar de o singură mișcare a corpului: adaugă linkuri către grupurile de care trebuie fișierul „BaseLinks.txt”... Vă rugăm să rețineți că sunt scrise fără o bară oblică (nu \).
În acest exemplu, am folosit obiect RegExp, dar a fost posibil să se descurce cu cele mai simple funcții șir. Am încercat să analizez un grup de 500 de persoane în ambele moduri și, conform observațiilor mele, obiectul RegExp depășește funcțiile obișnuite cu aproximativ 2 secunde... Pare puțin, dar cu volume mari de muncă va avea un efect foarte puternic.
Acest exemplu funcționează grozav! Desigur, este posibil și chiar necesar să gestionez corect erorile, dar aceasta nu mai este sarcina mea. Și, desigur, este cu un singur fir! Puteți folosi și un proxy, dar nu văd rostul în asta. Nu am facut statistici. Puteți face acest lucru singur în timpul liber.
Puteți descărca sursa de aici
Trebuie să fiți înregistrat pentru a vedea link-urile.
Parser este un program care implementează procesul de colectare a informațiilor necesare din surse specificate.Analiza datelor- una dintre domeniile de automatizare a proceselor de pe Internet, în care suntem angajați.
Pentru analiza - ne dezvoltăm proprii roboți, cărora le încredințăm această muncă monotonă și consumatoare de timp. Dezvoltăm analizoare atât simple, cât și complexe - de la colectarea adreselor de e-mail până la calcularea vânzărilor de elemente rând.
Puteți comanda - roboți - și îi puteți lansa singur, sau puteți comanda parsing - ca serviciu - și puteți primi date.
Pentru analizarea din resurse populare, cel mai adesea este suficient să descărcați analizatorul - rulați-l și după un timp veți avea un fișier cu toate datele necesare.
Faptul este că nu există analizoare gata făcute pentru toate sarcinile necesare sau eficiența analizorului este deja la zero - având în vedere faptul că aspectul resursei necesare se poate modifica și nu s-au făcut modificări la codul de program al parserului.
Începătorii în această chestiune, desigur, ar dori să descarce un parser universal, care cu ...
Automatizare la comandă (şabloane zennoposter) de la Vladimir Arkhipov
Mai multe despre serviciu - șabloane personalizate zennoposter (paratoare, postere, programe seo, programe smm și smo, automatizarea proceselor de afaceri)
Tehnologia succesului pe Internet - "... automatizați-vă fluxul de lucru pe Internet, rulați procesul non-stop, scalați efectul crescând firele care rulează concomitent"- și uită-te la profit)
.
0. Bot (program șablon) - pentru încărcarea mărfurilor (conform algoritmului tău) prin panoul de administrare pe site-ul tău.
1. Dezvoltarea algoritmilor de sabloane, grupuri de sabloane, - diagrama logica pas cu pas
2. Șabloane pentru colectarea bazelor de date clienți conform algoritmului dvs. sau baze de date cu alte informații (șabloane Zennoposter)
3. Șabloane pentru automatizarea acțiunilor pe Internet ( șabloane zennoposter)
4. Sabloane pentru transferul de informatii de la un CRM la altul (sabloane zennoposter)
5. Șabloane pentru postarea de informații pe site-urile lor din surse specificate
6. Șabloane pentru încărcarea site-ului de testare
7. Acțiunile tale în browser, automatizate în Zennop...
Termidroid 2.0 - Managementul planificat al factorilor de comportament
Termidroid 2.0 -management comportamental planificat
(cea mai recentă versiune actuală este disponibilă spre vânzare - 4.5)
Peste 100 de utilizatori activi ai programului, 12 - numărul maxim de copii ale programului pentru unul dintre utilizatori.
Programul Termidroid este un mijloc eficient de manipulare a factorului comportamental pentru a înșela factor comportamental la un nivel mai înalt decât competitorii. Trișarea factorilor comportamentali are loc în mod programatic, în conformitate cu planul dvs. pentru numărul de vizite pentru anumite solicitări, în intervalele de timp în care ați fost pe site și profunzimea vizualizărilor specificate de dvs. Valoarea Yandex definește fiecare vizită efectuată de Thermidroid ca un utilizator nou - datorită reglajului fin al anonimatului - 5 browsere, emularea amprentelor digitale, înlocuirea adreselor IP (se recomandă utilizarea proxy-urilor mobile dinamice de la
Una dintre cele mai mari platforme gratuite de e-mail este Poștă. ru (Lumea mea). Un Parser Mail.ru este capabil să extragă o cantitate imensă de informații valoroase din această resursă de internet. Peste douăzeci de milioane de oameni folosesc acest serviciu în fiecare lună. Conține o bază mare e-mail adrese și alte informații importante despre utilizatori. Și astăzi sunt mai mult de o sută de milioane. Mail are o interfață ușor de utilizat pentru telefoane mobile și tablete, ceea ce o face și mai atractivă pentru utilizatori. Poșta mobilă este populară deoarece poate fi folosită în timp ce sunteți departe de computer. Acces la această bază de date e-mail adrese și alte informații valoroase, vă permite să creați proiecte în diferite domenii.
Există programe de analiză Mail.ru care pot colecta informații de la acest serviciu, cum ar fi numere de telefon și adrese de e-mail. Astfel de programe pot extrage sute și mii de e-mail adresele și numerele de telefon, precum și numele și pseudonimele utilizatorilor, care în acest proces pot fi utilizate pentru diverse proiecte de internet și pot crește vânzările într-o anumită zonă. Recuperare e-mail adresele pot apărea prin cuvinte cheie și astfel puteți ajunge la publicul țintă. De asemenea, cu ajutorul acestor programe, este posibilă automatizarea colectării de informații personale. Program de extracție e-mail adresele și numele proprietarilor pot diferi din punct de vedere funcțional. De la mail Poștă. ru are multe funcții, precum un volum mare de cutie poștală, protecție împotriva virușilor, posibilitatea de a edita documente și chiar posibilitatea de a trimite fișiere cu o greutate de până la 20 GB, acest serviciu este foarte popular. Înregistrarea este foarte simplă și rapidă. Și ceea ce este important, are mulți utilizatori activi, datorită tuturor acestor factori, prezența este în continuă creștere.
Analizoare Poștă. ru furnizează utilizatorului o cantitate mare de informații valoroase care pot fi aplicate în diverse domenii de activitate. Dacă această informație este dezasamblată în direcțiile corecte, atunci va fi foarte utilă. De-a lungul anilor, serviciul Poștă. ru s-a impus ca un partener de încredere pentru mulți utilizatori. Iar utilizatorii înșiși sunt oameni reali care folosesc această platformă de internet.
Trăim în era informațională, iar internetul a schimbat complet cursul evenimentelor de pe pământ. Și cine deține mai mult informațiile necesare într-un anumit domeniu, este cu un pas înaintea celorlalți și, în consecință, este capabil să obțină rezultate excelente. Analizoare Poștă. ru ajuta la extragerea informatiilor de care utilizatorul are nevoie. Și o va aplica deja în acele domenii care sunt mai relevante pentru el.
Obțineți e-mail din lumea mea Este o macrocomandă pentru Excel de orice versiune care vă permite să extrageți adresele poștale (e-mail) ale utilizatorilor rețelei sociale Moy [email protected] din aproape orice pagină. Puteți face o căutare în My World în funcție de criteriile care vă interesează și apoi extrageți e-mailuri din rezultat. Acest program macro este o versiune mai avansată, dar costă și puțin mai mult, poți plăti și obține o macrocomandă la linkul din partea de jos a paginii. Înainte de a cumpăra, vă recomand cu căldură să utilizați versiunea demo a macrocomenzii, care extrage doar Nume de utilizator și să încercați să obțineți prima listă de 450 de contacte conform instrucțiunilor de mai jos.
Dar apoi My World a introdus protecție împotriva derulării rapide a paginii până la capăt. Și așa că acum este necesar fie manual, fie cu ajutorul unui script să o faci încet, la intervale.
Deci, ce cunoștințe sunt necesare pentru a obține un e-mail de la My World folosind o macrocomandă?
În primul rând, trebuie să puteți utiliza browserul (în special, Chrome) și consola din acesta. Nu am testat cum funcționează (și dacă funcționează) în alte browsere, dar principiul derulării paginii până la capăt în Chrome este următorul. Încărcăm My World și efectuăm o căutare în funcție de criteriile care ne interesează. După cum se arată în captura de ecran de mai jos, am folosit următoarele suplimente: Caseta de căutare - Michael; Genul masculin; Țara Rusia; Regiunea - Moscova; orașul Moscova; Varsta - 22..24.
După cum puteți vedea din captura de ecran, căutarea ne-a dat numărul 4 549 de persoane găsite care îndeplinesc criteriile selectate. Dar, după cum veți vedea mai târziu, este imposibil să colectați mai mult de 450 de contacte dintr-o singură interogare de căutare. Nu știu cu ce se leagă sau este un astfel de truc de marketing al creatorilor rețelei de socializare, dar nu și esența. Aceste 450 de contacte sunt suficiente pentru a începe, iar apoi putem face o altă cerere și încă una, și alta...
În mod implicit, după efectuarea unei căutări, pagina nu este încărcată complet, iar când încercați să derulați în jos, datele vor începe să se încarce. Dar dacă apăsați constant butonul End (PageDown) sau derulați pagina cu rotița mouse-ului, atunci, la un moment dat, tot conținutul rezultatelor căutării va dispărea brusc. Aceasta este protecția introdusă. Pentru a ocoli, trebuie doar să respectați intervalele dintre încărcarea paginii. Personal, fac asta folosind un script executat în consola Chrome, ceea ce vă sfătuiesc.
Scenariul în sine este foarte mic și, tradus în limbajul uman, acțiunea sa constă în derularea paginii până când se oprește după o anumită perioadă de timp. Din punct de vedere empiric, am stabilit acest interval egal cu 10 secunde (în script, timpul este măsurat în milisecunde, așa că am stabilit acolo 10000). Cum poate fi executat acest script? Pentru a face acest lucru, apăsați tasta rapidă Ctrl + Shift + J în Chrome. O consolă apare în partea de jos sau în dreapta cu un mic paranteză unghiulară și un cursor:
În loc de textul „Inserați codul de script aici”, introduceți scriptul în sine:
funcția myScroll ()
{
dacă (sh! = document.body.scrollHeight)
{
sh = document.body.scrollHeight;
scrollTo (0, sh);
setTimeout (myScroll, 10000);
}
}
Și apăsați tasta Enter. Începe procesul de defilare a paginii. Durează aproximativ 30 de minute. În acest moment, puteți să vă ocupați de afacerea dvs., să deschideți alte file în Chrome, principalul lucru este să nu închideți fila cu rezultatul căutării My World.
Când pagina este încărcată până la sfârșit după o jumătate de oră, consola poate fi închisă apăsând tasta F12. Toate celelalte acțiuni practic nu diferă de ceea ce este arătat în videoclipul de mai sus, dar le voi descrie în continuare mai detaliat mai jos.
Acesta a fost primul element de mișcări ale corpului pe care ar trebui să-l facă utilizatorul macro-ului. Al doilea punct este că trebuie să activați execuția macrocomenzilor în Excel. Vă descriu cum să o faceți pentru diferite versiuni.
Pentru Excel 2003 și mai jos:
Accesați meniul „Service” - „Macro” - „Securitate”
iar în fereastra care apare, selectați „Scăzut”.
Pentru Excel 2007 și versiuni ulterioare:
Apăsați butonul „Office” (sau elementul de meniu „Fișier”) și selectați „Opțiuni”. În fereastra care apare, în stânga, selectați elementul „Centrul de încredere”, apoi, în dreapta, faceți clic pe butonul „Setări Centru de încredere”.
În fereastra care apare, în stânga, selectați „Opțiuni macro”, iar în dreapta, „Activați toate macrocomenzile”.
Aceasta completează includerea macrocomenzilor în Excel. Recomand să reporniți Excel pentru orice eventualitate. Acest lucru se face o singură dată și nu trebuie să configurați securitatea pentru rulările ulterioare ale macrocomenzii. Prin urmare, trecem direct la analizarea adreselor de e-mail.
Revenim la pagina noastră Lumea mea în Chrome, unde rezultatele căutării sunt deja derulate până la sfârșit. Selectați tot conținutul paginii, pentru aceasta puteți utiliza comanda rapidă de la tastatură Ctrl + A. Copiați selecția - Ctrl + C sau în mod demodat cu butonul din dreapta al mouse-ului - Copiere. Apoi rulăm fișierul macro GetEmailFromMyWorld.xls și îl lipim pe cel copiat în prima celulă (Ctrl + V). Veți obține un fel de imagine urâtă ca aceasta:
Dar nimic, acum vom rula macro-ul și vom avea o listă minunată de nume și adrese poștale. Pentru a face acest lucru, utilizați tasta rapidă Alt + F8, iar în fereastra care apare, selectați macrocomanda și rulați-o pentru execuție. Va dura ceva timp, iar la ieșire vei avea un semn frumos cu două coloane: numele persoanei și emailul acesteia. Dacă utilizați versiunea demo a macrocomenzii, atunci rezultatul va fi doar o coloană - Numele persoanei.
Uneori, pagina cu rezultatele căutării My World afișează înregistrări duplicate, adică mai multe persoane cu același nume, iar după procesarea de către o macrocomandă, acestea pot avea aceleași adrese de cutie poștală. Dar Excel ne va ajuta să eliminăm duplicatele. Nu voi descrie în detaliu, voi oferi doar un link către o pagină în care este descris cum se face acest lucru pentru diferite versiuni ale programului.
Acestea sunt, de fapt, toate trucurile în munca unui macro. Din linkul de mai jos puteți descărca o versiune demo a macrocomenzii.
Dacă ați încercat deja versiunea demo și doriți să achiziționați o macrocomandă completă, atunci utilizați linkul de mai jos și urmați instrucțiunile.
