Un saluto a tutti i lettori del mio blog. In questo articolo posterò la fonte del mio parser mail Mail.Ru Group (My World) al sito e spiega un po' la sua azione. Questo script ti aiuta a raccogliere un enorme database di E-Mail'ov esistenti da Mail.Ru per brute, spam e qualsiasi altra azione. Non devi giocare a caso o cercare una base pubblica.
Questo parser funziona con i gruppi del progetto "My World" di Mail.Ru. Fortunatamente, i lavoratori di questo servizio sono rukozhopy. Mostrano gli indirizzi e-mail di tutti i partecipanti a un determinato progetto. Per questo motivo sono così facili da ottenere. Tuttavia, hanno indovinato di non mostrare più di 10.000 membri di ciascun gruppo. Mio parser mail Mail.Ru Group (Il mio mondo) legge il codice html della pagina con i membri del gruppo utilizzando WinHttp.WinHttpRequest oggetto, e poi alcune manipolazioni complicate e voilà! Tuttavia, vedi il codice stesso:
DimFSO, FileLink, arrLink(), i, Link_Line, GoodTxt, InetFile, Soderzh
DimAllUsers, PageUser, AllPageUser, LenPage, OstUser, Pages
Diml, i2, WinHttpRequest, RegExp, Mail, Dict, Start, Finish
SetFSO = CreateObject ("Scripting.FileSystemObject")
SetRegExp = CreaOggetto ("VBScript.RegExp")
SetWinHttpRequest = CreateObject ("WinHttp.WinHttpRequest.5.1") "WinHttp.WinHttpRequest.5.1
SetDict = CreateObject ("Scripting.Dictionary")
In caso di errore RiprendiAvanti
Link_Line = 0 "numero dell'elemento iniziale dell'array con collegamenti
SetFileLink = FSO.OpenTextFile ("BaseLinks.txt", 1, True) "apri il file con i collegamenti di gruppo
DoUntilFileLink.AtEndOfStream "fino alla fine del file
RedimPreservearrLink (Link_Line) "record con risultato di salvataggio
arrLink (Link_Line) = FileLink.ReadLine "assegna ogni collegamento a un array
Link_Line = Link_Line + 1 "riempi il numero dell'elemento dell'array
Ciclo continuo
FileLink.Close "chiudi il file con i link
SetGoodTxt = FSO.CreateTextFile ("good.txt", True) "crea un file in cui verranno salvate le mail
Fori = LBound (arrLink) toUBound (arrLink) "inizia un ciclo dalla parte inferiore dell'array con i collegamenti verso l'alto
IfErr.Number = 9Then
MsgBox "Il file BaseLinks.txt è vuoto!", 16
WScript.Esci
Finisci se
InetLink = "" & arrLink (i) & "" "assegna il collegamento a una variabile
RegExp.Pattern = "profile__menuLinkCounter. (2). (1,)SetMatches = RegExp.Execute (Soderzh) "Crea una raccolta da una riga
SetMatch = Matches.Item (0) "ottieni un singolo elemento nella collezione
Str = Match.Value "Ottieni la sottostringa richiesta
AllUsers = Mid (Str, 27, Match.Length-31) "Rimuovi non necessario
AllUsers = Abs (AllUsers) "otteniamo un numero assoluto. Lo spazio viene rimosso
PageUser = Round (AllUsers / 20,2) "scopri quante pagine con iscritti in totale
AllPageUser = int (PageUser) "ottieni un numero intero di pagine abbonato
LenPage = Len (AllPageUser) "trova il numero di caratteri in un numero intero di pagine
OstUser = Mid (PageUser, LenPage + 2,2) "otteniamo il resto di 2 cifre
IfisNumeric (OstUser) thenAllPageUser = AllPageUser + 1 "se è rimasto un numero, quindi aggiungere una pagina
ForPages = 1toAllPageUser "dalla prima all'ultima pagina con gli iscritti
InetLink = "" & arrLink (i) & "/ amici? Pagina =" & Pagine & "" "collegamento a ogni pagina con iscritti
WinHttpRequest.Open "POST", InetLink, 0 "parametri di richiesta HTTP
WinHttpRequest.Send "Invio di una richiesta HTTP
Soderzh = WinHttpRequest.ResponseText "scrivi il codice della pagina come testo in una variabile
RegExp.Pattern = "(inviz. (2)). (1,) \. Ru" "Il modello di email con cui stiamo cercando
RegExp.Global = True "cerca tutte le corrispondenze
SetMatches = RegExp.Execute (Soderzh) "Crea una raccolta
Fori2 = 0ToMatches.Count-1 "Looping attraverso la raccolta
SetMatch = Matches.Item (i2)
Mail = Mid (Match.Value, 8) "rimuovi non necessario
IfDict.Exists ("" & Mail & "") Quindi "controlla la ripetizione della posta
Altro
Dict.Add Mail, 0 "aggiungi nuova posta alla raccolta
GoodTxt.WriteLine ("" & Mail & "") "scrivi l'indirizzo ricevuto nel file Good.txt
Finisci se
Prossimo
IfMatches.Count<20ThenExitFor" Если на странице было меньше 20 человек, значит это конец списка. Выходим
"È fatto per motivi di sicurezza
IfPages = 500thenExitFor "se 500 page, then exit
Avanti "dalla prima all'ultima pagina con gli iscritti - fine
Avanti "loop dalla parte inferiore dell'array di riferimento alla parte superiore - fine
GoodTxt.Chiudi "chiudi Good.txt
Fine = Timer-Start
MsgBox "L'analisi della posta è terminata tra" & Fine & "secondi!"
Puoi scaricare il codice qui se ti è più comodo.
Se nell'argomento sbagliato spostati :!
Hai solo bisogno di un movimento del corpo: aggiungi i collegamenti ai gruppi di cui hai bisogno file “BaseLinks.txt”... Si prega di notare che sono scritti senza una barra finale (no \).
In questo esempio, ho usato Oggetto RegExp, ma era possibile cavarsela con le funzioni stringa più semplici. Ho provato ad analizzare un gruppo di 500 persone in entrambi i modi e, secondo le mie osservazioni, l'oggetto RegExp supera le funzioni ordinarie di circa 2 secondi... Sembra poco, ma con grandi volumi di lavoro avrà un effetto molto forte.
Questo esempio funziona alla grande! Certo, è possibile e persino necessario gestire correttamente gli errori, ma questo non è più il mio compito. E ovviamente è a thread singolo! Puoi anche usare un proxy, ma non ne vedo il motivo. Non ho fatto statistiche. Puoi farlo da solo a tuo piacimento.
Puoi scaricare la fonte qui
Devi essere registrato per vedere i link.
Parser è un programma che implementa il processo di raccolta delle informazioni necessarie da fonti specificate.Analisi dei dati- una delle aree di automazione dei processi su Internet, in cui siamo impegnati.
Per l'analisi: sviluppiamo i nostri robot, a cui affidiamo questo lavoro lungo e monotono. Sviluppiamo parser semplici e complessi, dalla raccolta di indirizzi e-mail al calcolo delle vendite di elementi pubblicitari.
Puoi ordinare - bot - e avviarli tu stesso, oppure ordinare l'analisi - come servizio - e ricevere dati.
Per l'analisi da risorse popolari, molto spesso è sufficiente scaricare il parser: eseguirlo e dopo un po' avrai un file con tutti i dati necessari.
Il fatto è che non per tutte le attività necessarie ci sono parser già pronti, o l'efficienza del parser è già a zero - in considerazione del fatto che il layout sulla risorsa richiesta può cambiare e non sono state apportate modifiche a il codice del programma del parser.
I principianti in questa materia, ovviamente, vorrebbero scaricare un parser universale, che con ...
Automazione su ordinazione (modelli zennoposter) di Vladimir Arkhipov
Maggiori informazioni sul servizio: modelli zennoposter personalizzati (parser, poster, programmi seo, programmi smm e smo, automazione dei processi aziendali)
La tecnologia del successo su Internet - "... automatizzare il flusso di lavoro su Internet, eseguire il processo 24 ore su 24, ridimensionare l'effetto aumentando i thread in esecuzione contemporaneamente"- e guarda il profitto)
.
0. Bot (programma modello) - per caricare le merci (secondo il tuo algoritmo) attraverso il pannello di amministrazione sul tuo sito.
1. Sviluppo di algoritmi di modelli, gruppi di modelli, - schema logico passo dopo passo
2. Modelli per la raccolta di database dei clienti in base al tuo algoritmo o database di altre informazioni (modelli Zennoposter)
3. Modelli per l'automazione delle azioni su Internet ( modelli zennoposter)
4. Modelli per trasferire informazioni da un CRM all'altro (modelli zennoposter)
5. Modelli per la pubblicazione di informazioni sui propri siti da fonti specificate
6. Modelli per il carico del sito di prova
7. Le tue azioni nel browser, automatizzate in Zennop ...
Termidroid 2.0 - Gestione pianificata dei fattori comportamentali
Termidroide 2.0 -gestione comportamentale pianificata
(l'ultima versione corrente è disponibile per la vendita - 4.5)
Più di 100 utenti attivi del programma, 12 - il numero massimo di copie del programma per uno degli utenti.
Programma Termidroidè un mezzo efficace per manipolare il fattore comportamentale al fine di imbrogliare fattore comportamentale ad un livello superiore rispetto ai concorrenti. L'imbroglio dei fattori comportamentali si verifica in modo programmatico, in conformità con il tuo piano per il numero di visite per richieste specifiche, negli intervalli di tempo in cui sei stato sul sito e la profondità delle visualizzazioni specificate da te. La metrica Yandex definisce ogni visita effettuata da Thermidroid come un nuovo utente - a causa della messa a punto dell'anonimato - 5 browser, emulazione delle impronte digitali, sostituzione degli indirizzi IP (si consiglia di utilizzare proxy mobili dinamici da
Una delle più grandi piattaforme di posta elettronica gratuite è posta. ru (Il mio mondo). A Parser Mail.ru è in grado di estrarre un'enorme quantità di informazioni preziose da questa risorsa Internet. Più di venti milioni di persone utilizzano questo servizio ogni mese. Contiene una grande base e-mail indirizzi e altre informazioni importanti sugli utenti. E oggi sono più di cento milioni. Mail ha un'interfaccia user-friendly per telefoni cellulari e tablet, che lo rende ancora più attraente per gli utenti. La posta mobile è popolare perché può essere utilizzata mentre si è lontani dal computer. Accesso a questo database e-mail indirizzi e altre preziose informazioni, consente di creare progetti in diverse aree.
Ci sono programmi Parser Mail.ru che sono in grado di raccogliere informazioni da questo servizio, come numeri di telefono e indirizzi e-mail. Tali programmi possono estrarre centinaia e migliaia di e-mail indirizzi e numeri di telefono, nonché i nomi e gli pseudonimi degli utenti, che nel processo possono essere utilizzati per vari progetti Internet e aumentare le vendite in una determinata area. Recupero e-mail gli indirizzi possono verificarsi per parole chiave e quindi puoi raggiungere il pubblico di destinazione. Inoltre, con l'aiuto di questi programmi, è possibile automatizzare la raccolta delle informazioni personali. Programma di estrazione e-mail gli indirizzi ei nomi dei proprietari possono differire funzionalmente. Dal momento che la posta posta. ru ha molte funzioni, come un grande volume di cassette postali, protezione antivirus, la possibilità di modificare documenti e persino la possibilità di inviare file fino a 20 GB, questo servizio è molto popolare. La registrazione è molto semplice e veloce. E ciò che è importante, ha molti utenti attivi, grazie a tutti questi fattori, la partecipazione è in costante aumento.
parser posta. ru fornire all'utente una grande quantità di preziose informazioni che possono essere applicate in vari campi di attività. Se queste informazioni vengono smontate nelle giuste direzioni, sarà molto utile. Negli anni il servizio posta. ru si è affermata come partner affidabile per molti utenti. E gli utenti stessi sono persone reali che utilizzano questa piattaforma Internet.
Viviamo nell'era dell'informazione e Internet ha completamente cambiato il corso degli eventi sulla terra. E chi possiede di più le informazioni necessarie in una determinata area, è un passo avanti agli altri e, di conseguenza, è in grado di ottenere grandi risultati. parser posta. ru aiutano a estrarre le informazioni di cui l'utente ha bisogno. E lo applicherà già in quelle aree che sono più rilevanti per lui.
Ricevi email dal mio mondoÈ una macro per Excel di qualsiasi versione che consente di estrarre gli indirizzi postali (email) degli utenti del social network Moy [email protected] da quasi tutte le pagine. Puoi fare una ricerca in Il mio mondo in base ai criteri che ti interessano, quindi estrarre i messaggi dal risultato. Questo programma macro è una versione più avanzata, ma costa anche un po' di più, puoi pagare e ottenere una macro al link in fondo alla pagina. Prima di acquistare, consiglio vivamente di utilizzare la versione demo della macro, che estrae solo i nomi utente, e provare a ottenere il primo elenco di 450 contatti secondo le istruzioni seguenti.
Ma poi My World ha introdotto la protezione contro lo scorrimento veloce della pagina fino in fondo. E quindi ora è necessario manualmente o con l'aiuto di uno script per farlo lentamente, a intervalli.
Quindi, quali conoscenze sono necessarie per ottenere un'e-mail da My World utilizzando una macro?
Innanzitutto, devi essere in grado di utilizzare il browser (in particolare Chrome) e la console al suo interno. Non ho testato come funziona (e se funziona) in altri browser, ma il principio di scorrere la pagina fino alla fine in Chrome è il seguente. Carichiamo My World ed effettuiamo una ricerca secondo i criteri di nostro interesse. Come mostrato nello screenshot qui sotto, ho usato i seguenti componenti aggiuntivi: Casella di ricerca - Michael; Genere maschile; Paese Russia; Regione - Mosca; città di Mosca; Età - 22..24.
Come puoi vedere dallo screenshot, la ricerca ci ha dato il numero 4 549 di persone trovate che soddisfano i criteri selezionati. Ma, come vedrai tu stesso in seguito, è impossibile raccogliere più di 450 contatti da una query di ricerca. Non so a cosa sia collegato, o è uno stratagemma di marketing dei creatori del social network, ma non l'essenza. Questi 450 contatti ci bastano per cominciare, e poi possiamo fare un'altra richiesta e un'altra, e un'altra...
Per impostazione predefinita, dopo aver eseguito una ricerca, la pagina non è completamente caricata e quando si tenta di scorrere verso il basso, i dati inizieranno a caricarsi. Ma se premi costantemente il pulsante Fine (Pagina giù) o scorri la pagina con la rotellina del mouse, a un certo punto tutti i contenuti dei risultati della ricerca scompariranno improvvisamente. Questa è la protezione introdotta. Per aggirare il problema, devi solo osservare gli intervalli tra il caricamento della pagina. Personalmente, lo faccio utilizzando uno script eseguito nella console di Chrome, che è quello che ti consiglio.
Lo script stesso è molto piccolo e, tradotto in linguaggio umano, la sua azione consiste nello scorrere la pagina fino a quando non si ferma dopo un certo periodo di tempo. Empiricamente, ho impostato questo intervallo uguale a 10 secondi (nello script, il tempo è misurato in millisecondi, quindi impostiamo lì 10000). Come può essere eseguito questo script? Per fare ciò, premi il tasto di scelta rapida Ctrl + Maiusc + J in Chrome. Viene visualizzata una console in basso o a destra con una piccola parentesi angolare e un cursore:
Invece del testo "Inserisci qui il codice dello script", inserisci lo script stesso:
funzione myScroll()
{
if (sh! = document.body.scrollHeight)
{
sh = document.body.scrollHeight;
scrollTo (0, sh);
setTimeout (myScroll, 10000);
}
}
E premi il tasto Invio. Viene avviato il processo di scorrimento della pagina. Ci vogliono circa 30 minuti. In questo momento, puoi fare i tuoi affari, aprire altre schede in Chrome, l'importante è non chiudere la scheda con il risultato della ricerca My World.
Quando la pagina viene caricata alla fine dopo mezz'ora, la console può essere chiusa premendo il tasto F12. Tutte le altre azioni praticamente non differiscono da quanto mostrato nel video sopra, ma le descriverò comunque in modo più dettagliato di seguito.
Questo era il primo elemento dei movimenti del corpo che l'utente della macro doveva eseguire. Il secondo punto è che è necessario abilitare l'esecuzione di macro in Excel. Descrivo come farlo per le diverse versioni.
Per Excel 2003 e versioni precedenti:
Vai al menu "Servizio" - "Macro" - "Sicurezza"
e nella finestra che appare, seleziona "Basso".
Per Excel 2007 e versioni successive:
Premere il pulsante "Office" (o la voce di menu "File") e selezionare "Opzioni". Nella finestra che compare, a sinistra, seleziona la voce "Centro fiducia", quindi, a destra, fai clic sul pulsante "Impostazioni Centro protezione".
Nella finestra che appare, a sinistra, seleziona "Opzioni macro" e a destra "Abilita tutte le macro".
Questo completa l'inclusione delle macro in Excel. Consiglio di riavviare Excel per ogni evenienza. Questa operazione viene eseguita una sola volta e non è necessario configurare la sicurezza per le esecuzioni successive della macro. Pertanto, procediamo direttamente all'analisi degli indirizzi di posta.
Torniamo alla nostra pagina My World in Chrome, dove i risultati della ricerca sono già stati fatti scorrere fino alla fine. Seleziona tutto il contenuto della pagina, per questo puoi usare la scorciatoia da tastiera Ctrl + A. Copia la selezione - Ctrl + C o alla vecchia maniera con il tasto destro del mouse - Copia. Quindi eseguiamo il file macro GetEmailFromMyWorld.xls e incolliamo quello copiato nella primissima cella (Ctrl + V). Otterrai una sorta di brutta immagine come questa:
Ma niente, ora eseguiremo la macro e avremo una meravigliosa lista di nomi e indirizzi postali. Per fare ciò, usa il tasto di scelta rapida Alt + F8 e, nella finestra che appare, seleziona la macro ed eseguila per l'esecuzione. Ci vorrà del tempo, e all'uscita avrai un bel cartello con due colonne: il nome della persona e la sua email. Se utilizzi la versione demo della macro, l'output sarà solo una colonna: il nome della persona.
A volte la pagina dei risultati di ricerca di My World visualizza record duplicati, ovvero più persone con lo stesso nome e, dopo l'elaborazione da parte di una macro, potrebbero avere gli stessi indirizzi di posta elettronica. Ma Excel ci aiuterà a rimuovere i duplicati. Non descriverò in dettaglio, darò solo un collegamento a una pagina in cui è descritto come farlo per diverse versioni del programma.
Cioè, in effetti, tutti i trucchi nel lavoro di una macro. Dal link sottostante è possibile scaricare una versione demo della macro.
Se hai già provato la versione demo e desideri acquistare una macro completa, utilizza il collegamento sottostante e segui le istruzioni.
