Scurtă prezentare generală a tehnologiei DPI - Deep Packet Inspection. Ce sunt sistemele de analiză și filtrare a pachetelor DPI?

Vă aducem în atenție un interviu cu o persoană care nu este familiarizată din auzite cu dispozitivul și cu specificul muncii. În conversația de astăzi cu el, am discutat subiecte care au fost recent relevante pentru segmentul de limbă rusă a internetului: rolul statului și cenzura rețelei sale și am atins, de asemenea, exemple de guvernare ascunsă a internetului și a societății pe acest exemplu. a Chinei.

Însuși eroul interviului a dorit să rămână anonim. El este un fost profesionist rus în IT, care locuiește în China continentală de 6 ani, lucrând pentru o companie locală de telecomunicații ca inginer administrativ superior. Aceasta este o conversație serioasă despre crearea de rețele... împotriva web-ului în sine, precum și a viitorului web-ului global și a deschiderii societății noastre.

Nici măcar nu e vorba de inițiativele statului rus - ca ciupercile, au început să apară firme private care oferă propriile soluții de cenzurare a rețelei, aceleași filtre de trafic conform listelor Roskomnadzor și ale Ministerului Justiției, de exemplu, fântâna. -reductor de carbon cunoscut. Prin urmare, merită să privim această experiență chineză cu toată seriozitatea și atenția, pentru a realiza în avans toată adâncimea găurii în care încearcă atât de sârguincios să ne împingă.

- Povestește-ne despre Marele firewall chinezesc, pe care chinezii înșiși îl numesc „Scutul de Aur”, ce este tehnic? Care este scopul său principal?

În acest moment, acestea sunt trei componente, trei dragoni, pe care se bazează - tehnologiile Deep Packet Inspection (DPI), Connection probe și Support vector machines (SVM). Împreună, ele reprezintă un filtru foarte avansat care blochează accesul la resursele interzise de Partidul Comunist de pe internetul extern.

În același timp, ideologii oficiali declară că se presupune că ar trebui să protejeze psihicul chinezilor de influența pernicioasă a Occidentului, conform altora, aceasta este o cenzură de stat deschisă a părții internaționale a internetului.

- Să aruncăm o privire mai atentă la fiecare dintre componentele numite. Deci, ce este Deep Packet Inspection?

Pe scurt, este o tehnologie pentru inspecția și filtrarea la nivel scăzut a pachetelor de rețea în funcție de conținutul acestora. Aici trebuie să trasați imediat o linie roșie: diferența fundamentală față de firemasterii deja familiari este că DPI analizează nu atât anteturile de pachete (care, desigur, pot, de asemenea), ci se îngroapă în conținutul traficului de tranzit la modelul OSI. niveluri de la al doilea și mai sus.

Subliniez că toate acestea se fac în timp real și din punctul de vedere al unui observator extern, practic nu se observă întârzieri sau manipulări cu traficul.

- În Rusia, s-a scris mult în ultimul timp despre implementarea DPI, mulți operatori federali (în special operatori de telefonie mobilă) chiar ar fi deja în formă de lucru. Putem spune că adoptăm experiența chineză?

DPI-urile rusești și chineze, în afară de numele comun și principiile de funcționare, practic nu au nimic în comun. Ideea aici este, în primul rând, amploarea și seriozitatea implementării lor. După cum este evident din modul de lucru descris anterior, DPI consumă o mulțime de resurse, deoarece toate operațiunile numeroase pe care le efectuează (de exemplu, defragmentarea pachetelor, despachetarea lor, recunoașterea tipurilor de date și protocoalelor, scanarea conținutului, numeroase euristici și multe altele, mult mai mult) trebuie să apară în timp real. Prin urmare, principalul criteriu pentru severitatea DPI este profunzimea analizei traficului de tranzit pe care și-o poate permite acest sistem, pentru a menține un nivel acceptabil de latență.

Dacă facem o analogie cu tehnologiile antivirus, cât de adânc poate permite emulatorul procesorului pentru fișierul scanat să se cufunde în cod? Chiar dacă capacitățile și resursele tehnice vă permit să urmăriți codul la nesfârșit, cufundându-vă în toate ramurile și procedurile noi, cerințele generale pentru latența sistemului au întotdeauna limitări specifice, astfel încât adâncimea de imersare este întotdeauna limitată.

Adesea, în această situație, se folosește know-how-ul tehnologic sau de optimizare, sau puteți merge altfel - doar creșteți radical puterea de calcul. Deci, când vorbim despre DPI chinezesc, trebuie să înțelegeți că aceasta este exact ultima cale - în realitate este un centru de date de dimensiunea unui oraș de district real care folosește Swarm Intellegence pentru a gestiona echilibrarea și procesarea datelor între nenumăratele sale părți-noduri. .

Revenind la întrebarea - dacă implementările DPI interne costă, din câte îmi pot imagina, până la 50 de milioane de dolari, atunci sistemul național chinez se apropie de aproximativ un miliard. DPI-ul rus este incapabil din punct de vedere tehnic să efectueze o analiză cu adevărat profundă a pachetelor care trec, ceea ce înseamnă că barierele sale vor fi potențial ocolite de utilizatori calificați în multe moduri diferite. Prin urmare, DPI rus este lupta chineză ...

- Trecerea la al doilea dragon chinezesc - ce este o „sondă de conectare”?

Aceasta este o evoluție ulterioară a DPI - îmbinarea unui server proxy și un mecanism de filtrare la nivel scăzut. În acest caz, atunci când se încearcă conectarea la orice serviciu din afara gateway-ului rețelei naționale, o astfel de solicitare este mai întâi „înghețată”, iar conexiunea proactivă ulterioară la adresa țintă deja din partea DPI. Acesta este, ca să spunem așa, un sistem proactiv de testare și identificare a tipului de servicii solicitate pe internetul extern.

Dacă, de exemplu, utilizați un serviciu interzis în China, atunci protocolul său client trebuie să fie serios obscurcat pentru a putea depăși mecanismul de căutare a semnăturii DPI. Atunci când utilizați o sondă de conexiune împotriva dvs., va trebui să ofuscați răspunsul deja din partea serverului, de exemplu. în general, nu veți putea folosi serviciile publice standard dacă acestea sunt interzise.

Momentan, sonda de conectare vă permite să determinați cu acuratețe și cu resurse reduse tipul de serviciu extern pe care dorește să îl folosească un utilizator din China. Dacă dați un exemplu mai real, atunci această tehnologie a fost aplicată cu succes împotriva rețelei de suprapunere i2p, după care a fost blocată în China.

- Apropo, cum rămâne cu sisteme precum Tor, i2p sau VPN? Cât de eficiente sunt cu adevărat în fața unei cenzuri online atât de agresive?

Nu vreau să supăr pe nimeni, dar ele sunt ineficiente și deloc la fel de tenace cum face „zvonul popular” despre asta - toate sistemele menționate în China au fost de mult blocate. Mai mult, puteți bloca Tor sau i2p în zeci de moduri diferite, dintre care cel mai simplu este blocarea procedurii de bootstrap în momentul inițializării clienților lor. Blocarea nodurilor de intrare ale acestor rețele (de exemplu, nodurile directorului Tor) în acest fel este o sarcină banală chiar și pentru un administrator obișnuit. Dacă vorbim despre oportunitățile pe care le are guvernul chinez, în primul rând mă refer la bastonul high-tech DPI - aceasta este o sarcină complet banală.

Poți să te uiți la i2p netDB - nu există noduri cu IP-uri chinezești, dar dacă te uiți la statisticile deschise ale utilizatorilor Tor, ei înregistrează maxim 1000 de IP-uri chinezești unice pe lună, iar asta este pentru o țară de mai multe miliarde de dolari precum China, care are cel mai mare număr de utilizatori de internet din lume.

Apropo, în acest caz de „descoperire” de către chinezi, se folosește obfsproxy, deși blocarea acestuia, din câte pot judeca, în această etapă a dezvoltării Marelui firewall chinezesc nu prezintă dificultăți tehnice, ci doar nu are sens din cauza numărului mic de utilizatori ai acestei tehnologii exotice, precum și a eșecurilor constante în munca ei.

- Cum stau lucrurile cu VPN și SSH?

Situația cu VPN este destul de controversată - unii furnizori o suprimă agresiv, alții - aproape nu. China Unicom, unul dintre cei mai mari furnizori de coloană vertebrală din China continentală, este cunoscut pe scară largă pentru blocarea sa. În acest moment, detectează și blochează mai mult de 5 tipuri de VPN. Mai precis, acestea sunt: ​​OpenVPN, PPTP, L2TP, SSTP și Cisco.

În plus, atunci când are loc următorul congres al Partidului Comunist Chinez, internetul este filtrat, astfel încât chiar și ceea ce a funcționat în vremuri calme să nu mai funcționeze în aceste zile.

În general, din câte știu, guvernul chinez va acorda licență pentru utilizarea VPN, adică, după înregistrarea de stat corespunzătoare, va permite utilizarea VPN în scopuri comerciale legale, iar aceasta va fi propria sa versiune a protocol bazat pe OpenVPN. După intrarea în vigoare a acestei legi, toate protocoalele VPN diferite de versiunea de stat vor fi „tăiate” total la gateway-ul transfrontalier.

În ceea ce privește serviciul SSH, există și încercări de a-l bloca. Conform unui număr de semne indirecte, teste similare sunt efectuate în rețelele publice, în astfel de cazuri în jurnale puteți găsi o mulțime de conexiuni scăpate sau nereușite cu o eroare tipică „Identificarea versiunii de protocol greșit”. În același timp, atunci când încercați să vă conectați la servere din afara Chinei, puteți vedea ulterior mai multe încercări de conectare false de la IP-uri chineze pe acestea, precedând conexiunea întreruptă. Probabil, aceasta este o examinare a sondei de conexiune a serverului de primire, despre care am discutat deja mai sus.

Astfel de conexiuni de testare sunt adesea confundate cu forța brută, deși în acest caz este mai degrabă o încercare de a identifica pasiv sistemul/protocolul de la distanță prin modele de răspuns caracteristice (scanarea amprentelor digitale).

După identificarea unui astfel de serviciu, adresa acestuia este introdusă (de regulă, timp de 1-3 luni) în filtrele și listele de oprire corespunzătoare, pentru a evita de acum înainte solicitările recursive pentru o gazdă care a fost deja descoperită și identificată pentru a putea economisi resurse. Astfel de filtre sunt completate treptat cu servicii interzise în China. Deci, inclusiv datorită sondei de conectare, baza Marelui firewall chinezesc crește și se extinde într-un mod complet automat.

- Pentru a ne completa descrierea, haideți să aruncăm o privire la ultimul dragon sinistru - Support vector machines (SVM).

Aș dori să subliniez că atât sonda de conectare, cât și cu atât mai mult SVM-ul, trebuie considerate ca o extensie, și mai mult intelectualizare a DPI. Mașina de suport vector (SVM) este un alt pas în această direcție. Este un algoritm de învățare automată folosit pentru a clasifica automat cantități mari de date eterogene.

Am discutat deja că DPI este o mașină de filtrare care extrage unele date într-un flux conform regulilor sau semnăturilor statice. În schimb, SVM face posibilă scanarea traficului de internet pe baza analizei statistice fără un set rigid de reguli. De exemplu, analizați frecvența anumitor simboluri, lungimile pachetelor, analizați activitățile suspecte de la adresele specificate, observați diferite dezechilibre și anomalii de rețea, dezvăluind astfel modele ascunse. SVM este un add-on inteligent DPI care, continuând analogia noastră cu antivirus, aduce capabilități euristice („strângere” euristică) procesului de filtrare a traficului de internet.

Ca să dau un exemplu: în China, nu se poate aminti de aniversarea protestelor din Piața Tiananmen de la Beijing din 4 iunie 1989, când mulți studenți au fost literalmente zdrobiți de tancuri în urma unor revolte majore. DPI, care scanează dinamic traficul național, blochează orice URL care menționează data specificată.

După ce chinezii au început să desemneze această dată ca 35 mai (și în multe alte moduri ingenioase), analiza obișnuită a semnăturilor a devenit mult mai dificilă. Dar euristica SVM a venit în ajutor, este capabilă, prin recunoașterea contextului, să detecteze astfel de „date suspecte” cu o intervenție umană minimă.

- Rezumând, ținând cont de tot ce s-a spus, este posibil să spunem că introducerea planificată a unui DPI „în întregime rus” de către Rostelecom este un fel de prevestire de rău augur, un semn negru pentru întregul Runet?

Trebuie să înțelegeți că DPI în sine este un instrument modern puternic și modul în care va fi folosit este deja o chestiune de principii morale și profesionale ale acelor oameni în mâinile cărora va ajunge.

Deci, DPI vă permite să efectuați o cantitate imensă de muncă utilă pentru rețea - mulți furnizori mondiali îl folosesc pentru a-și controla și echilibra traficul, operatorii de telefonie mobilă îl folosesc pentru a colecta statistici detaliate pentru fiecare utilizator în parte, iar această tehnologie face, de asemenea, posibilă adaptarea controlați viteza de transmisie a pachetelor individuale (QoS) și multe altele. În general, DPI oferă un număr mare de capabilități unice într-o gamă largă, de la modelare de înaltă calitate până la crearea de sisteme de spionaj avansate, cum ar fi PRISM.

- Făcând abstracție de la orașele centre de date din China și de umplerea lor tehnică ultramodernă, ce este internetul chinez din punctul de vedere al unui observator din exterior? Care sunt trăsăturile sale de dezvoltare, care este specificul său de adaptare la un astfel de mediu cenzurator?

- Faptul este că Internetul în sine - nu numai în China - este un mediu destul de reactiv. Metodele de cenzură convențională, bazate pe mijloace tehnice și interdicții crude, îi sunt slab aplicabile.

De exemplu, dacă un blogger popular își lasă propria opinie critică despre guvernul RPC pe blogul său înainte ca cenzura să observe și să o blocheze, vor exista de obicei mai multe postări încrucișate ale postării originale. Și mai departe, dacă cenzorii încep să le vâneze pe toate, efectul Streisand se declanșează adesea spontan - o încercare de a închide unele informații, dimpotrivă, atrage și mai multă atenția comunității asupra acesteia. Acest fenomen este o consecință a marii reactivități și autoreflecție a mediului de rețea.

Prin urmare, în ciuda cantității uriașe de cenzură reală din China și a blocării, uneori, a unor portaluri întregi de amploarea unei mari agenții de presă, o tendință alternativă în utilizarea metodelor non-tehnice de influențare a opiniei publice a luat amploare în țară în ultimul timp. . Ideea lor principală este că, dacă nu este întotdeauna posibil să taci gura unui adversar în rețea, atunci de ce să nu conduc astfel de discuții în direcția necesară statului?

- Am citit că recent s-a anunțat oficial că China a creat o divizie de analiști de opinie guvernamentali pe Internet, care are 2 milioane de angajați. Se așteaptă ca acești analiști să patruleze spațiul virtual ca loc de muncă principal. Ei nu au drepturi de a șterge orice informație - sarcina lor este să controleze tendințele internetului, să studieze sentimentele publice ale cetățenilor chinezi și, de asemenea, să le manipuleze conform unei metode speciale.

- Da, aceasta este armata de rețea foarte invizibilă, a cărei armă este metode speciale de influență ascunsă asupra rețelei. Pentru a clarifica mai viu această strategie, voi da un caz real.

În urmă cu aproximativ doi ani, internetul chinez a explodat cu o moarte destul de ciudată. Un tânăr care a fost arestat pentru tăiere ilegală de lemn în apropierea casei sale a mers într-o închisoare din China. Acolo a murit câteva zile mai târziu în circumstanțe destul de ciudate. Autoritățile au explicat oficial cauza morții acestuia prin presupusul fapt că „în închisoare s-a jucat de-a v-ați ascunselea cu deținuții și s-a împiedicat, a căzut, lovindu-se cu capul de perete”. Internetul chinezesc foarte viu a preluat această poveste, voi numi doar o singură cifră: pe QQ.com pe parcursul zilei au apărut peste 50.000 de comentarii pe acest caz, toate celelalte platforme de internet au fost literalmente copleșite de indignare față de absurditatea acestui incident. A spune că cenzorii pur și simplu nu au făcut față fizic cu eliminarea urmelor de „mânie populară” în aceste zile înseamnă a nu spune nimic.

Printr-o coincidență amuzantă, hieroglifa „a juca de-a v-ați ascunselea” în limba chineză are și un al doilea sens – „a fugi de pisică”, care a fost folosit de bloggerii chinezi. Chiar și după câțiva ani pe internet, puteți căuta pe Google un număr imens de referințe la această poveste despre un prizonier care a murit într-o închisoare din China. care s-a izbit de perete încercând să scape de pisică". Cu versiunea lor a pisicii fatale, bloggerii au încercat să împingă până la limită absurditatea explicației oficiale, care a dat naștere a ceea ce s-ar numi acum „meme de internet”. Atunci segmentul chinezesc al internetului era pur și simplu fierbinte, cenzorii nu au putut influența situația, acțiunile lor de suprimare și ștergere a mesajelor nu făceau decât să adauge combustibil la foc, învârtind volantul neîncrederii și criticii ascuțite la adresa guvernului RPC.

Și apoi, în culmea nemulțumirii, s-a întâmplat ceva: o echipă guvernamentală complet diferită s-a alăturat jocului, care, în loc de încercările anterioare de închidere masivă a resurselor, a oferit în mod neașteptat o competiție printre cei mai cunoscuți bloggeri din China. Utilizatorii de internet înșiși, prin vot online, au fost rugați să aleagă cei mai autoriți 5 bloggeri pentru ei, cărora li sa oferit ulterior acces deplin la scenă. Autoritățile le-au dat toate datele, toate faptele, acces gratuit tuturor martorilor. Acești bloggeri au inundat rețeaua cu fotografiile și comentariile lor de la fața locului, însă, fără a putea adăuga nimic nou la meritele acestei morți ciudate.

Dar, pe de altă parte, ceva s-a întâmplat cu opinia publică - de îndată ce informațiile de la fața locului au început să vină din surse independente și în doze uriașe, de îndată ce toate datele au devenit cât mai deschise, oamenii și-au pierdut aproape imediat interesul pentru această chestiune. , iar gradul de indignare a dispărut rapid... Astfel, după această intervenție, s-a dovedit a suprima foarte rapid taifunul epidemiei antiguvernamentale.

Din motive evidente, nu este posibil să povestiți multe incidente similare în rețeaua chinezească, dar ceva comun tuturor acestor povești este important - metodele de control evoluează, devin mai subtile, ascunse și multi-pass. Pe lângă cenzura strictă și peremptorie prin blocare pur tehnică, în cazul unor epidemii de rețea, sunt folosite tehnologii complet diferite pentru a influența opinia publică.

Prin urmare, nu ar trebui să se concentreze doar asupra mijloacelor tehnice, care se dezvoltă rapid și în China, deoarece chiar în fața ochilor noștri se creează și se perfecționează fundamental noi tehnologii de management, unde adesea toate avantajele Internetului ca mediu deschis sunt încercate de către autorități cu semnul opus – deja pentru control ascuns și restricții ale libertății de opinie.

- Este posibil să comparăm cumva Internetul Chinei cu Runetul obișnuit în ceea ce privește gradul de libertate al cetățenilor lor?

- La cel mai de jos nivel din China, practic nu există nicio cenzură - dacă te uiți la rețelele lor de socializare, sunt pline de zvonuri și acuzații ale autorităților, unde adevărul și prostii de-a dreptul sunt strâns înfășurate în jurul unui glob comun de emoții. Aproape nimeni nu citește asta, precum și un zid personal, cred, 70% dintre membrii necunoscuți ai rețelei noastre de socializare VKontakte, care sunt liberi să scrie acolo orice doresc.

Următorul nivel este critica sistematică, argumentare, bloggeri strălucitori și activi cu publicul lor, aici se observă deja o anumită tensiune, există cenzură activă și eliminarea mesajelor provocatoare. Pentru trimestrul respectiv, conform datelor Kyetologului G. King de la Harvard, autoritățile chineze de cenzură a rețelei șterg până la un milion de mesaje și comentarii la adresa lor. Și în sfârșit, al treilea nivel - bloggeri de top cu o audiență uriașă. Sau acestea sunt situații în care un subiect este declanșat și primește o rezonanță largă publică și de rețea.

Aici, sunt posibile o varietate de opțiuni pentru opoziție activă și pedeapsă: dacă bloggerul-inițiator poate fi acuzat de ceva, el poate fi arestat smulgând „un dinte rău de la rădăcini”. Dacă epidemia de rețea este prea puternică și delocalizată, atunci în caz sunt implicate „forțele speciale ale rețelei”, care încearcă să „desprindă abur” folosind diverse tehnologii ingenioase pentru a controla societatea prin soft power (de exemplu, povestea descrisă mai devreme cu o încercare nereușită de a scăpa de un prizonier de la o pisică).

Toate aceste trei niveluri existente simultan creează opinii contradictorii și o anumită confuzie, lăsând adesea prima impresie a unei persoane din afară pe drumul greșit. Astfel, oamenii care sunt dezinvolti și externi țării („turiști”) văd o mulțime de critici antiguvernamentale în relatările nenumite, ceea ce creează un sentiment fals de libertate relativă. Pe de altă parte, anul trecut, autoritățile au arestat 6 bloggeri cunoscuți deodată și i-au aruncat în închisoare, acuzându-i că „au răspândit zvonuri despre o lovitură militară iminentă”.

În acest din urmă caz, nu ar trebui să încercați prea serios să interpretați formularea oficială, deoarece atunci când Wikipedia a fost închisă aici, aceasta a fost justificată de lupta „împotriva propagandei agresiunii și violenței”, pe care se presupune că această enciclopedie online gratuită o desfășoară în jurul lume.

- Totul este clar despre cele trei „niveluri chinezești”. Dar anonimatul?

- Nu există anonimat în China. În China, există legi care obligă bloggerii să se înregistreze cu datele reale ale pașapoartelor. Acest lucru se face sub pretextul „îmbunătățirii încrederii în rețea unul față de celălalt și protejarea intereselor utilizatorilor terți”.

Există și o lege care vă obligă să vă documentați identitatea la încheierea oricăror acorduri pentru obținerea serviciilor de acces la Internet. Toate site-urile situate fizic în China sunt supuse înregistrării obligatorii la Ministerul Industriei și Tehnologiei Informației, în care este descris mai degrabă pedant ce fel de site este și cine este responsabil pentru ce. Astfel, pentru orice rezultat al evenimentelor, există întotdeauna o anumită persoană responsabilă pentru eventualele încălcări.

Adăugați la acest control constant de fundal (nu vorbesc doar de Internet, amintiți-vă cel puțin de recenta interdicție din SUA privind vânzarea echipamentelor Huawei, care s-a dovedit a fi plină de bug-uri, sau de povestea de la Sankt Petersburg despre fiarele de călcat chinezești care neautorizat conectați-vă la rețele Wi-Fi publice), unde tot traficul și activitatea dvs. din rețea sunt atent monitorizate și înregistrate. Aici oricine, chiar și cel mai retardat din punct de vedere tehnic al rețelei, înțelege perfect că activitatea lui este înregistrată.

De exemplu, puteți încerca să utilizați un VPN sau să discutați cu cineva din străinătate folosind PGP și, cu abilitățile și aptitudinile potrivite, s-ar putea chiar să funcționeze. Dar, în același timp, este evident pentru toată lumea că va fi înregistrat însuși faptul utilizării unor astfel de tehnologii, care în viitor, dacă sunt eliminate cu alte circumstanțe agravante, poate duce la persecuția ta. Apropo, tehnologiile de filtrare euristică precum SVM sunt capabile să detecteze automat utilizarea aproape oricărei criptografii de către dvs., ceea ce atrage în plus atenția mai întâi asupra traficului și apoi asupra persoanei dvs.

Voi formula observația principală. După 6 ani de viață locală, am avut impresia că China, cu sistemul său de control total al fundalului și pedepsele demonstrative aspre periodice, încearcă să dezvolte în mod persistent un model de comportament al cetățenilor, în cadrul căruia o persoană s-ar supune voluntar și subconștient un act de autocenzură, conștient în mod constant de faptul că fiecare pas sau declarație în cadrul rețelei este atent înregistrat. Dorința de a se reține, condusă în primul rând de frica latentă, devine în cele din urmă a doua natură.

Așa că ajungem la o dihotomie ciudată pentru un european mai liberal: formal, poți scrie ceea ce crezi, dar majoritatea chinezilor preferă să nu facă. Atunci copiii învață asta de la tații lor, astfel încât generații întregi de cetățeni fideli în permanență țării sunt crescute fără propriul punct de vedere. Apropo, acestea sunt rădăcinile rele ale colectivității și patriarhatului lor lăudate...

- Privind din afară, care este prognoza dumneavoastră în ceea ce privește Runet? În fruntea țării noastre mari, care deservește fizic principalul cluster al internetului vorbitor de limbă rusă, se află președintele permanent, colonelul KGB și membru al Partidului Comunist al Uniunii Sovietice din 1975, ce tendințe în dezvoltarea rețelei fac te astepti in acest sens?

- Desigur, totul va deveni mai greu. Dar permiteți-mi să-mi exprim scepticismul - personal, nu cred că aceasta va fi tocmai „versiunea chineză”, deoarece această abordare, credeți-mă, este extrem de high-tech. Permiteți-mi să vă reamintesc că în Rusia încă nu știu să filtreze paginile web individuale interzise de instanță, o baie barbară deodată o grămadă de resurse după IP-ul lor comun.

Prin urmare, repet încă o dată, nu este nevoie să sperii rețeaua locală cu „versiunea chineză”. Cel mai probabil, lipsa capacităților tehnice reale va fi compensată de legislație furtunoasă și „forță brută” pur administrativă. Singurul lucru în comun cu China este că, în timp, o astfel de presiune va forma sindromul de autocenzură în stil chinezesc în rândul populației. Adică modul de a gândi un lucru, dar de a spune (comenta) altul, cu un ochi constant la „orice s-ar întâmpla”, ceea ce, pentru a spune ușor, este departe de comunicarea și exprimarea de sine umană normală.

Totuși, în latitudinile rusești, IMHO, acest lucru nu va duce mai degrabă la supunere, ci la imprevizibilitatea populației care a pus deja stăpânire pe „gâtul libertății”.

- Să încheiem descrierea noastră a internetului asiatic cu ultima întrebare pusă de edge: care sunt cele mai extreme lucruri pentru securitatea ta pe care le poți face pe internetul chinez chiar acum?

- Aș evidenția două puncte serioase: orice declarații împotriva cenzorilor înșiși și cenzură, precum și orice apel la acțiune populară colectivă offline.

În primul caz, China face eforturi titanice pentru ca însuși faptul cenzurii, controlului și supravegherii să nu fie resimțit în niciun fel de majoritatea cetățenilor de rând ai țării, adică astfel încât acest fenomen să nu fie discutat sau înregistrat în oricum. Oricare dintre încercările dumneavoastră de a discuta în mod deschis această problemă particulară, subliniați faptele de control, cel mai probabil, va avea consecințe foarte grave (în direct proporțional cu gradul de persuasivitate și gravitatea faptelor prezentate). Paradoxul este că astăzi este mai sigur să critici conducerea Partidului Comunist însuși decât metodele sale de a controla rețeaua sau societatea.

Cât despre al doilea - dacă vrei să aduni oameni cu orice scop - va fi aspru suprimat. Permiteți-mi să vă reamintesc încă o dată despre partea principală a strategiei: declarațiile critice personale sau criticile fragmentate din partea cetățenilor sunt de cele mai multe ori acceptabile, dar orice încercare de discuții colective, auto-organizare sau asociații bazate pe puncte de vedere comune și, în plus, deconectarea. cu ele sunt categoric inacceptabile. Din acest motiv, chiar și grupurile de pasionați de ciclism sunt blocate online dacă încearcă să se adune în cantități mari offline. Autoritățile chineze sunt îngrozite de orice consolidare a cetățenilor, totuși, această funcție este, în opinia mea, pe care Internetul mai „adult” al viitorului o va oferi.

În cadrul recentelor PHDays, au fost realizate o serie de rapoarte legate de analiza eficacității remediilor existente:

Bypass DPI, Olli-Pekka Niemi (Opi)

Teoria minciunii: ocolirea WAF-urilor moderne, Vladimir Vorontsov

O duzină de moduri de a depăși sistemele DLP, Alexander Kuznetsov, Alexander Tovstolip

De ce au fost aceste rapoarte interesate de mine? Pentru că, în cadrul muncii mele, sunt implicat în proiectarea și implementarea de soluții, sisteme de securitate a informațiilor, și așteptam informații care să mă ajute să țin cont de factori suplimentari în proiectare, la configurare, să fiu atent la anumite funcții și, ca rezultat, obțineți un sistem de securitate cu adevărat eficient, nu „de hârtie”.

În raportul său Ollie-Pekka a povestit despre utilitarul Pentest Evader, unele tehnici de evaziune. Utilitatea Evader în sine este un lucru grozav, dar raportul a avut câteva dezavantaje:

· În primul rând, discrepanța dintre conținut și titlu. LA DPI nimic de făcut. Sfera de aplicare a Evader și soluțiile descrise sunt în principal apărări de rețea bazate pe semnături (NGFW, IPS)

· În al doilea rând, raportul nu a justificat nivelul de dificultate - 200. Ar fi suficient 100. Deoarece a fost o scurtă reprezare a definițiilor diferitelor tehnici de ocolire și o demonstrație a interfeței Evader

· În al treilea rând, un subiect vechi. Am auzit deja un raport similar la Stonesoft acum 2 ani. De atunci, nu au mai fost adăugate cuvinte noi

Acum, până la punctul întrebării: deoarece raportul nu a menționat exact ce instrumente au ce dezavantaje, va trebui să implementăm independent bancul de testare Evader, despre care am scris deja mai devreme. Conduceți-l folosind mongbat cu toate combinațiile posibile de evaziune, identificați-le pe cele care nu sunt detectate de protecția rețelei noastre. În plus, configurați apărările astfel încât atacurile să poată fi detectate chiar și cu tehnici de eludare (sunt sigur că în 90% din cazuri acest lucru se poate face). Iar pentru restul de 10% din atacurile nedetectabile, luați o decizie cu privire la necesitatea altor măsuri „compensatoare”.

De exemplu, dacă avem o aplicație web, iar FW și IPS nu pot detecta atacuri, atunci avem nevoie de WAF. Sau, după cum sugerează Stonesoft, utilizați o măsură intermediară Stonesoft Evasion Prevention System (EPS) care poate fi înghesuită în orice infrastructură de lucru.

Raport de ocolireWAF a fost foarte bun în ceea ce privește abilitățile de prezentare ale vorbitorului și interesul - a ascultat ușor și natural. DAR informațiile utile de care aveam nevoie și despre care am scris mai sus nu erau acolo:

· Vorbitorul însuși spune că pentru o serie de deficiențe WAF (DoS, Protocol-Level Evasion, protected by Hostname, HTTP Protocol Pollution), spune că acestea sunt asociate cu setări de securitate slabe, apoi face o greșeală logică și spune că WAF-urile ei înșiși sunt răi.

Tehnicile de ocolire au fost listate în modul repovestire, fără demonstrații, detalii etc.

· Pe parcurs, vorbitorul spune în mod repetat „în WAF-urile corporative totul este atât de rău încât nu le voi lua în considerare în această secțiune, voi lua în considerare doar instrumentele de protecție open source”. De aici trag concluzia că vorbitorul este atât de rău cu primirea WAF-urilor „corporate” pentru testare și cu experiența instalării lor, încât nu vrea să atingă acest subiect dureros.

· Vorbitorul face referire la o comparație recentă a serviciilor cloud WAF, care trage concluzii despre performanța lor slabă. Aici pot doar să spun că serviciile cloud sunt cu adevărat slabe în acest moment (mai slabe decât WAF-urile corporative dedicate). Acest lucru se datorează setării WAF pentru acest anumit furnizor de servicii și nu cu un fel de slăbiciune a soluțiilor precum WAF în principiu.

· Unele dintre vulnerabilitățile citate de autor sunt vulnerabilități ale serviciilor și aplicațiilor finale și nu au legătură cu WAF (care le detectează perfect). De ce le-a adus autorul în acest thread? Probabil că s-a hotărât să prezinte tot ce știe în securitatea web-ului.

La final, vorbitorul spune că își dezvoltă propriile mijloace fundamental noi de protejare a aplicațiilor web (aici au fost dezvăluite adevăratele motive pentru a critica WAF)

De fapt, WAF are o mulțime de reguli pentru normalizarea și controlul protocoalelor, trebuie doar să le configurați corect. Este foarte posibil ca autorul raportului să nu fi petrecut suficient timp studiind posibilele opțiuni pentru înființarea WAF-urilor „corporate”.

Însăși principiile și tehnologiile WAF-urilor corporative moderne sunt foarte diferite de ceea ce a vorbit vorbitorul, acesta nu mai este un set de semnături detectabile. Au deja:

Un sistem de control autoritar al accesului, în care setăm în mod explicit ce poate face un utilizator într-o aplicație web (a nu se confunda cu blocarea cererilor prin semnături de atac)

Profilare dinamică, în care sistemul setează automat profilurile solicitărilor utilizatorilor normali și detectează abaterile anormale

· Protecție împotriva atacurilor automate (Automated Attack), care detectează inventarul extern, forța brută, phasing etc.

Corelația cu sistemele de securitate a bazei de date, în cadrul cărora WAF primește informații despre ce fel de solicitare și răspuns efectiv transmis de la serverul de aplicații web la serverul de baze de date

Aceste mecanisme nu au fost menționate și ajung la concluzia că ele erau necunoscute vorbitorului.

DepășireaDLP... Potrivit difuzoarelor, principalele probleme se datorează setărilor implicite, erori de configurare, nesuportate de sistem. Dar au existat și deficiențe evidente ale soluțiilor DLP în sine (din păcate, fără a specifica ce versiune a produsului a fost testat):

Dezactivarea unui serviciu cu drepturi de administrator (prin redenumirea fișierului de serviciu)

Copierea documentelor protejate într-un criptocontainer conectat local

Copierea pe biți a documentului până la sfârșitul imaginii

Când sistemul permite prima dată copierea, apoi blochează și șterge fișierul de pe media, puteți încerca să restaurați fișierul șters

Ștergerea unui jurnal cu evenimente DLP cu drepturi de administrator

Toate dezavantajele de mai sus pot fi folosite cu o întindere. Deci, în procesul de eliminare a unor astfel de deficiențe de către furnizori, pot fi luate măsuri alternative - pentru a configura corect drepturile de utilizator în sistemul de operare și la sistemul de fișiere, pentru a controla lista de software terță parte instalat și activitatea constantă a serviciilor DLP.

4. Gândul comun tuturor celor trei vorbitori este nevoia de a configura corect instrumentele de securitate a informațiilor, monitorizarea constantă și optimizarea setărilor. Principiul „setează și uită” în lumea securității informațiilor reale nu funcționează.

5. Din experiența mea, pot adăuga că în proiecte încerc întotdeauna să vorbesc cu clienții despre cantitatea de muncă necesară la proiectarea și configurarea echipamentelor de securitate. În funcție de soluție, costul lucrării poate depăși chiar costul soluției în sine, astfel încât clienții nu aleg întotdeauna opțiunea cu configurație detaliată și reglare fină la fața locului.

Opțiunile bugetare cu setări standard sunt adesea comandate. Și nu sunt sigur dacă administratorii primesc suficientă instruire pe cont propriu pentru a configura produsul, a configura și a menține toate caracteristicile necesare. Dacă setările sunt lăsate implicit, atunci cuvintele tuturor vorbitorilor vor fi corecte - un atacator poate prelua rapid măsuri pentru a ocoli măsurile de securitate.

Se dovedește astfel, dacă doriți să economisiți bani la configurarea și întreținerea sistemului, fiți gata să plătiți în mod regulat pentru un pentest (sau analiză de performanță).

6. Încă o concluzie - Pentru ca un hacker să înțeleagă cum să ocolească sistemul nostru de protecție, trebuie să implementeze și să testeze un analog exact. Dacă folosim o soluție corporativă costisitoare, atunci această opțiune nu este disponibilă unui hacker obișnuit.

Va trebui să facă teste pe sistemul nostru de producție. Și aici este foarte important să folosim monitorizarea sistemului de protecție și analiza evenimentelor de securitate a informațiilor. Dacă compania a stabilit aceste procese, atunci vom putea identifica sursa atacului și serviciul investigat înainte ca atacatorul să poată detecta o metodă bună de ocolire a sistemului de protecție.

Un sistem de inspecție profundă a pachetelor, sau DPI, analizează pachetele care trec prin el și le înaintează, le marchează, le blochează sau le restricționează, oferind control aproape complet asupra traficului. Pentru identificarea pachetelor, diferite dispozitive folosesc diferiți parametri: secvență, dimensiune, conținut etc., ceea ce face posibilă, în cele din urmă, redistribuirea traficului între abonați în funcție de prioritate și chiar colectarea statisticilor detaliate de conectare pentru fiecare utilizator în parte.

DPI vă permite, de asemenea, să optimizați performanța rețelei, prevenind congestionarea rețelei și protejând, de exemplu, atacurile DDoS. În plus, este posibilă optimizarea fluxului de date în cadrul rețelei prin alocarea de trafic prioritar la o anumită zi/oră a zilei sau pentru anumite categorii de utilizatori. De exemplu, pe timp de noapte, traficul de la o resursă poate lua mai multă lățime de bandă decât în ​​timpul zilei. În timpul zilei, se acordă prioritate altor trafic web.

Scurtă recenzie

Atât companiile străine, cât și cele rusești sunt reprezentate pe piața serviciilor DPI. Furnizorii străini au o experiență vastă: aproape toate companiile - Allot Communications, Huawei Technologies, Procera Networks, Sandvine Incorporated - se ocupă de soluții DPI de peste 15 ani. Experiența producătorilor autohtoni - NAPA Labs, Peter Service, VAS Experts, Protey - este mai modestă, dar atrag clienții datorită prețului: costul mai mic al soluțiilor în ruble este un avantaj excelent.

Sistemele străine folosesc propriile soluții hardware, ceea ce face ca dispozitivul finit să fie mai fiabil, dar afectează semnificativ costul pentru creșterea acestuia. Complexele rusești funcționează pe servere standard - acest lucru permite creșterea capacității soluției. În plus, această abordare asigură compatibilitatea software-ului cu majoritatea platformelor hardware. Potențial zbură în unguent: cu această abordare, soluțiile occidentale pot fi mai stabile decât cele domestice (optimizarea sistemelor pentru un anumit hardware a făcut întotdeauna calculatoarele mai productive și mai stabile).

Important: software-ul tuturor sistemelor rusești este „ascuțit” conform legislației ruse. La 9 septembrie 2016, Kommersant a publicat informații despre proiectul de foaie de parcurs pentru înlocuirea importurilor de echipamente de telecomunicații în Rusia pentru 2016-2020 (citiți mai multe despre aceasta pe blogul nostru). Potrivit acestui document, unii vânzători străini vor fi nevoiți să părăsească piața rusă.

Solutii pe piata

Concurența pe piață este suficient de puternică încât vânzătorii să ofere linii de produse pentru diferite segmente (utilizatori corporativi, ISP și operatori de telecomunicații) și setări de performanță flexibile.

De exemplu, linia Procera PacketLogic include 6 dispozitive care diferă ca lățime de bandă (de la 1 Gbps la 600 Gbps), numărul maxim de conexiuni (de la 400 mii la 240 milioane), dimensiunea platformei hardware (de la 1U la 14U) și etc. Seria mai tânără de platforme PL1000 este potrivită pentru servere de raportare, statistici și tendințe, în timp ce seria PL20000 este de clasă operator și este deja capabilă să identifice traficul de rețea folosind DRDL în timp real, precum și să lucreze cu trafic asimetric.

Este de remarcat decizia companiei Allot Communications. Aparatele din seria Allot NetEnforcer sunt sisteme hardware de analiză și management al traficului de rețea care optimizează serviciul de furnizare a accesului la Internet în bandă largă utilizatorilor corporativi și ISP-urilor. Soluția face față și la identificarea și separarea tipului de trafic (p2p, video, skype etc.).

Un alt complex al companiei - Allot Service Gateway - a fost creat pentru operatorii de telefonie mobilă. Gateway-ul vă permite să identificați traficul la viteze de până la 160 Gbps, să îl analizați și să îl vizualizați pentru a optimiza lățimea de bandă și a îmbunătăți calitatea serviciului.

Cât despre producătorii ruși, ei încearcă și ei să țină pasul. De asemenea, cei de la VAS Experts suntem specializati in crearea si implementarea de servicii in domeniul controlului si analizei traficului.

De exemplu, portofoliul nostru include sistemul SKAT, care are 6 platforme hardware: de la SKAT-6 (6 Gb/s, până la 400 de mii de abonați, 1U) la SKAT-160 (160 Gb/s, până la 16 milioane de abonați, 3U). SKAT distinge peste 6000 de protocoale, poate funcționa în 3 moduri (întrerupt, asimetria traficului de ieșire, oglindă trafic), gestionează abonații cu IP dinamic și acceptă mai multe tipuri de Netflow.

O altă companie rusă, Napa Labs, produce un complex hardware și software DPI Equila de clasă operator în două versiuni cu funcționalități diferite, mizând în același timp pe interesul furnizorilor de internet și al clienților corporativi:

Alți furnizori vizează doar un anumit segment al pieței. De exemplu, STC PROTEI furnizează complexul software și hardware PROTEI DPI pentru operatorii de telecomunicații. Soluțiile companiei diferă ca performanță și rezolvă problemele de analiză și management al traficului, furnizarea de servicii cu valoare adăugată (VAS) și restricționarea accesului la anumite resurse.

Huawei oferă sisteme numai pentru furnizorii de servicii de internet. Soluția sa este sistemul de analiză a traficului SIG9800-X, un gateway de servicii de clasă operator construit pe o platformă de rutare. Vă permite să efectuați toate funcțiile DPI: analiza și managementul traficului, vizualizarea rapoartelor privind utilizarea lățimii de bandă de către aplicații, QoS și protecție împotriva atacurilor de rețea.

Componente individuale

Unele soluții oferă funcționalități suplimentare contra cost. Pe lângă o gamă largă de soluții, la VAS Experts oferim o gamă de 3 opțiuni de licență pentru orice platformă SKAT și o componentă suplimentară - CASH Server.

Peter-Service oferă o gamă de 4 componente pentru sistemul său TREC DPI. Acestea includ:

• Biblioteca software TREC.SDK pentru analiza traficului folosind tehnologia DPI (Deep Packet Inspection)
• Produse software TREC.Analyser și TREC.MDH pentru monitorizarea, stocarea și analiza traficului, precum și gestionarea acestuia
• sisteme hardware și software pentru procesarea traficului cu lățime de bandă maximă de 10 Gb/s, 80 Gb/s și 600 Gb/s
• Servicii profesionale - servicii de consultanta DPI

Pe lângă produsele individuale cu funcționalitate proprie, puteți achiziționa și module pentru scalarea rețelei în cadrul aceleiași linii de produse. Toți producătorii de sisteme DPI acceptă această opțiune. În ceea ce privește scalabilitatea sistemelor rusești, aceasta nu provoacă probleme datorită utilizării hardware-ului standard - acesta este, fără îndoială, un plus.

Platforme virtuale

Principalul avantaj al platformelor virtuale este capacitatea de a se instala pe orice hardware compatibil. Nu toți vânzătorii au o astfel de opțiune, ceea ce se explică prin utilizarea hardware-ului special de către sistemele străine. Dar o astfel de oportunitate este oferită de Procera pe platforma PacketLogic / V și Sandvine pe seria virtuală PTS. În ceea ce privește piața internă, Peter-Service se oferă să-și implementeze soluția într-un mediu virtual.

Platformele au aceleași funcții ca și soluțiile hardware, dar sunt mai flexibile și consumă cantitatea de resurse care este necesară pentru încărcarea curentă. De asemenea, se integrează cu ușurință cu infrastructura virtuală a operatorului, inclusiv cu rețeaua virtuală.

Concluzie

În concluzie: soluțiile rusești au un cost mai mic (comparativ cu cele străine) și, în consecință, o rambursare rapidă. O platformă hardware și software universală vă permite să adăugați cu ușurință interfețe de rețea, să creșteți memoria și numărul de nuclee de procesor, dar poate duce la o scădere a stabilității.

În ceea ce privește furnizorii străini, cei mai mulți dintre aceștia sunt pe piață de peste 15 ani și au linii de produse largi pentru toate segmentele. De asemenea, lansează sisteme productive și stabile pe propriile platforme hardware, dar astfel de capabilități implică câteva dezavantaje: costul ridicat al sistemelor și modulelor suplimentare plus costuri suplimentare de licență la scalare.

Lectură suplimentară

Inspecție profundă a pachetelor(abrev. DPI, de asemenea inspecția completă a pachetuluiși extragerea informațiilor sau IX, rus. Inspecția în profunzime a pachetelor) este o tehnologie de acumulare a datelor statistice, de verificare și filtrare a pachetelor de rețea după conținutul lor. Spre deosebire de firewall-uri, Deep Packet Inspection analizează nu numai anteturile pachetelor, ci și conținutul complet al traficului la toate nivelurile modelului OSI, începând de la al doilea și mai sus. Utilizarea Deep Packet Inspection vă permite să detectați și să blocați virușii, să filtrați informațiile care nu îndeplinesc criteriile specificate.

Cuprins

Introducere/Enunțare a problemei securității informațiilor

Sistemul DPI efectuează inspecție profundă a pachetelor - analiză la straturile superioare ale modelului OSI, nu doar numerele standard de porturi de rețea. Pe lângă studierea pachetelor conform anumitor șabloane standard, prin care puteți determina în mod unic apartenența unui pachet la o anumită aplicație: prin formatul antetelor, numerelor de port și așa mai departe, sistemul DPI realizează și așa-numita analiza comportamentală a traficului, care vă permite să recunoașteți aplicațiile care nu folosesc antete cunoscute anterior pentru schimbul de date și structuri de date precum BitTorrent.

Principala problemă a tuturor soluțiilor DPI existente este că, pentru a determina fără ambiguitate dacă un anumit flux de date aparține uneia dintre aplicațiile de rețea, un dispozitiv care efectuează analize de trafic trebuie să proceseze ambele direcții ale sesiunii: traficul de intrare și de ieșire dintr-un flux trebuie să meargă. prin acelasi aparat. Dacă echipamentul recunoaște că procesează o singură direcție în cadrul sesiunii, nu este capabil să coreleze acest flux cu nicio categorie de trafic cunoscută. În același timp, prezența unui volum mare de trafic asimetric este un scenariu comun pentru marii operatori. Diferiți producători oferă soluții diferite la această problemă.

O altă problemă care devine din ce în ce mai răspândită este utilizarea pe scară largă a instrumentelor de criptare a traficului de rețea și utilizarea TLS/SSL ca parte a protocolului HTTPS, care nu permite utilizarea instrumentelor clasice de analiză profundă pentru acestea.

Sistemele DPI pot fi implementate atât în ​​software (Tstat, OpenDPI, Hippie, L7-filter, SPID) cât și hardware (produse Allot Communications, Procera Networks, Cisco, Sandvine). În ultimii ani, ultima opțiune a devenit din ce în ce mai populară. Performanța acestor soluții poate varia de la sute de Mbps la 160 Gbps pentru un singur dispozitiv hardware, care poate fi, de asemenea, combinat în clustere pentru o performanță sporită. Costul poate varia de la câteva mii la milioane de dolari SUA.

Sistemul DPI, de regulă, este instalat la granița rețelei operatorului, astfel, tot traficul care iese sau intră în această rețea trece prin DPI, ceea ce face posibilă monitorizarea și controlul acestuia.

Aplicație

Datorită implementării sistemelor DPI, operatorul are un instrument puternic pentru rezolvarea diferitelor sarcini pentru operarea și dezvoltarea rețelei.

Publicitate direcționată

Deoarece operatorii de telecomunicații direcționează traficul de rețea al tuturor clienților lor, aceștia pot efectua o analiză detaliată a comportamentului utilizatorilor pe Web, ceea ce le permite să colecteze informații despre interesele utilizatorilor. Aceste informații pot fi folosite de companiile specializate în publicitate direcționată. Această abordare a câștigat acceptare internațională. De regulă, colectarea informațiilor se realizează fără știrea și acordul utilizatorilor.

Implementarea QoS

Sistemul DPI poate fi folosit pentru a încălca neutralitatea rețelei - implementarea QoS. Deci, folosind DPI, operatorul de date poate controla utilizarea canalelor pe care sunt instalate sisteme DPI la nivelul OSI 7. Soluția clasică a problemei implementării QoS se bazează pe construcția de cozi, bazată pe marcarea traficului cu biți de serviciu în anteturile IP, 802.1q și MPLS, cu alocarea traficului prioritar (de exemplu, VPN sau IPTV). Acest trafic este garantat oricând cu lățimea de bandă specificată. În același timp, traficul deservit conform principiului „Cel mai bun efort”, care include, printre altele, traficul abonaților de acasă, rămâne necontrolat, ceea ce face posibil ca o serie de protocoale, de exemplu, BitTorrent, să fie unic. utilizați cu mâna toată lățimea de bandă gratuită.

Utilizarea DPI oferă operatorului posibilitatea de a distribui canalul între diferite aplicații și de a introduce politici flexibile de control al traficului: de exemplu, permite traficului BitTorrent să folosească mai multă lățime de bandă noaptea decât în ​​timpul zilei. O altă oportunitate des folosită de operator: blocarea sau limitarea semnificativă a lățimii de bandă a unui anumit tip de trafic, de exemplu, telefonia VoIP de către operatorii de telefonie mobilă, care reduce pierderile financiare de la utilizatorii care nu folosesc serviciile de comunicații.

Gestionarea abonamentului

Un alt aspect al implementării QoS bazate pe DPI este accesibilitatea pe bază de abonament. Regulile pe baza cărora se realizează blocarea pot fi precizate prin două baze principale: per-serviciu sau per-abonat. În primul caz, se prevede că unei anumite aplicații i se permite să utilizeze o anumită lățime de bandă. În al doilea, aplicația este legată de banda pentru fiecare abonat sau grup de abonați independent de ceilalți, ceea ce se realizează prin integrarea DPI cu sistemele OSS / BSS existente ale operatorului.

Astfel, sistemul poate fi configurat astfel încât fiecare utilizator să poată utiliza doar acele servicii și de pe acele dispozitive care sunt agreate anterior. Acest lucru le permite operatorilor de telecomunicații să creeze planuri tarifare incredibil de flexibile.

Dacă vorbim de traficul operatorilor de telefonie mobilă, DPI vă permite să controlați separat încărcarea fiecărei stații de bază, distribuind echitabil resursele acesteia în așa fel încât toți utilizatorii să fie mulțumiți de calitatea serviciului. Această sarcină poate fi rezolvată de forțele nucleului mobil, care nu este întotdeauna bugetar.

Utilizare de către agențiile guvernamentale

Folosind DPI, agențiile de informații pot monitoriza activitatea de rețea a unui anumit utilizator. Pe lângă monitorizare, puteți influența activ această activitate prin restricționarea accesului la utilizarea VPN, HTTPS și alte mijloace care fac imposibilă analiza conținutului rețelei. În plus, soluțiile bazate pe DPI sunt folosite pentru a bloca accesul la resursele web interzise în SUA, China, Iran, Rusia. Deci, în China, a fost dezvoltat standardul DPI (Y.2770), aprobat ulterior de Uniunea Internațională a Telecomunicațiilor (ITU).

DPI este o parte integrantă a sistemelor precum SORM-2 și Echelon.

DPI pentru trafic criptat

HTTPS și alte protocoale de criptare au devenit mai răspândite în ultimii ani. Criptarea protejează informațiile confidențiale ale utilizatorului oriunde în rețea, inclusiv site-urile intermediare. Din păcate, HTTPS a fost o problemă de lungă durată pentru dispozitivele DPI. Deoarece sarcina utilă a pachetelor este criptată, nodurile de rețea intermediare nu mai pot analiza sarcina utilă și nu-și mai pot îndeplini sarcinile. De menționat că utilizarea protocoalelor de criptare la nivel de aplicație nu împiedică sistemul DPI să analizeze traficul la niveluri inferioare, dar îi reduce semnificativ eficiența. De exemplu, HTTPS nu va împiedica sistemul DPI să examineze antetul TCP al pachetului pentru a determina portul de destinație și pentru a încerca să-l potrivească cu o anumită aplicație, dar nu va permite analiza încărcăturii utile a stratului de aplicație: sistemul DPI va să poată determina ora, volumul și destinația pachetului, dar nu și conținutul acestuia.

Pe baza celor de mai sus, se poate concluziona că criptarea traficului nu interferează cu implementarea managementului abonamentului bazat pe QoS și DPI.

Utilizarea HTTPS va ajuta la protejarea datelor de DPI numai în tranzit. Dacă sistemul DPI este instalat pe partea serverului, cu care interacționează clientul, atunci datele vor fi procesate în text clar. De exemplu, atunci când interacționează cu serverele Google, în ciuda utilizării HTTPS, sistemele DPI colectează informații pentru a oferi publicitate contextuală.

Pentru a rezolva problema analizării traficului criptat, unele sisteme DPI care sunt în curs de dezvoltare suportă un mecanism nesigur de stabilire a unei conexiuni HTTPS: ele, de fapt, efectuează un atac MITM asupra protocolului SSL și decriptează traficul la un nod intermediar. Această abordare încalcă principiul de criptare end-to-end al SSL. De asemenea, provoacă frustrare în rândul utilizatorilor.

Astfel, ne confruntăm cu o alegere nepotrivită doar a uneia dintre proprietățile necesare: funcționalitatea sistemelor DPI sau confidențialitatea oferită de criptare. La prima vedere, ar putea părea că aceste proprietăți se contrazic la un nivel fundamental: sistemul DPI nu poate procesa conținutul pachetului atunci când nu poate vedea conținutul. Proiectul BlindBox este dedicat rezolvării acestei contradicții și construirii unui sistem care să satisfacă ambele proprietăți.

BlindBox

Descriere

Abordarea BlindBox este de a analiza sarcina utilă criptată direct, fără a o decripta la nodul intermediar. Construirea unui astfel de sistem în practică este o sarcină dificilă: rețelele funcționează la viteze foarte mari, necesitând operațiuni criptografice care durează micro- și chiar nanosecunde. În plus, multe noduri intermediare necesită suport pentru operațiuni care necesită mult resurse, cum ar fi analizarea bazată pe expresii regulate.

Schemele criptografice precum criptarea complet homomorfă sau funcțională sunt potențiali candidați, dar aceste scheme sunt destul de lente și degradează performanța rețelei cu câteva ordine de mărime.

Pentru a rezolva aceste probleme, BlindBox este specializată în rețele. BlindBox acceptă două clase de calcul DPI, fiecare cu propriile garanții de confidențialitate: confidențialitate bazată pe potriviri și confidențialitate pentru cauza probabilă.

Modelul de confidențialitate cu potrivire completă asigură că o gazdă intermediară va putea detecta doar acele subșiruri de trafic pentru care există o potrivire pentru cuvintele cheie ale atacurilor cunoscute. De exemplu, dacă există o regulă pentru cuvântul „ATAC”, atunci nodul intermediar știe la ce decalaj al fluxului, dacă este deloc, apare cuvântul „ATAC”, dar nu știe ce alte părți ale traficului sunt. Traficul care nu conține cuvinte cheie va rămâne necitit de gazda intermediară.

Modelul de confidențialitate a cauzei probabile se bazează pe o logică diferită: un nod intermediar poate decripta întregul flux dacă este găsit un subșir de trafic care se potrivește cu un cuvânt cheie al unui atac cunoscut. Acest model este convenabil pentru sarcinile de detectare a intruziunilor care necesită analiză folosind expresii regulate sau scripturi. Acest model este inspirat din două motive: primul este modelul „cauzei probabile” din dreptul penal al SUA: motivul încălcării confidențialității este doar existența unui motiv de suspiciune. În al doilea rând, majoritatea regulilor din sistemul de detectare a intruziunilor Snort care folosesc expresii regulate încearcă mai întâi să găsească cuvinte cheie legate de atac în pachet și abia apoi încep să utilizeze căutări cu expresii regulate, altfel detectarea ar fi prea lentă.

Ambele modele de confidențialitate BlindBox sunt mult mai puternice decât abordările bazate pe MITM folosite astăzi. În ambele abordări, BlindBox protejează datele folosind scheme puternice de criptare pseudo-aleatoare care oferă garanții de securitate similare cu schemele de căutare criptografice bine cercetate pentru date criptate.

Arhitectura sistemului

Figura 1 prezintă arhitectura sistemului. Are patru părți - expeditorul (O), destinatarul (P), nodul intermediar (PU) și generatorul de reguli (RG), care reflectă arhitectura standard a nodului intermediar pentru o anumită zi. Rule Generator oferă reguli de atac (numite și semnături) care sunt folosite de un PU pentru a detecta atacurile. Fiecare regulă încearcă să descrie atacul și conține câmpuri: unul sau mai multe cuvinte cheie în trafic, informații de compensare pentru fiecare cuvânt cheie și, uneori, expresii regulate. Rolul GP astăzi este îndeplinit de organizații precum Emerging Threats, McAfee, Symantec. Expeditorul trimite trafic către destinatar printr-un nod intermediar, care permite expeditorului și destinatarului să facă schimb de informații dacă nu detectează semnături în traficul lor.

Figura 1. Arhitectura BlindBox. Elementele umbrite indică algoritmi adăugați la BlindBox.

Să aruncăm o privire la modelul de aplicație BlindBox. Generatorul de reguli creează un set de reguli care conține o listă de cuvinte cheie care sunt utilizate în atacurile existente sau care sunt de interes de studiat. GP le semnează folosind cheia sa privată și trimite PU utilizatorului său. Expeditorul și receptorul care au încredere în GPU stabilesc o configurație BlindBox HTTPS care include cheia publică a GPU-ului. După faza de inițializare, GPU-ul nu este niciodată implicat direct în protocol. Acum vorbim despre interacțiunea dintre emițător, receptor și PU, când emițătorul și receptorul inițiază o conexiune în rețeaua controlată de PU.

Stabilirea unei conexiuni

În primul rând, expeditorul și destinatarul efectuează o strângere de mână SSL obișnuită, care le permite să cadă de acord asupra unei chei. Îl folosesc pentru a obține trei chei (de exemplu, folosind un PRNG):

În același timp, UE își realizează propria configurare a conexiunii pentru a-i permite să gestioneze traficul expeditorului și receptorului. În procesul de schimb cu expeditorul și receptorul, PU primește fiecare regulă de la GP, criptată determinist pe cheia k - acest lucru va permite ulterior PU să efectueze detectarea. Totuși, acest schimb are loc în așa fel încât PU să nu cunoască valoarea lui k, iar emițătorul și receptorul nu știu care sunt regulile. Acest schimb se numește reguli de criptare ofuscate și este descris în detaliu în articol.

Spre deosebire de strângerea de mână SSL descrisă mai sus, care este identică cu strângerea de mână SSL obișnuită, regulile de criptare complicate adaugă un nou proces. Deoarece în soluțiile existente, clientul de obicei nu comunică direct cu nodurile DPI (spre deosebire de alte tipuri de noduri intermediare, cum ar fi proxy-urile explicite sau perforarea NAT), acest lucru face prezența DPI complet „invizibilă”, acesta fiind un dezavantaj minor. comparativ cu avantajele utilizării BlindBox.

Se trimite trafic

Pentru a trimite un mesaj, expeditorul trebuie:

(1) Criptați traficul folosind SSL clasic.

(2) Împărțiți traficul în etichete (jetoane) împărțindu-l în subșiruri luate la diferite decalaje și criptați etichetele rezultate folosind schema de criptare DPIEnc.

Detectare

Gazda intermediară primește trafic SSL criptat și etichete criptate. Motorul de descoperire va căuta o potrivire între regulile criptate și etichetele criptate folosind algoritmul de detectare BlindBox. Dacă se găsește o potrivire, se efectuează o acțiune predefinită: aruncați pachetul, închideți conexiunea, notificați administratorul de sistem. După ce descoperirea este finalizată, gazda inteligentă redirecționează traficul SSL și jetoanele criptate către destinatar.

Primirea traficului

Pe partea destinatarului, au loc două lucruri. În primul rând, destinatarul decriptează și autentifică traficul folosind SSL obișnuit. În al doilea rând, destinatarul verifică dacă tokenurile criptate au fost criptate corect de către expeditor. Datorită acestui fapt, chiar dacă o parte încearcă să trișeze, cealaltă parte va putea să o detecteze.

Schema de criptare DPIEnc

Expeditorul criptează fiecare etichetă (token) ca:

Unde „sare” este un număr selectat aleatoriu, iar semnificația RS (de fapt, ReduceSize) este explicată mai jos.

Să demonstrăm necesitatea schemei de criptare DPIEnc. Să presupunem că un nod intermediar a trecut o pereche (r, (r)) pentru fiecare regulă r, dar nu o cheie k. Să începem prin a privi o simplă schemă de criptare deterministă în loc de DPIEnc: să fie textul cifrat al lui t (t). Pentru a verifica dacă t este egal cu cuvântul cheie r, PU poate verifica dacă (t)? = (R). Din păcate, rezultatul va fi o securitate scăzută, deoarece fiecare apariție a lui t va avea același text cifrat. Pentru a rezolva această problemă, trebuie să introducem un element de aleatorie în criptare. Prin urmare, vom folosi o „funcție aleatorie” H cu o sare aleatorie, iar textul cifrat va avea următoarea structură: sare, H (sare, (t)). Desigur, H trebuie să fie unilateral și pseudo-aleatoriu.

Pentru a verifica consistența, nodul intermediar poate calcula H (sare, (r)) pe baza (r) și sare și apoi poate efectua o verificare a egalității. Implementarea tipică a lui H este SHA-1, dar SHA-1 nu este la fel de rapidă precum procesoarele AES moderne sunt implementate în hardware și acest lucru poate reduce debitul. În schimb, BlindBox H este implementat prin AES, dar ar trebui utilizat cu prudență, deoarece AES are proprietăți de securitate diferite. Pentru a atinge proprietățile necesare, este necesar să inițiezi AES pe o cheie necunoscută de nodul intermediar până când este găsită semnătura atacului. De aceea se folosește valoarea (t).

Acum algoritmul este implementat complet pe AES, ceea ce asigură o viteză mare de lucru.

În cele din urmă, RS pur și simplu micșorează dimensiunea textului cifrat pentru a reduce limitarea lățimii de bandă fără a compromite securitatea.

În această implementare, RS este de la 2 la a 40-a putere, ceea ce oferă o lungime a textului cifrat de 5 octeți. Drept urmare, textul cifrat nu mai este decriptat, ceea ce nu este o problemă, deoarece BlindBox decriptează întotdeauna traficul din fluxul SSL primar.

Acum, pentru a determina corespondența dintre cuvântul cheie r și textul cifrat al etichetei t, nodul intermediar calculează folosind sare și cunoștințe (r) și apoi le verifică pentru egalitatea c.

Deoarece, evident, nodul intermediar verifică pentru fiecare regulă r și etichetă t, timpul total petrecut pe etichetă este liniar cu numărul de reguli, ceea ce este prea lent.

Pentru a elimina această întârziere, se introduce un algoritm de detecție, care face ca dependența timpului petrecut de numărul de reguli să fie logaritmică, ca în algoritmii DPI clasici.

Rezultatul este o îmbunătățire semnificativă a performanței: de exemplu, pentru un set de reguli cu 10.000 de cuvinte cheie, căutările logaritmice sunt cu patru ordine de mărime mai rapide decât căutările liniare.

Protocol de descoperire

Starea unui nod intermediar constă din contoare pentru fiecare regulă r și un arbore de căutare rapidă constând din pentru fiecare regulă r.

Știm perfect că cenzura este rea. Dar, în ciuda eforturilor autorităților de a-și spori influența asupra rețelei, acestea sunt încă slabe și adesea proști. V-am spus deja cum. Astăzi vă vom prezenta o altă modalitate de a evita blocarea site-ului folosind tehnologia de bypass DPI (inspecție profundă a pachetelor)

Furnizorii au vulnerabilități DPI. Se întâmplă deoarece regulile DPI sunt scrise pentru programele de utilizator obișnuite, omițând toate cazurile posibile permise de standarde.
Acest lucru se face pentru simplitate și viteză. Nu are rost să prindem hackeri, care sunt 0,01%, pentru că, totuși, aceste încuietori sunt ocolite destul de simplu, chiar și de către utilizatorii obișnuiți.

Unii DPI nu pot recunoaște o solicitare http dacă este împărțită în segmente TCP.
De exemplu, o interogare precum „GET / HTTP / 1.1rnHost: kinozal.tv ……”
trimitem în 2 părți: primul merge "OBȚINE", atunci „/ HTTP / 1.1rnHost: kinozal.tv ... ..”.
Alte DPI se poticnesc atunci când antetul „Gazdă:” este scris într-un caz diferit: de exemplu, „gazdă:”.
Adăugarea unui spațiu suplimentar după ce metoda funcționează aici și acolo: "GET /" => "GET /" sau adăugarea unui punct la sfârșitul numelui de gazdă: „Gazdă: kinozal.tv”.

Cum se implementează bypass b în practică pe un sistem Linux

Cum forțesc sistemul să împartă cererea în părți? Puteți rula întreaga sesiune TCP
printr-un proxy transparent sau puteți modifica câmpul de dimensiune a ferestrei tcp de pe primul pachet TCP primit cu SYN, ACK.
Apoi clientul va crede că serverul a setat o dimensiune mică de fereastră pentru el și va trimite primul segment cu date nu mai mult decât lungimea specificată. Nu vom schimba nimic în pachetele ulterioare.

Comportamentul suplimentar al sistemului în alegerea mărimii pachetelor trimise depinde de algoritmul implementat de acesta. Experiența arată că Linux trimite întotdeauna primul pachet nu mai mult decât lungimea specificată în dimensiunea ferestrei, restul pachetelor de ceva timp nu trimit mai mult de max (36, dimensiunea_specificată).

După un anumit număr de pachete, se declanșează mecanismul de scalare a ferestrei și factorul de scalare începe să fie luat în considerare, dimensiunea pachetului devine nu mai mare de max (36, ramer specificat<< scale_factor).

Nu este un comportament foarte elegant, dar din moment ce nu influențăm dimensiunea pachetelor primite, iar cantitatea de date primite prin http este de obicei mult mai mare decât cantitatea trimisă, vizual vor apărea doar mici întârzieri.

Windows se comportă mult mai previzibil într-un caz similar. Primul segment părăsește lungimea specificată, apoi dimensiunea ferestrei se modifică în funcție de valoarea trimisă în noi pachete tcp. Adică, viteza este aproape imediat restabilită la maximum posibil.

Nu este dificil să interceptați un pachet cu SYN, ACK folosind iptables. Cu toate acestea, capacitatea de a edita pachete în iptables este sever limitată. Nu puteți schimba dimensiunea ferestrei cu module standard.
Pentru aceasta vom folosi facilitatea NFQUEUE. Această facilitate permite
transferați pachete pentru procesare către procesele care rulează în modul utilizator.
Procesul prin acceptarea pachetului îl poate schimba, ceea ce avem nevoie.

iptables - t raw - I PREROUTING - p tcp - sport 80 - tcp - steaguri SYN, ACK SYN, ACK - j NFQUEUE - coada - num 200 - coada - bypass

Va da pachetele necesare procesului care ascultă în coada cu numărul 200. Va schimba dimensiunea ferestrei. PREROUTING va prinde atât pachetele adresate gazdei în sine, cât și pachetele rutate. Adică, soluția funcționează la fel atât pe client, cât și pe router. Pe un router bazat pe PC sau pe un router.
În principiu, acest lucru este suficient.

Cu toate acestea, cu un astfel de impact, va exista o mică întârziere pe TCP. Pentru a nu atinge gazdele care nu sunt blocate de furnizor, puteți face o astfel de mișcare.

Creați o listă de domenii blocate sau descărcați-o de pe rublacklist.
Rezolvați toate domeniile la adrese ipv4. Condu-le într-un ipset numit „zapret”.
Adăugați la regulă:

iptables - t raw - I PREROUTING - p tcp - sport 80 - tcp - steaguri SYN, ACK SYN, ACK - m set - match - set zapret src - j NFQUEUE - coada - num 200 - coada - bypass

In acest fel, impactul se va face doar asupra adreselor ip aferente site-urilor blocate. Lista poate fi actualizată prin cron la fiecare câteva zile.
Dacă este actualizat prin rublacklist, va dura destul de mult timp. Mai mult de o oră. Dar acest proces nu ocupă resurse, deci nu va cauza probleme, mai ales dacă sistemul rulează constant.

Dacă DPI nu este ocolit prin împărțirea cererii în segmente, atunci uneori se declanșează o modificare „Gazdă:” la „gazdă:”... În acest caz, este posibil să nu avem nevoie de un înlocuitor. dimensiunea ferestrei, deci lanțul PRERUUTARE nu avem nevoie de ea. În schimb, agățăm pachetele de ieșire în lanț POSTRUTARE :

iptables - t mangle - I POSTROUTING - p tcp - dport 80 - m set - match - set zapret dst - j NFQUEUE - coada - num 200 - coada - bypass

În acest caz, sunt posibile și puncte suplimentare. DPI poate capta doar prima solicitare http, ignorând solicitările ulterioare ține în viață sesiune. Apoi putem reduce sarcina cu procente refuzând procesarea pachetelor inutile.

iptables - t mangle - I POSTROUTING - p tcp - dport 80 - m set - match - set zapret dst - m connbytes - connbytes - dir = original - connbytes - mode = pachete - connbytes 1: 5 - j NFQUEUE - coada - num 200 - coadă - ocolire

Se întâmplă că furnizorul monitorizează întreaga sesiune HTTP cu solicitări de menținere în viață. În acest caz, nu este suficient să restricționați fereastra TCP atunci când stabiliți o conexiune. Fiecare cerere nouă trebuie trimisă în segmente TCP separate. Această sarcină este rezolvată prin proxy completă a traficului proxy transparent (TPROXY sau DNAT). TPROXY nu funcționează cu conexiuni care provin din sistemul local, așa că această soluție se aplică doar la router. DNAT funcționează și cu conexiuni locale, dar există pericolul de a intra în recursivitate infinită, așa că demonul este pornit ca utilizator separat, iar DNAT este dezactivat pentru acel utilizator prin „-m proprietar”. Proxy-ul complet necesită mai mult CPU decât manipularea pachetelor de ieșire fără a reconstrui conexiunea TCP.

iptables - t nat - I PREROUTING - p tcp - dport 80 - j DNAT - la 127.0.0.1: 1188 iptables - t nat - I OUTPUT - p tcp - dport 80 - m proprietar! - uid - proprietar tpws - j DNAT - la 127.0.0.1: 1188

Folosind Modificatorul de pachete NFQWS

Acest program este un modificator de pachete și un handler de coadă NFQUEUE.
Ia următorii parametri:
— Daemon; demonizează programul
—Qnum = 200; număr de secvență
-Wsize = 4; modificați dimensiunea ferestrei tcp la dimensiunea specificată
— Gazdă; schimbați cazul antetului „Gazdă:”.

Folosind proxy transparent TPWS

tpws este un proxy transparent.
— Adresă-legare; la ce adresa sa asculti. poate fi adresa ipv4 sau ipv6. dacă nu este specificat, ascultă pe toate adresele ipv4 și ipv6
—Port = ; pe ce port să asculți
— Daemon; demonizează programul
— Utilizator = ; schimbarea uid-ului procesului
—Split-http-req = metodă | gazdă; mod de a împărți cererile http în segmente: lângă metodă (GET, POST) sau lângă antetul Host
—Split-poz = ; Împărțiți toate trimiterile în segmente la poziția specificată. Dacă trimiterea este mai lungă de 8Kb (dimensiunea bufferului de primire), atunci fiecare bloc de 8Kb va fi împărțit.
— Gazdă; înlocuire „Gazdă:” => „gazdă:”
— Hostdot; adăugarea unui punct după numele gazdei: „Gazda: kinozal.tv”.
— Spațiul metodologic; adăugați un spațiu după metoda: "GET /" => "GET /"
Parametrii de manipulare pot fi combinați în orice combinație.
Există o excepție: split-pos înlocuiește split-http-req.

Ocolind blocarea site-urilor de la anumiți furnizori.

mns.ru: trebuie să înlocuiți dimensiunea ferestrei cu 4
beeline (corbina): registrul „Gazdă:” trebuie înlocuit pe toată durata sesiunii http.
dom.ru: trebuie să proxy sesiunile HTTP prin tpws cu schimbarea registrului „Host:” și separarea segmentelor TCP din antetul „Host:”.
Ahtung! Domru blochează toate subdomeniile domeniului blocat. Este imposibil să aflați adresele IP ale tuturor subdomeniilor posibile din registru
blocare, deci dacă dintr-o dată apare un banner de blocare pe un site, atunci accesați consola firefox, rețea.

Încărcați site-ul și vedeți unde merge redirecționarea. Apoi adăugați domeniul la zapret-hosts-user.txt. De exemplu, pe kinozal.tv sunt 2 subdomenii solicitate: s.kinozal.tv și st.kinozal.tv cu adrese IP diferite.
sknt.ru: lucru testat cu tpws cu parametrul „—split-http-req = method”. poate că nfqueue va funcționa în timp ce nu există nicio modalitate de a verifica.

tkt:Împărțirea solicitării http în segmente ajută, setările mns.ru sunt potrivite
TKT a fost achiziționat de Rostelecom, iar filtrarea Rostelecom este folosită.
Deoarece DPI nu renunță la sesiunea de intrare, ci doar inserează propriul pachet, care sosește înainte de răspunsul de la serverul real, blocajele sunt, de asemenea, ocolite fără utilizarea „artileriei grele”, cu următoarea regulă:

iptables - t raw - I PREROUTING - p tcp - sport 80 - m șir - hex - șir "| 0D0A | Locație: http://95.167.13.50"- algo bm - j DROP - de la 40 - la 200

Rostelecom: sm tkt

nivel: nivelul în sine nu a interzis nimic până la ultimul. Se pare că operatorul din amonte interzice, eventual telia. Solicitările http împărțite sunt necesare pentru întreaga sesiune.

Modalități de a obține o listă de IP-uri blocate

1) Adăugați domenii blocate la ipset / zapret-hosts-user.txtși fugi ipset / get_user.sh
La iesire vei primi ipset / zapret-ip-user.txt cu adrese IP.

2) ipset / get_reestr.sh primește o listă de domenii de la rublacklist și apoi le rezolvă la adrese IP într-un fișier ipset / zapret-ip.txt... Această listă conține adrese IP gata făcute, dar se pare că sunt acolo exact în forma în care RosKomPozor o introduce în registru. Adresele se pot schimba, este păcat că nu au timp să le actualizeze, iar furnizorii rar interzic prin IP: în schimb, interzic cererile http cu un antet „prost” „Host:”, indiferent de adresa IP. Prin urmare, scriptul va rezolva totul de la sine, deși durează mult.

O cerință suplimentară este cantitatea de memorie din interior / tmp pentru a salva acolo fișierul descărcat, a cărui dimensiune este de câțiva MB și continuă să crească. Pe routere, openwrt / tmp este tmpfs, adică ramdisk.
În cazul unui router cu 32 MB de memorie, s-ar putea să nu fie suficient și vor apărea probleme. În acest caz, utilizați următorul script.

3)ipset / get_anizapret.sh. rapid și fără sarcină pe router primește o foaie cu https://github.com/zapret-info.

Toate variantele scripturilor considerate creează și completează automat ipset.

Opțiunile 2 și 3 apelează suplimentar la opțiunea 1.

Pe routere, nu este recomandat să apelați aceste scripturi de mai multe ori în 2 zile, deoarece salvarea se duce fie la memoria flash internă a routerului, fie, în cazul extroot-ului, la o unitate flash. În ambele cazuri, înregistrarea prea des poate ucide unitatea flash, dar dacă acest lucru se întâmplă cu memoria flash internă, atunci veți ucide pur și simplu routerul.

Forțați actualizarea ipset execute script ipset / create_ipset.sh

Puteți lista domenii în ipset / zapret-hosts-user-ipban.txt. Adresele lor IP vor fi plasate într-un ipset separat „ipban”. Poate fi folosit pentru a forța înfășurarea tuturor conexiunilor la proxy-ul transparent „redsocks”.

Un exemplu de ocolire a blocării site-ului pe Debian 7

Debian 7 conține inițial nucleul 3.2. Nu știe cum să facă DNAT pe localhost.
Desigur, nu puteți lega tpws la 127.0.0.1 și înlocuiți în regulile iptables „DNAT 127.0.0.1” la „REDIRECT”, dar este mai bine să instalați un nucleu mai recent. Este în depozitul stabil:

apt - obțineți actualizare apt - get install linux - imagine - 3.16

Instalați pachete:

Construiți tpws:

Creați linie „0 12 * * * / 2 /opt/zapret/ipset/get_antizapret.sh”... Aceasta înseamnă actualizarea listei la ora 12:00 la fiecare 2 zile.

Porniți serviciul: service zapret start
Incearca sa mergi undeva: http://ej.ru, http://kinozal.tv, http://grani.ru.
Dacă nu funcționează, atunci opriți serviciul zapret, adăugați manual o regulă la iptables,
rulați nfqws în terminalul sub rădăcină cu parametrii necesari.
Încercați să vă conectați la site-uri blocate, urmăriți rezultatul programului.
Dacă nu există niciun răspuns, atunci cel mai probabil este specificat un număr greșit de coadă sau adresa IP de destinație nu este în ipset.

Dacă există o reacție, dar blocarea nu este ocolită, atunci parametrii de ocolire selectați sunt incorecți sau acest instrument nu funcționează în cazul dvs. pe ISP-ul dumneavoastră.

Nimeni nu a spus că va funcționa peste tot.
Încercați să aruncați în wireshark sau „Tcpdump -vvv -X gazdă » , vedeți dacă primul segment TCP este într-adevăr scurt și dacă registrul „Host:” se schimbă.

Un exemplu de ocolire a blocării site-ului pe ubuntu 12.14

Există o configurație gata făcută pentru parvenit: zapret.conf. Trebuie copiat în / etc / initși configurați-l similar cu Debian.
Începerea serviciului: „Începe zapret”
Opriți serviciul: „Opriți zapret”
Ubuntu 12, ca și Debian 7, are un nucleu 3.2. Consultați nota din secțiunea „debian 7”.

Exemplu de ocolire a blocării site-ului pe ubuntu 16, debian 8

Procesul este același ca pentru Debian 7, cu toate acestea, este necesar să se înregistreze scripturile de inițializare cu systemd după ce le-ați copiat în /etc/init.d.
install: / usr / lib / lsb / install_initd zapret
eliminați: / usr / lib / lsb / remove_initd zapret

Un exemplu de ocolire a blocării site-ului pe alte sisteme Linux.

Există mai multe sisteme principale pentru pornirea serviciilor: sysvinit, upstart, systemd.
Setarea depinde de sistemul utilizat în distribuția dvs.
O strategie tipică este să găsești un script sau o configurație pentru lansarea altor servicii și să scrii pe al tău prin analogie, citind documentația de pe sistemul de lansare dacă este necesar. Comenzile necesare pot fi preluate din scripturile propuse.

Configurarea unui firewall pentru a evita blocarea site-ului.

Dacă utilizați un fel de sistem de gestionare a paravanului de protecție, atunci acesta poate intra în conflict cu scriptul de pornire existent. În acest caz, regulile pentru iptables trebuie să fie atașate la firewall-ul dumneavoastră separat de scriptul de pornire tpws sau nfqws.
Așa se rezolvă problema în cazul openwrt, deoarece are propriul sistem de gestionare a firewallului - nfqueue iptables - mod - filter iptables - mod - ipopt ipset curl bind - instrumente

Cea mai mare provocare este compilarea programelor C.
Acest lucru se poate face prin intermediul compilării încrucișate pe orice sistem Linux tradițional.
Citit compila / build_howto_openwrt.txt.
Sarcina ta este să obții ipk fisiere pentru tpws și nfqws.
Copiați directorul "Zapret" v / opt la router.
Instalați ipk. Pentru a face acest lucru, mai întâi copiați pe router ipk la / tmp, Atunci

Aceasta înseamnă actualizarea listei la ora 12:00 la fiecare 2 zile.

Dacă aveți Linux x64, atunci în loc să compilați lanțul de instrumente, puteți utiliza SDK-ul pre-compilat de la dezvoltatorii openwrt.
https://downloads.openwrt.org/
Găsiți versiunea openwrt, găsiți arhitectura, descărcați fișierul „OpenWrt-SDK-*”.
De fapt, acesta este același buildroot, doar că are deja un lanț de instrumente pregătit pentru versiunea necesară de openwrt, arhitectura țintă necesară și sistemul gazdă linux x64.

Binare precompilate

Compilarea pentru routere poate fi o sarcină descurajantă care necesită cercetare și găsirea pe google a erorilor din SDK-ul openwrt.
Nu există niște binare, nu există unele link-uri, ca urmare, SDK-ul poate da erori din cutie. Pentru cele mai comune arhitecturi, sunt colectate binare statice. Vezi binare.

Construirea statică înseamnă că binarik nu depinde de tipul de libc (uclibc sau musl) și de prezența astfel instalat - poate fi folosit imediat.
Dacă doar tipul de procesor este potrivit. ARM și MIPS au mai multe versiuni. Dacă versiunea dvs. afișează erori la pornire, va trebui să o creați singur pentru sistemul dvs.

Ocolind blocarea https

De regulă, trucurile DPI nu ajută la ocolirea blocării https.
Trebuie să redirecționați traficul printr-o gazdă terță parte. Se sugerează să utilizați o redirecționare transparentă prin socks5 folosind iptables + redsocks sau iptables + iproute + openvpn. Configurarea opțiunii redsocks pe openwrt este descrisă în https.txt.

Toate sursele acestei metode pot fi găsite aici - https://github.com/bol-van/zapret

Ultima actualizare până la 18 noiembrie 2016.