Lind një pyetje e natyrshme: cila është më e mirë se schema.org apo JSON-LD? Këtu nuk ka një përgjigje të qartë. Puna me mikro-shënjimin në formatin JSON-LD është më e lehtë dhe më e këndshme se gjithçka me të njëjtin fjalor schema.org në formatin HTML, por ka edhe të metat e veta. Për shembull, motori i kërkimit Google këshillohet të përdorë këtë teknologji për të shënuar faqet e tyre. Por ka probleme me Yandex: ky lloj shënjimi nuk shfaqet ende në rezultatet e kërkimit për shkak të skripteve, megjithëse faqet me shënimin JSON-LD po kontrollohen për vlefshmëri.

Motori i kërkimit Yandex nuk shfaq informacione të shënuara me meta-gjuhën JSON-LD në rezultatet e kërkimit.

Figura 8. Letër nga mbështetja teknike Yandex në lidhje me planet për JSON-LD. Faleminderit përdoruesit për pamjen e ekranit.Oleh Holovkin .

Në këtë rast, duhet të vendosni saktë prioritetet. Nëse keni nevojë për copa të zgjeruara në Yandex dhe Google, atëherë ne përdorim shënimin e vjetër të mirë të schema.org; nëse fokusohemi në Perëndim dhe motori ynë kryesor i kërkimit është vetëm Google, atëherë shënjimi JSON-LD duhet të merret dhe të zbatohet pa vonesë.

Të mirat dhe të këqijat e mikro të dhënave JSON-LD

• Formati është disi më i thjeshtë në krahasim me schema.org;
• Rekomanduar nga Google;
• Ka shtojca cilësore me të cilat motori i WordPress mund të punojë;
• Falë JavaScript, shënimi është "i padukshëm" për përdoruesin mesatar, ndryshe nga HTML;
• Skripti vendoset vetëm në kontejner pa futur linja shtesë kodi në trupin e faqes;
• Është vërtetuar në mjetet zyrtare të verifikimit të Yandex dhe Google.

Si tjetër mund të shënoni një faqe?

Metodat e shënjimit të listuara më sipër lidhen me ndërhyrjen e drejtpërdrejtë në kodin burimor të faqes, por ka metoda të tjera të strukturimit të të dhënave. Këto janë të dhënat kryesore (shënuesi) nga Google dhe "Produktet dhe çmimet" nga Yandex. Duke përdorur këto mjete, ju mund të zgjeroni pjesët e faqeve në rezultatet e kërkimit direkt nga paneli i webmasterit.

Imazhi 9. "Marker" në Search Console dhe shërbimi "Produkte dhe Çmime" nga Yandex.

Shënuesi i Google

Për të filluar shënimin, ju duhet:

1. Shkoni në instrument dhe zgjidhni llojin e të dhënave për shënimin. Për momentin janë vetëm 9 prej tyre:
   • Ngjarjet
   • Organizatat Lokale
   • Rishikimet e Librit
   • Aplikacionet
   • Produktet
   • Restorante
   • Artikuj
   • Seriale televizive
   • Filma

Figura 10. Paneli për zgjedhjen e llojit të informacionit për markup në Search Console.

1. Më pas, Google do të ofrojë të kontrollojë pesë faqe për korrektësinë e shënimit automatik. Nëse gjatë procesit të verifikimit gjenden gabime në shënim, ato mund të korrigjohen. Kushtojini vëmendje të veçantë çmimeve nëse jeni duke shënuar kartat e produkteve, pasi mjeti shpesh bën gabime në shënimin e çmimeve. Nëse mjeti ka shënuar një faqe të një teme tjetër (për shembull, ju keni shënuar kartat e produktit dhe ai ka ofruar të shënojë një faqe kontakti), atëherë kjo faqe mund të fshihet duke përdorur butonin në këndin e sipërm djathtas.

Figura 12. Butoni për të hequr një faqe shënimi të përcaktuar gabimisht në Search Console.

1. Pas kontrollit të mostrave, ne kontrollojmë dy herë listën e faqeve të shënuara dhe publikojmë. Pas përfundimit, Search Console do të shfaqë një listë të të gjitha grupeve të faqeve të etiketuara në faqen tuaj që mund t'i modifikoni ose fshini fare.

Figura 13. Një shembull i një liste të faqeve tashmë të shënuara duke përdorur Google Marker.

Kjo përfundon shënimin me Google Marker. Në këtë rast, nuk ka absolutisht nevojë të dini HTML ose JavaScript, mjafton të shënoni manualisht çdo faqe dhe Google do të përpunojë vetë të dhënat dhe do të bëjë rregullime në fragmentet e kërkimit. Por Marker gjithashtu ka të mirat dhe të këqijat e tij.

Të mirat dhe të këqijat e mikro të dhënave duke përdorur Google Marker

• Shënimi pa ndërhyrë në kodin burimor të faqeve;
• Mjeti ndodhet drejtpërdrejt në Google Search Console;
• Faqet vendosen gjysmë automatikisht;
• Ju mund të gruponi faqet sipas llojit;

• Shënimi do të shfaqet vetëm në rezultatet e kërkimit të Google;
• Mjeti jo gjithmonë shënon saktë informacionin;
• Ka shumë punë manuale kur shtroni një sit të madh.

Shërbimi Yandex "Produktet dhe Çmimet"

Në vetvete, ky mjet nuk lidhet plotësisht me kuptimin e zakonshëm të shënimit të faqeve, pasi zakonisht përdoret në Yandex për të ngarkuar informacione rreth një produkti në Yandex.Market në formatin YML. Mjaft e çuditshme, Yasha ishte në gjendje të gjente një përdorim për këtë lloj informacioni të produktit, dhe tani rezultatet e kërkimit organik shpesh përfshijnë faqet e shënuara me këtë shërbim. Karakteristika kryesore e "Produkteve dhe Çmimeve" është shfaqja në rezultatet e kërkimit Yandex të çmimit për një produkt/shërbim në të djathtë të lidhjes me sitin.

Figura 14. Një shembull i shfaqjes së çmimit të një shërbimi në rezultatet e kërkimit Yandex me shërbimin e lidhur "Produkte dhe Çmime".

Shërbimi "Produktet dhe Çmimet" mund të përdoret jo vetëm nga dyqanet online, por edhe nga organizatat që ofrojnë shërbime. Në këtë rast, do t'ju duhet të krijoni manualisht dokumentin YML.

Pra, për të lidhur shërbimin "Produktet dhe Çmimet" në Yandex, ju duhet:

1. Shtoni faqen tuaj te webmaster Yandex dhe shkoni te shërbimi "Produktet dhe Çmimet";

1. Atëherë duhet të pranoni kushtet e marrëveshjes, nëse ky shërbim nuk ishte i lidhur më parë me sitin.

Figura 15 sugjeron Yandexnjohin me formatin YML dheudhëheqja me lidhje.

Të mirat dhe të këqijat e mjetit Yandex Products and Prices

• Dallon fort faqen nga konkurrentët e tjerë në kërkim, rrit CTR;
• Përdoruesi, përpara se të shkojë në sit, merr informacion në lidhje me koston e shërbimit / produktit;
• Përveç çmimit, në dokumentin YML tregohen parametra të tjerë, të cilët gjithashtu merren parasysh gjatë formimit të një fragmenti;
• Në motorët më të njohur të faqeve, skedari gjenerohet automatikisht ose gjysmë automatikisht.

• Rezultatet me çmime do të jenë të dukshme vetëm në rezultatet e kërkimit Yandex;
• Ngarkimi i dokumentit YML nuk ofrohet në të gjitha CMS;
• Me ndryshime të shpeshta të çmimeve në sit, kërkohet gjenerimi i rregullt i një dokumenti;
• Konsumon kohë nëse duhet të shënoni manualisht një numër të madh faqesh.

Mjete për të punuar me shërbimin e produkteve dhe çmimeve Yandex

Ndryshe nga Google Marker, puna me një skedar YML kërkon mjetet e mëposhtme për të punuar:

• Lista e motorëve të faqes me aftësinë për të ngarkuar dokumente YML;
• YML-gjenerues i dokumenteve për gjenerimin manual të skedarëve;

Rezultati

Zbatimi i shënimit të strukturuar të të dhënave është një hap i rëndësishëm që mund të rrisë më pas CTR-në e një siti në kërkim dhe të përmirësojë shfaqjen e përmbajtjes në rezultatet e kërkimit. Ka disa mënyra për të shënuar faqen tuaj, por për momentin më e provuara është zbatimi i shënjimit schema.org, pasi pjesa tjetër e metodave ose kanë funksionalitet të kufizuar, ose janë shënuar brenda të njëjtit motor kërkimi.

Çdo metodë e shënimit të të dhënave ka avantazhet dhe disavantazhet e saj; përpara se të filloni zbatimin, duhet të vlerësoni me maturi aftësitë tuaja dhe të zgjidhni opsionin më të mirë. Metodat individuale të shënimit mund të kombinohen me njëra-tjetrën, për shembull, Open Graph nga schema.org dhe "Produktet dhe Çmimet" nga Yandex. Dhe mbani mend: prania e mikro-shënjimit në sit nuk garanton një ndryshim në fragmentin e kërkimit në SERP, para së gjithash e bën më të lehtë për motorët e kërkimit skanimin e sajtit.

Artikulli është përgatitur nga: Abdullin Konstantin, Teknolog i kompanisë SEO ekspert në faqen e internetit

Tema 4.7

Programimi i algoritmit
formësimin dhe përpunimin
vargjeve njëdimensionale

Të dhëna të strukturuara

Shpesh është e nevojshme të përpunohen jo të dhëna të vetme, por një koleksion të dhënash të të njëjtit lloj. Për shembull, detyra funksioni i tabelimit , i cili konsiston në marrjen e një sekuence vlerash të një funksioni të caktuar për disa vlera të argumentit. Për ruajtjen e ndërmjetme të secilës vlerë të të dhënave të marra, duhet të deklaroni variablin tuaj me një emër unik.

Thirrja e çdo ndryshoreje në sekuencë me emër kthehet në një varg të gjatë operacionesh të të njëjtit lloj me secilën ndryshore. Kodi i programit bëhet i vështirë për t'u parë. Një program i tillë kërkon shumë memorie për tu akomoduar.

Për të eliminuar këto probleme, gjuhët algoritmike përdorin të dhëna të strukturuara. Të dhënat më themelore të strukturuara janë vargje të dhënash .

ArrayËshtë një grup variablash të të njëjtit lloj ( elementet e grupit ). Të gjitha variablat kanë të njëjtin emër, dhe një identifikues shtesë përdoret për të hyrë në një element specifik të grupit - numrin e tij rendor (indeksin), i cili fillon nga 0.

Përveç vargjeve në programim, struktura të tjera standarde të të dhënave mund të përdoren për të ndërtuar algoritme efikase, të tilla si struktura të dhënash si p.sh. rafte, radhë, lista të lidhura tjera.

Së bashku me strukturat standarde të të dhënave, mund të përdoren struktura të dhënash të përcaktuara nga përdoruesi. Këto struktura të dhënash përcaktohen me anë të programimit të orientuar drejt objektit duke përdorur klasat .

4.7.2. Mjete për përshkrimin dhe punën me njëdimensionale
grupet e të dhënave

Array- një sekuencë variablash të të njëjtit lloj, të bashkuar nga një e përbashkët në emër ... Për shembull: grup njëdimensional a (9) përbëhet nga 10 elementë me një emër të përbashkët a: a (0), a (1), a (2), a (3), ..., a (9), renditur sipas indeksit i , e cila merr vlera nga 0 në 9:

a (i)
i

Një grup në një program VB deklarohet në të njëjtën mënyrë si deklarohen variablat e thjeshtë. Nëse grupi është i deklaruar lokal , mund të përdoret vetëm në procedurën në të cilën deklarohet. Nëse vargu deklarohet si globale , mund të përdoret kudo në program.

Kur deklaroni një grup, deklarata e deklaratës duhet të përfshijë informacionin e mëposhtëm:

· emri i grupit - emri (identifikuesi), i cili përdoret për të përfaqësuar grupin në program;

· lloji i të dhënave - llojin e të dhënave që kanë elementet e grupit;

· dimension (gradë) - numri i dimensioneve të grupit të deklaruar (d.m.th. numri i indekseve gjatë deklarimit; vargjet njëdimensionale kanë një dimension);

· sasia e elementeve - numri i elementeve që do të përmbahen në grup.

Le të shqyrtojmë shembuj të disa përshkrimeve të vargjeve:

Këta shembuj deklarojnë vargjet e mëposhtme:

Vargu njëdimensional d, i përbërë nga 31 elementë të tipit Numër i plotë me indekse nga 0 në 30;

Vargu njëdimensional a, i përbërë nga 11 elementë të tipit Dyfishtë me indekse nga 0 në 10;

· grup dydimensional b, i përbërë nga 14x11 = 151 elementë të tipit Beqare me indekse në rreshtat nga 0 në 13 dhe në kolonat nga 0 në 10.

Vini re se vlera e kufirit të poshtëm të grupit nëVBmund të jetë vetëm 0 .

Kështu, një grup përbëhet nga elementë me të cilët mund të aksesohet tregues ... Gjatë qasjes në elementet e grupit tregues shkruhen pas emrit në kllapa dhe mund të jenë çdo shprehje e vlefshme e numrit të plotë. Për shembull, d (24), a (2 * i + 1).

Vini re se numri i indekseve tregon dimensionin e grupit. Pra, në shembullin e mësipërm, dimensioni i grupit është një (10)është e barabartë me një. Array b (2,3) ka dimensionin 2.

Ndryshe nga dimensionet , madhësia e grupit Është numri i elementeve në grup. Në shembullin tonë, madhësia e grupit, një (10)është e barabartë me 11.

Përpara se të përdorni një grup në një program, ai duhet të deklarohet duke përdorur operatorin Dim, dhe caktoni vlera specifike për elementët e grupit. Operatori Dim cakton hapësirën e memories kompjuteri për të alokuar elementet e vargjeve, zero elementet e vargjeve numerike ose mbush elementet e vargjeve të vargjeve me vargje boshe ("" "").

Ashtu si me llojet e thjeshta të të dhënave, kur deklarohen vargje, të cilat janë lloje të të dhënave të strukturuara, ekzistojnë dy mënyra për të shpërndarë kujtesën: statike - në fazën e përpilimit para ekzekutimit të programit, dhe dinamike - gjatë ekzekutimit të programit. Si parazgjedhje, një grup, kufijtë e të cilit janë specifikuar me shprehje konstante konsiderohet statike. Kujtesa për vendosjen e një grupi të tillë ndahet në fazën e përpilimit dhe ruhet pas saj për të gjithë periudhën e ekzekutimit.

Ju mund të plotësoni elementet e grupit me vlera specifike duke përdorur hyrje vlerat e elementeve të grupit duke përdorur operatorin detyrat ose duke përdorur inicializimi elementet e grupit.

Inicializimi elementet e grupit është një caktim i një vlere sipas elementit në një deklaratë të deklarimit të vargut. Në këtë rast, madhësia e grupit nuk tregohet në kllapa pas emrit të grupit, por përcaktohet në mënyrë implicite nga madhësia e listës së vlerave. Lista e vlerave fillon në elementin me indeksin 0 dhe është e mbyllur me kaçurrelë kllapa , Për shembull:

Duhet të theksohet se pavarësisht nga detyra specifike, algoritmet për formimin dhe përpunimin e vargjeve zakonisht ndërtohen duke përdorur struktura të rregullta ciklike:

Për ta bërë më të lehtë punën me vargje në procedura, funksioni i integruar përdoret për të përcaktuar kufirin e sipërm të një grupi
I lidhur(Emri i grupit).

Ky funksion kthen (përcakton) numrin e elementit të fundit të grupit dhe ju lejon të përpunoni vargje në procedura pa ua kaluar numrin e elementeve të grupit si parametër. Për shembull,

Përveç kësaj, për të përcaktuar kufirin e sipërm të një grupi njëdimensional, mund të përdorni metodën GetUpperBound (). Meqenëse grupi është njëdimensional, vlera 0 duhet të specifikohet në kllapa. Për shembull:

Përveç kësaj, dihet se kryefjala ByVal specifikon kalimin e një argumenti të grupit sipas vlerës dhe fjalës kyçe ByRef tregon se argumenti i grupit kalohet me referencë. Vini re se nëse fjalët kyçe ByVal ose ByRef i anashkaluar, argumenti i grupit kalohet me referencë.

Kështu, kur përshkruhen parametrat formalë të çdo procedure pas Emri i grupitduhet të përfshini gjithmonë kllapa boshe pasi ato tregojnë se ky parametër është një grup njëdimensional.

Vini re se nuk ka kllapa pas emrit të grupit që është parametri aktual.

Siç e dini, kalimi i argumenteve sipas vlerës (duke përdorur fjalën kyçe ByVal) bën që VB të kalojë një kopje të të dhënave në procedurë. Prandaj, nuk duhet të kaloni vargje sipas vlerës nëse nuk keni vërtet nevojë.

Informatikë 2017

Mësues: Makhno K.V.

Tema e mësimit: “Skedarët dhe përpunimi i tyre. Të dhëna të strukturuara "

Synimi: të njohë nxënësit me konceptin e një vargu, të shqyrtojë teknikat e punës me këto lloj vargjesh.

Objektivat e mësimit:

arsimore- zhvillimi i interesit njohës, të menduarit logjik.

Trajnimi- të njihet me konceptin e një vargu, të studiojë dhe të konsolidojë aftësitë bazë të punës me vargje.

në zhvillim- zhvillimi i të menduarit logjik, kujtesa, vëmendja, zgjerimi i horizonteve.

Lloji i mësimit : mësimi - mësimi i materialit të ri.

Pamje : mësim - ligjëratë.

Teknologjia : problematike - kërkimore.

Pajisjet : postera që përshkruajnë sintaksën e vargjeve në të tre gjuhët e programimit të përdorura, një tabelë interaktive, një projektor.

Plani i mësimit

Koha e organizimit.

Mësimi i një teme të re.

Faza e përgjithësimit, sistemimit të njohurive dhe konsolidimit të asaj që është mësuar.

Duke përmbledhur, detyrat e shtëpisë.

Gjatë orëve të mësimit

Sot në mësim, ne duhet të paraqesim një pamje tërësore të llojeve të të dhënave të gjuhës Pascal. Përgatituni për të marrë informacionin me kujdes. Gjatë ligjëratës do të shfaqet një prezantim në të cilin shfaqen pika të rëndësishme të temës. Ju duhet t'i shkruani ato në fletoren tuaj.

Funksionimi i çdo programi shoqërohet me përpunimin e të dhënave. Të dhënat që do të përpunohen quhen të dhëna burimore dhe zakonisht vendosen në fillim të programit. Programi gjatë ekzekutimit mund të kërkojë të dhënat burimore që mungojnë.

Gjatë ekzekutimit të programit, të dhënat origjinale shndërrohen në rezultate.

Çdo element i të dhënave që përdoret në një program është një konstante ose variabël.

Llojet e strukturuara të të dhënave përcaktojnë një koleksion të renditur të variablave skalare dhe karakterizohen nga lloji i përbërësve të tyre.

Llojet e strukturuara të të dhënave, ndryshe nga llojet e thjeshta të të dhënave, përcaktojnë grupe vlerash komplekse me një emër të vetëm të përbashkët. Mund të themi se llojet strukturore përcaktojnë një mënyrë të caktuar të formimit të llojeve të reja nga ato ekzistuese.

Ka disa metoda strukturimi. Sipas mënyrës së organizimit dhe llojit të komponentëve në llojet komplekse të të dhënave, dallohen këto varietete: tipi i rregullt (vargje); tip i kombinuar (rekorde); lloji i skedarit (skedarët); lloji i shumësit (bashkësitë); lloji i vargut (strings); në versionin Turbo Pascal 6.0 e më vonë, prezantohet një lloj objekti (objekte).

Në ndryshim nga llojet e thjeshta të të dhënave, të dhënat e një lloji të strukturuar karakterizohen nga një mori elementesh që formojnë këtë lloj, d.m.th. një variabël ose konstante e tipit të strukturuar ka gjithmonë komponentë të shumtë. Çdo komponent, nga ana tjetër, mund t'i përkasë një lloji të strukturuar, d.m.th. foleja e llojeve është e mundur.

Të gjitha llojet e të dhënave të strukturuara kërkojnë shqyrtim të veçantë dhe do të studiohen në detaje nga ne në të ardhmen, dhe sot ne do t'i përcaktojmë vetëm ato.

Vargjet. Një varg është një sekuencë karakteresh në tabelën e kodit të kompjuterit personal. Numri i karaktereve në një rresht mund të ndryshojë nga 0 në 255.

Vargjeve. Llojet e thjeshta përcaktojnë grupe të ndryshme vlerash të pandashme. Në të kundërt, llojet e strukturuara përcaktojnë grupe vlerash komplekse, secila prej të cilave formon një koleksion të disa vlerave të një lloji të ndryshëm. Në llojet e strukturuara, dallohet një lloj i rregullt (vargje - vargje). Vargjet emërtohen tip (ose rreshta) të rregullt sepse kombinojnë elementë të të njëjtit lloj, të renditur (rregulluar) nga indekset që përcaktojnë pozicionin e secilit element në grup.

Komplete. Një grup është një lloj i strukturuar i të dhënave që është një grup objektesh që janë të ndërlidhura nga një atribut ose grup atributesh, të cilat mund të konsiderohen si një e tërë. Çdo objekt në grup quhet element i shumë... Të gjithë elementët e grupit duhet t'i përkasin njërit prej llojeve skalare, përveç atij real.

Regjistrimet. Për të regjistruar një kombinim të objekteve të llojeve të ndryshme në Pascal, përdoret një lloj i kombinuar i të dhënave - një rekord. Për shembull, një produkt në një magazinë përshkruhet nga vlerat e mëposhtme: emri, sasia, çmimi, disponueshmëria e një certifikate cilësie, etj. Në këtë shembull, emri është një vlerë e llojit të vargut, sasia është një numër i plotë, çmimi është real dhe prania e një certifikate është boolean.

Një rekord është lloji më i përgjithshëm dhe më fleksibël i të dhënave të strukturuara, pasi ai mund të formohet nga komponentë heterogjenë dhe shpreh në mënyrë eksplicite marrëdhënien midis elementeve të të dhënave që karakterizojnë një objekt real.

Skedarët. Grupe të mëdha të dhënash ruhen lehtësisht në memorien e jashtme si një sekuencë sinjalesh. Në Pascal, për këto qëllime sigurohen objekte të veçanta - skedarë (skedar). Një skedar është një koleksion i të dhënave të regjistruara në memorie të jashtme nën një emër të caktuar.

Shqyrtoni problemin e deklarimit të variablave dhe konstantave të tipit skalar.

Kur filloni të zgjidhni problemet në deklarimin e të dhënave skalare, duhet të mbani mend se:

· Çdo variabël i programit duhet të deklarohet;

· Deklaratat e variablave vendosen në një seksion që fillon me fjalën var; konstantet vendosen në një seksion që fillon me fjalën const; variablat e llojeve të përcaktuara nga përdoruesi (të numëruar dhe interval) deklarohen sipas një skeme të veçantë;

Në emër të një ndryshoreje, mund të përdorni shkronja të alfabetit latin dhe numra (karakteri i parë duhet të jetë një shkronjë);

Deklarata për deklarimin e konstantave duket si kjo: ConstName = vlerë konstante;

Shembull:

min = 1; (vlera minimale)

max = 54; (vlera maksimale)

// Deklarata e deklarimit të ndryshores duket kështu: emri Emri i ndryshores: lloji;

k1: numër i plotë; (numri i fletoreve)

k2: byte; (numri i lapsave)

c1: real; (çmimi i një fletoreje)

// Deklarata për deklarimin e variablave të një lloji interval vendoset në dy seksione të tipit var dhe duket kështu:

ditë = 1..31; (ditët e muajit)

rabotday: ditë; (ditë pune)

vihodday: ditë; (fundjavë)

// Deklarata për deklarimin e variablave të një lloji të numëruar vendoset në dy seksione të tipit var dhe duket kështu:

ditë = (e hënë, e hënë, e mërkurë, e enjte, e premte, e shtunë, e diel); (ditë)

ditë: ditë; (ditet e javes)

sezoni: (maj, prill, juin); (ditët e pushimeve)

Detyre shtepie:

Përgatitni një mesazh për çdo program aplikimi.

Çdo ndërmarrje ka shumë baza të të dhënave të ndryshme që plotësohen nga burimet e të dhënave të strukturuara. Të dhëna të strukturuara - të dhëna që futen në bazat e të dhënave në një formë specifike, për shembull, spreadsheets Excel, me fusha të përcaktuara rreptësisht. Kompleti i bazave të të dhënave të ndërmarrjeve quhet Enterprise Data Warehouse (EDW) në literaturën angleze - fjalë për fjalë "data warehouse". Në literaturën në gjuhën ruse, ende nuk kam hasur në një analog të këtij termi, kështu që le ta quajmë atë "depo të të dhënave të ndërmarrjes". Për bukurinë, ne do të përdorim shkurtesën angleze EDW.

Burimet e strukturuara të të dhënave janë aplikacione që kapin të dhëna nga transaksione të ndryshme. Për shembull, mund të jetë CDR në rrjetin e operatorit, njoftimet për dështimet e rrjetit (biletat e problemeve), transaksionet financiare në llogaritë bankare, të dhënat e sistemit ER (Enterprise Resource Planning), të dhënat e programit të aplikacionit, etj.

Business Intelligence BI (Business Intelligence) është një komponent i përpunimit të të dhënave. Këto janë aplikacione, mjete dhe shërbime të ndryshme që ju lejojnë të analizoni të dhënat e mbledhura në EDW dhe të merrni vendime bazuar në to. Këto janë sisteme për gjenerimin e raporteve operacionale, pyetjeve selektive, aplikacioneve OLAP (On-Line Analytical Processing), të ashtuquajturat. "Analitikë përçarëse", analiza parashikuese dhe sisteme vizualizimi të të dhënave. E thënë thjesht, menaxheri duhet ta shohë procesin e biznesit në një formë të lehtë për t'u kuptuar, më e mira nga të gjitha grafike dhe e animuar, në mënyrë që të marrë shpejt vendimet optimale. Ligji i parë i biznesit: vendimi i duhur është një vendim i marrë në kohë. Nëse vendimi i duhur për ditën e djeshme merret sot, nuk është fakt se është ende i saktë.

Por, çka nëse burimet e të dhënave janë të pastrukturuara, heterogjene, të marra nga burime të ndryshme? Si do të funksionojnë sistemet analitike me to? Provoni të zgjidhni me miun disa qeliza me të dhëna në tabelën Excel dhe ngjitni në një redaktues të thjeshtë teksti (për shembull, Notepad) dhe do të shihni se çfarë janë "Të dhënat e pastrukturuara". Shembuj të të dhënave të pastrukturuara: email, media sociale, të dhëna XML, skedarë video, audio dhe imazhe, të dhëna GPS, imazhe satelitore, të dhëna sensori, regjistra në ueb, të dhëna të dorëzimit, etiketa RFID, dokumente PDF...

Për të ruajtur një informacion të tillë në qendrat e përpunimit të të dhënave (DC), përdoret një sistem skedari i shpërndarë Hadoop, HDFS (Hadoop Distributed File System). HDFS mund të ruajë të gjitha llojet e të dhënave: të strukturuara, të pastrukturuara dhe gjysmë të strukturuara.

Aplikacionet Big Data për inteligjencën e biznesit nuk janë vetëm një komponent i përpunimit, por edhe me të dhëna, të strukturuara dhe jo. Ato përfshijnë aplikacione, mjete dhe shërbime që ju ndihmojnë të analizoni sasi të mëdha të dhënash dhe të merrni vendime bazuar në të dhënat Hadoop dhe sisteme të tjera të ruajtjes jo-relacionale. Ai nuk përfshin aplikacionet tradicionale të analitikës BI, as nuk përfshin mjete shtesë për vetë Hadoop.

Përveç kësaj, MapReduce është një komponent thelbësor i Hadoop. Ai është krijuar për të menaxhuar burimet dhe përpunimin e të dhënave në Hadoop për të siguruar ruajtje të besueshme dhe vendosje të optimizuar të të dhënave në qendrat e të dhënave të shpërndara gjeografikisht. Sistemi MapReduce përbëhet nga dy komponentë kryesorë - Mar, i cili shpërndan blloqe të dyfishta të të dhënave të pastrukturuara nëpër nyje të ndryshme të sistemit të ruajtjes (në mënyrë që të ruhet informacioni në mënyrë të besueshme) dhe Reduce, një komponent për fshirjen e të dhënave identike, të dyja për të reduktuar kërkohet vëllimi total i ruajtjes dhe rritja e korrektësisë.veprimet e mëvonshme mbi të dhënat. MapReduce është i jashtëzakonshëm në atë që përpunon të dhënat aty ku ruhen (d.m.th. në HDFS), në vend që t'i zhvendosë diku për përpunim, dhe më pas t'i shkruajë rezultatet diku tjetër, gjë që zakonisht bëhet në EDW të zakonshme ... MapReduce ka gjithashtu një sistem të integruar të rikuperimit të të dhënave, d.m.th. nëse një nyje ruajtëse dështon, MapReduce e di gjithmonë se ku të shkojë pas një kopjeje të të dhënave të humbura.

Megjithëse shpejtësia e përpunimit të të dhënave MapReduce është një rend i madhësisë më i lartë se metodat tradicionale të përpunimit me "nxjerrje" të të dhënave, megjithatë, për shkak të sasive të pakrahasueshme të të dhënave (për këtë arsye ato janë të dhëna të mëdha), MapReduce zakonisht përdor përpunimin paralel të të dhënave. rrjedhat (modaliteti i grupit). Në Hadoop 2.0, funksioni i menaxhimit të burimeve është i ndarë në një funksionalitet të veçantë (i quajtur YARN), kështu që MapReduce nuk është më një pengesë në Big Data.

Kalimi në sistemet e të dhënave të mëdha nuk do të thotë aspak që EDW tradicionale duhet të hiqet. Përkundrazi, ato mund të përdoren së bashku për të përfituar nga të dyja, si dhe për të nxjerrë vlera të reja biznesi përmes sinergjive të tyre.

Për çfarë është e gjithë kjo.

Besohet gjerësisht në mesin e konsumatorëve të pajisjeve të IT dhe telekomit se të gjitha këto kombinime spektakolare të fjalëve dhe shkronjave të huaja - Cloud Computing, Big Data dhe IMS të tjera të ndryshme me çelsin e butë janë shpikur nga furnitorë dinakë pajisjesh për të ruajtur kufijtë e tyre. Dmth të shtyjë, shtyjë dhe shtyjë zhvillime të reja. Përndryshe, plani i shitjeve nuk do të përmbushet dhe Bill Jobs Chambers do të thotë "ay-ay-ay". Dhe "primi u mbulua në tremujor."

Prandaj, le të flasim për nevojën për të gjitha këto dhe tendencat.

Ndoshta, shumë nuk e kanë harruar ende virusin e tmerrshëm të gripit H1N1. Kishte frikë se ai mund të ishte edhe më i fortë se gripi spanjoll i vitit 1918, kur numri i të vdekurve ishte në dhjetëra milionë. Megjithëse mjekët duhej të raportonin rregullisht për rritjen e incidencës së sëmundjeve (dhe ata e bënë), analiza e këtij informacioni u vonua me 1-2 javë. Dhe vetë njerëzit aplikonin, si rregull, 3-5 ditë pas fillimit të sëmundjes. Domethënë, masat u morën, në përgjithësi, në mënyrë retroaktive.

Varësia kohore e vlerës së informacionit është zakonisht në formën e një kurbë në formë U.

Informacioni është më i vlefshëm ose menjëherë pasi të merret (për marrjen e vendimeve operacionale), ose pas njëfarë kohe (për analizën e trendit).

Google, i cili ruan një histori të gjatë pyetjesh, vendosi të analizojë 50 milionë pyetjet më të njohura nga pikat e nxehta të epidemive të mëparshme të gripit dhe t'i krahasojë ato me të dhënat nga statistikat mjekësore gjatë këtyre epidemive. U zhvillua një sistem për vendosjen e një korrelacioni midis frekuencës së pyetjeve të caktuara dhe u gjetën 40-50 pyetje tipike. Koeficienti i korrelacionit arriti në 97%.

Në vitin 2009 u bë i mundur shmangia e pasojave të rënda të epidemisë H1N1, pikërisht sepse të dhënat u morën menjëherë dhe jo pas 1-2 javësh, kur nuk do të kishte më turma nëpër poliklinika në vendet e epidemisë. Ky ishte ndoshta përdorimi i parë i teknologjisë së të dhënave të mëdha, megjithëse nuk quhej ende kështu në atë kohë.

Dihet që çmimi i një bilete ajrore është një gjë shumë e paparashikueshme dhe varet nga shumë faktorë. Kohët e fundit u gjenda në një situatë ku ishte e mundur të blija të njëjtën biletë të klasit ekonomik të së njëjtës linjë ajrore për në të njëjtin qytet në dy opsione të mundshme. Për një fluturim që niset në mbrëmje në tre orë, një biletë kushton 12 mijë rubla, dhe për mëngjesin e hershëm të nesërm - 1500 rubla. E përsëris, ka vetëm një linjë ajrore dhe madje një aeroplan në të dy fluturimet e të njëjtit lloj. Zakonisht, sa më afër të jetë koha e nisjes, aq më i shtrenjtë është çmimi i biletës. Shumë faktorë të tjerë ndikojnë gjithashtu në çmimin e biletës - një herë një agjent rezervimi më shpjegoi thelbin e kësaj morie tarifash, por unë ende nuk kuptova asgjë. Mund të ketë raste kur çmimi i biletës, përkundrazi, bie, nëse kur afrohet data e nisjes, ka shumë vende të pashitura, në rast të ndonjë promovimi, etj.

Një ditë, Oren Entsioni, drejtor i programit të inteligjencës artificiale në Universitetin Shtetëror të Uashingtonit, ishte gati të fluturonte për në dasmën e vëllait të tij. Duke qenë se dasmat zakonisht planifikohen paraprakisht, ai e bleu biletën menjëherë, shumë përpara nisjes. Bileta ishte vërtet e lirë, shumë më lirë se zakonisht kur bleu një biletë udhëtimi urgjent. Në fluturim, ai u mburr me fqinjin e tij se sa lirë kishte arritur të blinte një biletë. Doli që bileta e fqinjit ishte edhe më e lirë dhe ai e bleu më vonë. Nga zhgënjimi, z. Entsioni organizoi një sondazh të improvizuar të opinionit pikërisht në kabinë për çmimet e biletave dhe datat e blerjes. Shumica e pasagjerëve paguanin më pak se Entsioni dhe thuajse të gjithë e blenë biletën më vonë se ai. Ishte shumë e çuditshme. Dhe Entsioni, si një profesionist, vendosi të merret me këtë problem.

Duke blerë një mostër prej 12,000 transaksionesh nga faqja e internetit e një agjencie udhëtimi, ai krijoi një model parashikimi për biletat ajrore. Sistemi analizoi vetëm çmimet dhe datat pa marrë parasysh asnjë faktor. Vetëm "çfarë" dhe "sa", pa analizuar "pse". Prodhimi ishte një probabilitet parashikues për një ulje ose rritje të çmimit të një fluturimi, bazuar në historinë e ndryshimeve të çmimeve për fluturimet e tjera. Si rezultat, shkencëtari themeloi një firmë të vogël këshillimi Farecast (një lojë me fjalë: Tarifa - tarifë, çmim; Parashikim - parashikim) për parashikimin e çmimeve të avionëve, bazuar në një bazë të dhënash të madhe të rezervimeve të fluturimeve, të cilat, natyrisht, nuk dhanë Saktësia 100% (e cila tregohet në marrëveshjen e përdoruesit), por me një shkallë të arsyeshme probabiliteti ajo mund t'i përgjigjet pyetjes, të blinte një biletë tani ose të presë. Për t'u mbrojtur më tej nga paditë, sistemi lëshoi ​​edhe një "rezultat të vetëbesimit" diçka e tillë: "Me një probabilitet prej 83.65%, çmimi i biletës do të jetë më i ulët në tre ditë".

Më pas Microsoft bleu Farecast për disa miliardë dollarë dhe ndërtoi modelin e tij në motorin e tij të kërkimit Bing. (Dhe, siç ndodh më shpesh me Microsoft-in, asgjë tjetër nuk dëgjohet për këtë funksionalitet, sepse shumë pak njerëz e përdorin këtë Bing, dhe ata që e përdorin atë nuk dinë asgjë për këtë funksion).

Këta dy shembuj tregojnë se si përfitimet shoqërore dhe ekonomike mund të nxirren nga analiza e të dhënave të mëdha.

Çfarë është e njëjta gjë - Big Data?

Nuk ka një përkufizim të rreptë për "të dhëna të mëdha". Me ardhjen e teknologjive për të punuar me sasi të mëdha të dhënash, për të cilat nuk kishte memorie të mjaftueshme në një kompjuter dhe ato duhej të ruheshin diku (MapReduce, Apache Hadoop), u bë i mundur operimi me sasi shumë më të mëdha të dhënash se më parë. . Megjithatë, të dhënat mund të jenë të pastrukturuara.

Kjo bën të mundur braktisjen e kufizimeve të të ashtuquajturve. “Mostra përfaqësuese”, mbi bazën e të cilave bëhen përfundime në shkallë më të gjerë. Analiza e kauzalitetit zëvendësohet nga analiza e korrelacioneve të thjeshta: nuk analizohet "pse", por "çfarë" dhe "sa". Kjo ndryshon rrënjësisht qasjet e vendosura mirë për mënyrën e marrjes së vendimeve dhe analizës së situatës.

Ka dhjetëra miliarda transaksione në tregjet e aksioneve çdo ditë, nga të cilat rreth dy të tretat e tregtimeve zgjidhen duke përdorur algoritme kompjuterike të bazuara në modele matematikore duke përdorur sasi të mëdha të dhënash.

Në vitin 2000, sasia e informacionit të dixhitalizuar përbënte vetëm 25% të sasisë totale të informacionit në botë. Deri më sot, sasia e informacionit të ruajtur në botë është në rendin e zetabajtit, nga të cilat më pak se 2% janë informacione jo dixhitale.

Sipas historianëve, nga viti 1453 deri në vitin 1503 (mbi 50 vjet), u shtypën rreth 8 milionë libra. Kjo është më shumë se të gjithë librat e shkruar me dorë të shkruar nga skribët që nga lindja e Krishtit. Me fjalë të tjera, u deshën 50 vjet për të dyfishuar afërsisht fondin e informacionit. Sot kjo ndodh çdo tre ditë.

Për të kuptuar vlerën e “big data” dhe si funksionon, le të japim një shembull të thjeshtë. Para shpikjes së fotografisë, për të vizatuar një portret të një personi, duheshin nga disa orë në disa ditë apo edhe javë. Në të njëjtën kohë, artisti bëri një numër të caktuar goditjesh ose goditjesh, numri i të cilave (për të arritur një "ngjashmëri portreti") mund të matet në qindra e mijëra. Në të njëjtën kohë, ishte e rëndësishme SI të vizatohej, si të vendoseshin bojëra, si të çeleshin etj. Me shpikjen e fotografisë, numri i "kokrrave" në fotografinë analoge, apo numri i "pikselëve" në fotografinë dixhitale, ka ndryshuar nga disa rend të madhësisë, dhe nuk ka rëndësi SI t'i rregulloni ato - për ne kamera e bën këtë.

Sidoqoftë, rezultati është përgjithësisht i njëjtë - imazhi i një personi. Por ka edhe dallime. Në një portret në dorëshkrim, saktësia e ngjashmërisë është shumë relative dhe varet nga "vizioni" i artistit; shtrembërimet e përmasave, shtimi i nuancave dhe detajeve, që janë në "origjinalin", d.m.th. në fytyrën e njeriut, nuk ishte. Fotografia përcjell me saktësi dhe skrupulozitet “ÇFARË”, duke lënë “SI” në sfond.

Me disa alegori, mund të themi se fotografia është Big Data për një portret të shkruar me dorë.

Dhe tani ne do të regjistrojmë çdo lëvizje të një personi në intervale kohore të përcaktuara rreptësisht dhe mjaft të vogla. Do të rezultojë të jetë një film. Filmi është një e dhënë e madhe në lidhje me fotografinë. Ne rritëm sasinë e të dhënave, i përpunuam në përputhje me rrethanat - morëm një cilësi të re - një imazh në lëvizje. Duke ndryshuar sasinë, duke shtuar një algoritëm përpunimi, marrim një cilësi të re.

Tani vetë imazhet video shërbejnë si ushqim për sistemet kompjuterike Big Data.

Ndërsa shkalla e të dhënave që përpunohen rritet, shfaqen mundësi të reja që nuk janë të disponueshme kur përpunohen të dhëna me vëllime më të vogla. Google parashikon gjithashtu epidemitë e gripit, dhe shumë më shpejt se statistikat mjekësore zyrtare. Kjo kërkon një analizë të plotë të qindra miliarda të dhënave të papërpunuara, me rezultat që ajo të përgjigjet shumë më shpejt se burimet zyrtare.

Epo, dhe shkurtimisht për dy aspekte të tjera të të dhënave të mëdha.

Saktësia.

Sistemet e të dhënave të mëdha mund të analizojnë sasi të mëdha të dhënash, dhe në disa raste, të gjitha të dhënat, dhe JO mostrat e tyre. Duke përdorur të gjitha të dhënat, marrim një rezultat më të saktë dhe mund të shohim nuancat që nuk janë të disponueshme kur kufizojmë analizën e mostrës. Megjithatë, në këtë rast, duhet të mjaftohet me një ide të përgjithshme dhe jo me një kuptim të fenomenit deri në detajet më të vogla. Megjithatë, pasaktësitë në nivel mikro lejojnë, me një sasi të madhe të dhënash, të bëhen zbulime në nivel makro.

Kauzaliteti.

Jemi mësuar të kërkojmë arsye në çdo gjë. Kjo, në fakt, është baza e analizës shkencore. Në botën e të dhënave të mëdha, shkakësia nuk është aq e rëndësishme. Më e rëndësishme është korrelacioni ndërmjet të dhënave që mund të ofrojnë njohuritë e nevojshme. Korrelacionet nuk mund t'i japin një përgjigje pyetjes "pse", por ata janë të mirë në parashikimin "çfarë" do të ndodhë nëse gjenden korrelacione të caktuara. Dhe më shpesh sesa jo, kjo është pikërisht ajo që kërkohet.

***