Relácia Pozor, vlak: moderné technológie na ochranu webových služieb

Relácia Pozor, vlak môže pri vysvetľovaní moderných internetových hrozieb priblížiť aj technológie, ktoré chránia webové služby pred automatizovaným zberom údajov. Jedným z takýchto riešení je Anubis, ktorého cieľom je zvýšiť náklady masového scrapovania bez zbytočného zaťažovania bežných používateľov.

Pri jednotlivých požiadavkách je dodatočné zaťaženie zanedbateľné, no pri masovom scrapovaní sa postupne sčítava a výrazne predražuje automatizované získavanie údajov.

Ako funguje princíp dodatočnej záťaže

Myšlienka spočíva v tom, že pri jednotlivých požiadavkách je dodatočné zaťaženie zanedbateľné, no pri masovom scrapovaní sa postupne sčítava a výrazne predražuje automatizované získavanie údajov.

Takýto prístup neznamená, že každá jednotlivá návšteva musí byť pre používateľa výrazne pomalšia alebo komplikovanejšia. Rozdiel sa prejaví najmä pri veľkom počte automatizovaných požiadaviek, keď sa aj malá výpočtová úloha opakuje tisíce alebo milióny ráz.

Typ používaniaÚčinok dodatočnej záťaže
Jednotlivá požiadavkaZanedbateľné dodatočné zaťaženie
Masové scrapovanieDodatočná záťaž sa sčítava
Automatizované získavanie údajov vo veľkom meradleScrapovanie sa stáva výrazne drahším
Princíp ochrany webu pred masovým scrapovaním

Anubis ako dočasné riešenie

V konečnom dôsledku ide o dočasné riešenie, ktoré má poskytnúť viac času na identifikáciu bezhlavých prehliadačov a vytváranie ich odtlačkov.

Takéto odtlačky môžu využívať napríklad spôsob vykresľovania písiem.

Cieľom je, aby sa stránka s výpočtovou úlohou typu proof of work nemusela zobrazovať používateľom, pri ktorých je oveľa pravdepodobnejšie, že sú legitímni.

Identifikácia bezhlavých prehliadačov

Ďalší vývoj ochrany sa má viac sústrediť na vytváranie odtlačkov a identifikáciu bezhlavých prehliadačov.

Jedným z príkladov je sledovanie toho, ako bezhlavý prehliadač vykresľuje písma.

Takéto rozlišovanie môže pomôcť oddeliť pravdepodobne legitímnych používateľov od automatizovaných nástrojov bez toho, aby sa výpočtová úloha proof of work zobrazovala každému.

  1. Najprv sa vyhodnotí, či požiadavka pravdepodobne pochádza od legitímneho používateľa.
  2. Následne možno sledovať charakteristiky prehliadača vrátane spôsobu vykresľovania písiem.
  3. Výpočtová úloha proof of work sa nemusí zobrazovať používateľom, ktorí sú oveľa pravdepodobnejšie legitímni.
  4. Pri podozrivom alebo masovom automatizovanom prístupe môže dodatočná záťaž zvýšiť cenu scrapovania.

Požiadavky na moderný JavaScript

Anubis vyžaduje používanie moderných funkcií JavaScriptu.

Doplnky, ako je JShelter, tieto funkcie deaktivujú.

Preto treba pri používaní takýchto doplnkov počítať s tým, že môžu ovplyvniť fungovanie ochrany založenej na modernom JavaScripte.

JavaScript ES6 - 01. Úvod do video kurzu moderný JavaScript ES6

Proof of work a používateľská skúsenosť

Výpočtová úloha proof of work slúži ako dodatočná prekážka pre automatizované požiadavky.

Pri jednotlivých požiadavkách je dodatočné zaťaženie zanedbateľné, no pri masovom scrapovaní sa postupne sčítava a výrazne predražuje automatizované získavanie údajov.

Zámerom je, aby sa takáto stránka nemusela zobrazovať používateľom, pri ktorých je oveľa pravdepodobnejšie, že sú legitímni.

Ochrana preto kombinuje dočasné zvýšenie nákladov pre masové scrapovanie s dlhodobejším vývojom metód na identifikáciu bezhlavých prehliadačov.

Obmedzenia kompatibility

Anubis vyžaduje moderné funkcie JavaScriptu, ktoré doplnky, ako je JShelter, deaktivujú.

To znamená, že kompatibilita závisí od toho, či prehliadač a jeho doplnky umožňujú používanie funkcií potrebných na fungovanie ochrany.

Pri posudzovaní problémov preto treba rozlišovať medzi samotnou ochranou a zásahmi doplnkov, ktoré moderné funkcie JavaScriptu vypínajú.

tags: #relacia #pozor #vlak