Web scraper postavený na wifi čipe ESP8266

  • Systém vyvinutý pod ESP8266 umožňuje čítať dáta z webu a požadované informácie vyscrapovať z webu.
  • V praxi ide o získanie telefónnych čísel, e-mailových adries, kontaktov, adries sídla firiem a podobných zaujímavých informácii týkajúcich sa danej webovej adresy
  • ESP8266 prechádza web a údaje zbiera a archivuje ich do pripravenej MySQL databázy, odkiaľ môžu byť dáta vyexportované napríklad do .csv alebo .xml formátu a použité pre ďalšie úkony.
  • Dáta sú prevedené na správny tvar, napríklad: Telefónne číslo s medzerami pred trojčísliami.
  • Doska s ESP8266 podporuje i HTTPS konektivitu a je ju možné pripojiť aj na šifrované webstránky, kde môže bezpečne zbierať dáta.
  • Originalitu dát je možné riešiť už na strane ESP8266, alebo webservera, kam sa nazbierané dáta odosielajú a postprocessing vykonať tu.
  • Doska primárne prechádza celý zdrojový kód HTML webu, prípadne knižnicu webu v .js.
  • Okrem získavania dát z webu je možné sťahovať aj iné - menej prioritné dáta ako: adresy obrázkov, ich rozlíšenia, .json dáta, prípadne i cely .rss kanál.
  • Získané dáta môžu byť zakomponované real-time do vašej webaplikácie, či mobilnej aplikácie.
  • Vďaka autentizácii prostredníctvom HTTP hlavičky je možné sťahovať aj dáta za "loginom" danej webstránky.