kupujcie, znowu rośnie

get_page() {
    curl https://www.tvp.info/191866/polska\?page\=$1  | pup 'body > script:nth-of-type(2)' | head -n-1 | tail -n+6 | sed 's!window.__directoryData = !!g;s!};$!}!' | jq '[.items[]]' > $1.json
}

taką funkcją w bashu zapisuje do JSONa dane o artykułach na konkretnej stronie kategorii polska na tvp.info, odpaliłem w pętli.

• https://github.com/ericchiang/pup do parsowania HTML
• https://stedolan.github.io/jq/ do mielenia JSONa
• no i curl

dane w JSONie są tablicą takich obiektów:

  {
    "id": 52247575,
    "title": "Jest decyzja ws. nauki stacjonarnej starszych dzieci. Minister Czarnek wyjaśnia",
    "supertitle": null,
    "url": "/52247575/nauka-zdalna-i-stacjonarna-powrot-starszych-rocznikow-do-szkol-jednak-nie-w-lutym-minister-przemyslaw-czarnek-wyjasnia-men-wyda-rozporzadzenie",
    "lead": "Ministerstwo Edukacji i Nauki przygotowało rozporządzenie dotyczące nauki stacjonarnej w szkołach. Na konferencji prasowej szef resortu Przemysław Czarnek zapowiedział, że do końca lutego zostaje przedłużony aktualny stan nauki zdalnej i stacjonarnej.",
    "image": {
      "title": "Nauka stacjonarna obowiązuje w klasach I-III i tak będzie do końca lutego (fot. PAP/Darek Delmanowicz)",
      "file_name": "911a44efcfeb18f3164baf8b47beabd91613042668137.jpg",
      "url": "https://s9.tvp.pl/images2/9/1/1/uid_911a44efcfeb18f3164baf8b47beabd91613042668137_width_900_play_0_pos_0_gs_0_height_506_nauka-stacjonarna-obowiazuje-w-klasach-i-iii-i-tak-bedzie-do-konca-lutego-fot-papdarek-delmanowicz.jpg"
    },
    "publication_start": 1613042400000,
    "release_date": 1613043000000,
    "timelinedate": null,
    "video": null,
    "breadcrumbs": [
      {
        "title": "Polska",
        "url": "/191866/polska"
      }
    ],
    "playable": true,
    "vortal_id": 190485
  }

Sprawdzałem Pythonem, czy słowo Trzaskowski pada w polu title, lead albo image.title, jeśli tak, to zaliczałem artykuł do artykułów o Trzaskowskim.

Potem liczby do CSVki, CSVkę do LibreOffice, wykres do SVG, SVG do Inkscape i z Inkscape do PNG ;)

Here's a sneak peek of r/data_irl using the top posts of the year!

#1: data_irl | 32 comments
#2: data_irl | 117 comments
#3: data_irl | 16 comments

---

^^I'm ^^a ^^bot, ^^beep ^^boop ^^| ^^Downvote ^^to ^^remove ^^| ^^Contact ^^me ^^| ^^Info ^^| ^^Opt-out