Ćwiczenie grupowe: workflow pozyskiwania danych
Dziennikarstwo danych
Instrukcja ćwiczenia
Cel
Zastosowanie praktycznego workflow pozyskiwania danych do waszego projektu końcowego. To ćwiczenie pomoże wam:
- Precyzyjnie sformułować pytanie badawcze
- Zidentyfikować realistyczne źródła danych
- Ocenić dostępność i jakość danych
- Zaplanować proces pozyskiwania i weryfikacji
- Przewidzieć potencjalne problemy
Czas: 45 minut
- 15 min - Indywidualne przemyślenie i dyskusja w grupie
- 30 min - Wypełnienie formularza workflow (poniżej)
KROK 1: Precyzyjne sformułowanie pytania badawczego
A. Temat projektu (1-2 zdania)
Ogólny obszar, który chcecie zbadać:
B. Konkretne pytanie badawcze
Sformułujcie jedno, precyzyjne pytanie, na które chcecie odpowiedzieć:
C. Kluczowe zmienne
Zdefiniujcie dokładnie, co będziecie mierzyć:
Co chcecie zmierzyć? (np. zachorowania, ceny, liczba uczniów)
Jaki zakres czasowy? (np. 2015-2024, ostatnie 5 lat)
Jaki obszar geograficzny? (np. Polska, województwo mazowieckie, Warszawa)
Jakie grupy/kategorie? (np. według wieku, płci, regionów, branż)
KROK 2: Identyfikacja potencjalnych źródeł
Burza mózgów - wszystkie możliwe źródła danych
Nie oceniajcie jeszcze - po prostu wypisujcie wszystkie pomysły:
Źródła oficjalne (rządowe, samorządowe):
Rejestry i bazy publiczne:
Organizacje międzynarodowe (Eurostat, OECD, WHO, Bank Światowy):
Instytucje badawcze i akademickie:
NGO i think tanki:
Inne (media, firmy komercyjne, dane społecznościowe):
KROK 3: Ocena dostępności i jakości źródeł
Tabela porównawcza źródeł
Wybierzcie 3-5 najbardziej obiecujących źródeł z kroku 2 i oceńcie je:
Źródło 1: _________________________________
- Dostępność: □ Publicznie dostępne □ Wymaga rejestracji □ Wniosek FOI □ Płatne
- Format: □ CSV/JSON □ Excel □ PDF □ Brak struktury □ API
- URL (jeśli znany): _________________________________
- Aktualność: Rok ostatniej aktualizacji: _______
- Kompletność: □ Pełny podział □ Częściowy □ Tylko zagregowane □ Nieznane
- Wiarygodność: □ Najwyższa (GUS, NBP) □ Wysoka □ Średnia □ Nieznana
Źródło 2: _________________________________
- Dostępność: □ Publicznie dostępne □ Wymaga rejestracji □ Wniosek FOI □ Płatne
- Format: □ CSV/JSON □ Excel □ PDF □ Brak struktury □ API
- URL (jeśli znany): _________________________________
- Aktualność: Rok ostatniej aktualizacji: _______
- Kompletność: □ Pełny podział □ Częściowy □ Tylko zagregowane □ Nieznane
- Wiarygodność: □ Najwyższa (GUS, NBP) □ Wysoka □ Średnia □ Nieznana
Źródło 3: _________________________________
- Dostępność: □ Publicznie dostępne □ Wymaga rejestracji □ Wniosek FOI □ Płatne
- Format: □ CSV/JSON □ Excel □ PDF □ Brak struktury □ API
- URL (jeśli znany): _________________________________
- Aktualność: Rok ostatniej aktualizacji: _______
- Kompletność: □ Pełny podział □ Częściowy □ Tylko zagregowane □ Nieznane
- Wiarygodność: □ Najwyższa (GUS, NBP) □ Wysoka □ Średnia □ Nieznana
Wybór najlepszego źródła
Które źródło wybieracie jako podstawowe? _________________________________
Uzasadnienie wyboru:
Czy będziecie używać dodatkowych źródeł do weryfikacji krzyżowej?
□ Tak - jakie? _________________________________
□ Nie - dlaczego? _________________________________
KROK 4: Plan pozyskania danych
Metoda dostępu
Jak zamierzacie pozyskać dane? (zaznaczcie wszystkie, które będą potrzebne)
□ Bezpośrednie pobieranie z portalu (np. dane.gov.pl, stat.gov.pl)
□ API - który? _________________________________
- Czy wymaga klucza dostępu? □ Tak □ Nie
- Kto w grupie ma kompetencje techniczne? _________________________________
□ Wniosek o informację publiczną
- Do jakiej instytucji? _________________________________
- Kiedy planujecie złożyć wniosek? (data): _______
- UWAGA: Planujcie minimum 14 dni oczekiwania!
□ Web scraping
- Z jakiej strony? _________________________________
- Czy sprawdziliście robots.txt? □ Tak □ Nie □ Nie wiem jak
- Kto w grupie ma kompetencje techniczne? _________________________________
□ Własne zbieranie danych (ankiety, crowdsourcing)
- Jak? _________________________________
KROK 5: Plan dokumentacji
Jakie informacje o waszych danych będą kluczowe do udokumentowania?
Zastanówcie się nad waszymi konkretnymi źródłami danych i wypisz poniżej:
1. Jakie podstawowe informacje o źródle musicie zapisać, żeby za miesiąc wiedzieć, skąd pochodzą dane?
2. Jakie szczegóły techniczne dotyczące pozyskania danych będą istotne dla odtworzalności?
(np. parametry API, data zakończenia zbierania, wersja datasetu)
3. Jakie problemy lub nietypowe sytuacje mogą wystąpić podczas pobierania i warto je odnotować?
4. Czy są osoby kontaktowe lub źródła pomocy, które warto zapisać na przyszłość?
Gdzie i w jakiej formie będziecie prowadzić dokumentację?
Wybrane narzędzie: _________________________________
Dlaczego ten sposób jest odpowiedni dla waszego projektu?
KROK 6: Wstępna walidacja danych
Plan sprawdzenia jakości
UWAGA: Zanim pobierzecie dane, zastanówcie się, co będzie trzeba zwalidować.
Jakie aspekty waszych danych będzie konieczne sprawdzić po pobraniu? Wypisz poniżej, co planujesz zwalidować i dlaczego:
Co będę walidować:
Pytania pomocnicze do rozważenia:
- Czy struktura danych (liczba wierszy/kolumn) będzie zgodna z oczekiwaniami?
- Jakie typy danych powinny mieć poszczególne kolumny?
- Czy mogą wystąpić brakujące wartości? W których kolumnach i dlaczego?
- Czy są wartości, które muszą spełniać określone warunki (np. daty w określonym zakresie, tylko liczby dodatnie)?
- Czy format danych wymaga standaryzacji (np. spójność formatów dat)?
- Czy mogą wystąpić duplikaty i jak je rozpoznać?
KROK 7: Plan weryfikacji krzyżowej
Alternatywne źródła do porównania
Jakie inne źródło użyjecie do weryfikacji?
Źródło weryfikacyjne: _________________________________
Co dokładnie porównacie? (np. te same liczby dla tego samego roku/regionu)
Ekspert do konsultacji
Kim jest ekspert, z którym chcecie skonsultować dane?
- Funkcja/specjalizacja: _________________________________
- Instytucja: _________________________________
- Jak zamierzacie go/ją znaleźć? _________________________________
Kontekst historyczny do sprawdzenia
Czy były wydarzenia/zmiany, które mogły wpłynąć na dane?
□ Pandemie COVID-19 (2020-2022)
□ Reformy (jakie?) _________________________________
□ Zmiany metodologii zbierania danych
□ Kampanie społeczne/polityczne
□ Inne: _________________________________
KROK 8: Plan B - jeśli dane nie odpowiadają na pytanie
Co zrobicie, jeśli…
Scenariusz 1: Dane są dostępne, ale w złym formacie (PDF zamiast CSV)
Wasz plan:
□ Konwersja (OCR, Tabula)
□ Ręczne przepisanie (jeśli mało danych)
□ Szukamy innego źródła
□ Modyfikujemy pytanie badawcze
Scenariusz 2: Dane są niekompletne (brakuje 30% wartości)
Wasz plan:
□ Analiza tylko kompletnych przypadków
□ Imputacja (wstawienie średnich/median)
□ Szukamy innego źródła
□ Modyfikujemy pytanie badawcze (zawężamy zakres)
Scenariusz 3: Dane nie są na tyle szczegółowe, jak potrzebujecie
(np. chcieliście podział na powiaty, a są tylko województwa)
Wasz plan:
□ Pracujemy z dostępnym poziomem agregacji
□ Łączymy z innymi źródłami
□ Składamy wniosek FOI o szczegółowe dane
□ Modyfikujemy pytanie badawcze
Scenariusz 4: Dane są całkowicie niedostępne
Wasz plan:
□ Zbieramy własne dane (ankieta, crowdsourcing)
□ Szukamy danych międzynarodowych jako proxy
□ Zmieniamy temat projektu - na jaki? _________________________________
Harmonogram projektu
Timeline pozyskiwania i pracy z danymi
Wypełnijcie realistyczny harmonogram (zostawcie bufory czasowe!):
| Tydzień | Zadanie | Odpowiedzialny | Deadline |
|---|---|---|---|
| 1 | Finalizacja pytania badawczego | ||
| 2 | Pozyskanie danych (pobieranie/wnioski FOI) | ||
| 3 | Wstępna walidacja i czyszczenie | ||
| 4 | Analiza danych | ||
| 5 | Weryfikacja krzyżowa i konsultacja z ekspertem | ||
| 6 | Wizualizacja | ||
| 7 | Pisanie narracji/artykułu | ||
| 8 | Rewizja i finalizacja | ||
| 9 | BUFOR - na nieprzewidziane problemy | ||
| 10 | Prezentacja/publikacja |
Potencjalne problemy i rozwiązania
Jakie przewidujecie największe wyzwania?
Problem 1: _________________________________
Rozwiązanie: _________________________________
Problem 2: _________________________________
Rozwiązanie: _________________________________
Problem 3: _________________________________
Rozwiązanie: _________________________________
Ocena wykonalności projektu
Samoocena
Czy dane są rzeczywiście dostępne?
□ Tak, sprawdziliśmy - są
□ Prawie na pewno (znaleźliśmy podobne dane)
□ Nie jesteśmy pewni - musimy sprawdzić
□ Nie, ale mamy Plan B
Czy macie kompetencje techniczne do pracy z tymi danymi?
□ Tak, znamy narzędzia
□ Częściowo - będziemy się uczyć w trakcie
□ Nie, ale znajdziemy pomoc (kto?) _________________________________
□ Nie - zmieniamy metodę dostępu/temat
Czy projekt jest realistyczny do wykonania w semestrze?
□ Tak, jest wykonalny
□ Tak, ale będzie wymagający - potrzebujemy dobrze zarządzać czasem
□ Może być trudno - rozważamy zawężenie zakresu
□ Nie - musimy zmienić temat lub pytanie
Czy temat naprawdę was interesuje?
□ Tak, bardzo! Jesteśmy zmotywowani
□ Tak, wydaje się ciekawy
□ Umiarkowanie - nie jesteśmy pewni
□ Nie bardzo - może lepiej zmienić temat?
Prezentacja
Przygotujcie 3-5 minutową prezentację
Struktura prezentacji:
1. Pytanie badawcze (30 sek)
Jedno zdanie - co chcecie zbadać?
2. Dlaczego to ważne? (30 sek)
Kogo to dotyczy? Dlaczego czytelnicy powinni się tym interesować?
3. Źródła danych (1 min)
- Główne źródło: _________________________________
- Jak je pozyskacie: _________________________________
- Dodatkowe źródła do weryfikacji: _________________________________
4. Największe wyzwania (1 min)
- Co może pójść nie tak? _________________________________
- Jaki macie Plan B? _________________________________
5. Pytania do prowadzącego i grupy (1 min)
- Czy znacie lepsze źródło danych?
- Czy widzicie problemy, których nie dostrzegliśmy?
- Czy macie sugestie dotyczące metody analizy?
Checklist przed prezentacją
Upewnijcie się, że:
□ Pytanie badawcze jest konkretne i testowalne
□ Sprawdziliście, czy dane rzeczywiście istnieją (weszliście na stronę, zobaczyliście)
□ Macie Plan B na wypadek, gdyby dane były niedostępne
□ Harmonogram jest realistyczny (z buforami czasowymi)
□ Zidentyfikowaliście przynajmniej jednego eksperta do konsultacji
□ Wiecie, kto w grupie będzie odpowiedzialny za co (podział ról)