Приручник за службенике за податке¶
Овај приручник је намењен државним службеницима који у оквиру својих послова израђују анализе засноване на подацима односно за потребе доношења одлука користе или би могли проактивно да користе потенцијал велике количине службених и отворених података из различитих извора, укључујући службенике који учествују у обликовању јавних политика и прописа.
Са све већим степеном дигитализације и у државној управи и генерало, укључујући тренд отварања подататака, све више података је доступно у облику који је погодан за даљу аутоматску обраду. Поред све већег обима, све је већа и динамика са којом се подаци ажурирају. То све заједно повећава потребу за аутоматизацијом анализе, да би анализа коју смо направили данас могла лако да се понови сутра над новим подацима или да се лако прилагоди другом скупу података.
Овакав тренд у обиму и динамици прилива података расположивих за анализу доприноси све широј употреби окружења за анализу података која су заснована на скриптном програмском језику. То значи да се све формуле које се примењују, трансформације података и начини визуелизације записани као низ команди које се могу више пута извршавати, а ако је потребно у међувремену модификовати.
У овом приручнику ће се користити окружење Џупитер (Jupyter) и програмски језик Пајтон (Python), што ће детаљније бити описанио већ у првој лекцији.
Садржај¶
Увод¶
Анализа података у окружењу Џупитер¶
- Експресни увод у обраду података у Пајтону
- Елементарна обрада табеларних података у Пајтону
- Чишћење података у Пајтону
- Припрема и дескриптивна анализа нумеричких података
- Машинска обрада текстуалних података
Примери машинског учења¶
- Примена машинског учења у обради слике
- Учитавање истренираног модела
- Извршавање модела
- Мерење квалитета модела
- Учитавање података за Србију са сателита Сентинел 2
- Извршавање модела над подацима за Србију
- Примена машинског учења у обради текстуалних података
- Класификација докумената
- Скуп података EurLex57k
- Тезаурус EuroVoc
- Библиотека transformers и модел LegalBert