Ова лекција је посвећена алгоритамском чишћењу података где покушавамо да препознамо образац грешке како бисмо све такве грешке исправили у што мање корака. Садржај је напреднији и тежи за разумевање него у осталим лекцијама. Свеједно, важно је да видимо како чишћење података функционише и зашто је неопходно за квалитетну анализу података.
Велике количине података које прикупљају и уносе различити људи увек носе ризик од недоследности у погледу формата уноса. Са машинама је лако, али људи у складу са својом културом, навикама или потребом да буду креативни често уносе оно што нам не треба. За машински читљиве податке је најважније да имају познату структуру и да буду форматирани на исти начин. Ово можда звучи као непотребно цепидлачење, али није. Људи који се баве обрадом и анализом података највећи део свог времена троше на чишћење података (енг. data cleaning).
Увек треба имати на уму да је чишћење података, у крајњој линији, произвољно мењање података о којима знамо мање од онога ко је податке уносио. Нормално је да они који уносе податке направе превид или податак унесу на погрешан начин. Исто тако је нормално да ми то приметимо и направимо корекцију. За неке друге податке, опет, не знамо шта да мислимо; можда је грешка, можда није. Граница је свакако субјективна. Онај ко чисти податке мора да има знање из области на коју се подаци односе, да зна шта је могуће а шта није, шта може да буде веродостојно, а шта је сигурно грешка. Баш због тога што је критеријум за корекцију података субјективан не можемо потпуно да га аутоматизујемо. То морају да раде људи који знају контекст података. Машина може да помогне да то урадимо брже.
Нас у овом курсу интересују пре свега подаци спаковани у табеле, односно једну конкретну табеларну структуру DataFrame. Ова структура, као и функције за рад са њом, саставни су део библиотеке pandas па је упутно на почетку рада са подацима у Пајтону увек прво учитати ову библиотеку.
import pandas as pd
За потребе обуке учитаћемо један фајл ком је потребно мало чишћења. То је библиотечки регистар у ком се налазе име књиге, аутор, издавач, година издања итд.
bibreg=pd.read_csv("data/BL-Flickr-Images-Book.csv")
bibreg.head(8)
Чак и површан увид у податке открива да има много поља у којима пише NaN што значи да тог податка нема, а да је неки софтвер празно поље заменио овом ознаком. Надајмо се да се ниједан издавач или књига не зову баш "NaN". Такође, видимо да неки подаци нису конзистентно уношени. За годину издања (Date of Publication) углавном стоји број, али има и оних са угластим заградама. Имена аутора изгледају као хаос посебне врсте.
Индексна колона¶
Врло важна карактеристика функционалне табеле са подацима јесте да има колону у којој се вредности не понављају. Таквих колона може бити више, али једну од њих треба изабрати за "главну" и прогласити је индексном колоном. Таква колона нам омогућава једнозначно означавање редова у табели. Сваки елемент те колоне одговара тачно једном реду у табели.
Да бисмо се на сличан начин позивали на колоне у табели, потребан нам је "индексни ред". Он већ постоји. То је заправо заглавље табеле, односно ред у ком су називи колона. Називи колона не могу да се понављају па је су вредности у том реду јединствене.
Сваки DataFrame аутоматски добија своју индексну колону. Ако ми не кажемо машини која је то колона, Пајтон ће сам доделити колону са индексом 0, 1, 2, 3... Најважније својство индексне колоне је да садржи јединствене податке. Ако се подаци у колони понављају онда она не може да буде индексна.
У табели bibreg постоји колона Identifier која би могла да буде тај јединствени идентификатор који су унели библиотекари много пре него што се неко сетио да прави табеле у Пајтону. Да ли су све вредности у колони јединствене можемо да проверимо функцијом is.unique().
bibreg['Identifier'].is_unique
Јесте јединствена. То значи да можемо њу да користимо уместо аутоматски додељеног низа ненегативних целих бројева. То ћемо учинити помоћу функције set_index(). Главни аргумент ове функције је назив колоне коју ћемо прогласити за индексну, али аргумената може да буде више. Овде ћемо искористити аргумент inplace=True који Пајтону саопштава да хоћемо да промени и запамти садржај табеле. Без тога бисмо само добили испис у ком је постављена индексна колона док би у меморији остао исти онај стари DataFrame. Наравно, исти резултат бисмо могли да добијемо и ако новој табели придружимо измењену табелу: bibreg=bibreg.set_index('Identifier'). То су два начина да добијемо исти резултат. Бирајте шта вам се више свиђа.
bibreg.set_index('Identifier', inplace = True)
bibreg.head()
Приступање подацима помоћу "приступника" loc[] и iloc[]¶
Сад кад имамо индексну колону, подацима у табели можемо да приступамо на различите начине. loc[] и iloc[] су посебни начини приступа подацима преко ознака и индекса. У првом случају користимо ознаке, тј. податке из индексне колоне и називе колона, а у другом редне бројеве редова и колона који почињу нулом. Ево примера како можемо да их употребимо. Приметите како се индексна колона не броји као ни ред у ком су називи колона.
bibreg.loc[216,'Publisher']
bibreg.iloc[1,3]
Слично можемо да приступимо само одређеним редовима или колонама. На пример, овако:
bibreg.loc[216]
bibreg.iloc[:,1]
Избор колона¶
Табеле са подацима знају да буду превелике. Не због меморије рачунара, него зато што не можемо лако да видимо податке на екрану. Зато је увек добро ослободити се баласта на почетку. Ако нам за конкретан задатак неке колоне (или редови) нису потребне, онда их треба одмах избрисати и радити сам мањом табелом.
Ако нам је потребно свега неколико колона, најбоље је да њихове називе ставимо у листу и сведемо DataFrame тако да садржи само њих. У супротном, ако хоћемо само неке да искључимо, ставимо их у листу и позовемо функцију drop() из Pandas библиотеке. На пример, можемо да ставимо као аргумент функције drop() листу za_brisanje коју смо претходно дефинисали као za_brisanje=['Edition Statement','Corporate Author','Corporate Contributors','Former owner','Engraver','Contributors','Issuance type','Shelfmarks']. Признаћете, мало је заметно наводити све називе колона које хоћемо да обришемо. Алтенатива је да исту листу дефинишемо преко редних бројева колона: za_brisanje=bibreg.columns[[0,6,7,8,9,10,11,13]].
za_brisanje=bibreg.columns[[0,6,7,8,9,10,11,13]]
bibreg.drop(za_brisanje, axis = 1, inplace = True)
Аргумент axis=1 каже функцији да треба обрисати колоне. Да је та вредност 0, функција би обрисала редове.
bibreg.head()
Припрема нумеричких података¶
Сада имамо табелу са мање колона где је прилично јасно шта је садржај. Оно што је спорно је форма садржаја. У другој колони би требало да буду бројеви који означавају године. Међутим, машина ту не види бројеве већ текст. CSV фајлови не чувају податке о типу променљиве. За Пајтон је одмах по учитавању све између зареза стринг. За било какву нумеричку анализу, нпр. тражење минимума, збира или средње вредности потребно је подацима променимо тип променљиве. Док год постоје у колони елементи са знацима који нису цифре, минус и децимална тачка то неће бити могуће.
Пробајте да нађете најстарију књигу у регистру. То би требало да буде најмањи број у колони помоћу функције min().
# bibreg['Date of Publication'].min()
Пре чишћења података прво треба да видимо ког су типа променљиве у колонама. Од тога зависи које ћемо технике користити за чишћење.
bibreg.dtypes
Видимо да је и Data of Publication типа object. Разлог за то су угласте заграде, зарези и цртице које се налазе у неким пољима те колоне. Док год постоји барем једно поље у ком није број, Пајтон колону неће препознати као нумеричку. Уколико тих поља има мало, уређивање можемо да урадимо и ручно. Да видимо исплати ли се то написаћемо мали програм који покушава да елемент низа претвори у цео број. За сваки елемент где не успе у томе програм ће повећати број за један.
n=0
for element in bibreg['Date of Publication']:
try:
tmp = int(element)
except:
n=n+1
n
len(bibreg)
Видимо да чак 1759 од 8287 елемената у овој колони не можемо да претворимо у број. То свакако не треба да радимо ручно.
print (bibreg['Date of Publication'][:30])
Аутоматско чишћење података у овој колони није једноставно. Прво, зато што нисмо сигурни шта треба да препознамо као број. Друго, зато што не постоји једноставан начин за то.
Да се договоримо прво шта треба да препознамо као број. Једно решење (које не мора да буде најбоље) је да тражимо само оне елементе у колони који почињу са четири цифре, да те четири цифре претворимо у број, а да све остало занемаримо. То значи да би први елемент био 1879, други 1868 итд.
Начин на који ћемо то урадити је да препознамо део текста користећи регуларне изразе. Ово је доста компликована тема коју овде не можемо да обрадимо. Можда је најбоље да нам верујете да то тако заиста ради.
Регуларни изрази¶
Регуларни изрази (енг. regular expressions) су кодирани описи садржаја у неком тексту. Пајтон може да претражи низ текстуалних података у потрази за садржајем који одговарају том опису. Начин на који се кодирају регуларни изрази нису баш интуитивни. Другим речима, ако су вам начини на који се записују и раде регуларни изрази збуњујући и неразумљиви, то је сасвим нормално.
Ми ћемо помоћу регуларних израза да потражимо групе од четири цифре на почетку текстуалне променљиве. Регуларни израз који то описује је ^(\d{4}). Код \d означава digit, односно било коју цифру, {4} значи да се цифре понављају тачно 4 пута, заграде означавају групу коју треба обележити, а код ^ да се тим текстом почиње ред. За разлику од обичног текста који стављамо под наводнике кад га придружујемо променљивој, овде испред наводника стоји слово r које означава да то није обичан текст већ кодирани опис текста.
maska=r'^(\d{4})'
Сада треба да прођемо кроз све елементе колоне Date of Publication и извучемо стринг са траженим описом уколико постоји у том елементу. То ћемо урадити помоћу функције str.extract(). Аргументи ове функције су регуларни израз који смо ставили у променљиву maska и напомена Пајтону да излаз буде само једна колона.
year = bibreg['Date of Publication'].str.extract(maska, expand=False)
year
Видимо да је Пајтон препознао и издвојио групе од четири цифре које би требало да представљају године. Тамо где му то није пошло за руком пише NaN. Приметите да ови подаци и даље нису бројеви него стрингови. Да би постали бројеви потребно је да их претворимо у бројеве помоћу функције to_numeric(). То није било могуће пре чишћења. Надајмо се да ће сада радити.
year = pd.to_numeric(year)
Ако је све у реду онда ћемо моћи да нађемо најстарију књигу.
year.min()
Најстарија књига је из 1510. године. То је баш старо. Можете ли да откријете која је то књига?
bibreg.loc[year==1510]
Све књиге за које нисмо успели да препознамо годину издавања имају ознаку NaN коју уочавамо помоћу функције isnull(). Ако саберемо колико таквих има, знаћемо колико је чишћење било успешно.
year.isnull().sum()
У поређењу са 1759 број 971 јесте мањи, али и даље значајан. Међутим, оно што је значајније јесте да смо текстуалне записе претворили у бројеве које можемо даље да анализирамо.
Било би добро очишћене нумеричке податке убацити назад у табелу, али није препоручљиво да то урадите тако што пребришете оригиналне податке у колони Date of Publication. Тако бисмо изгубили могућност да проверимо је ли чишћење било добро и евентуално променимо критеријум касније. Боље је да имамо оригиналну и очишћену колону једну поред друге. Помоћу функције insert() можемо да убацимо на одређено место у табели колону са именом и вредностима као аргументима.
bibreg.insert(2, "Year", year)
bibreg
Чишћење текстуалних података¶
За разлику од нумеричких података, текстуалне можемо да анализирамо и пре чишћења. За текст имамо другу врсте анализе (колико има којих елемената, ког има највише итд.). Резултати можда неће бити најпоузданији, али ћемо добити нешто информативно. Да видимо, на пример, статистику места издавања књига из регистра bibreg.
bibreg['Place of Publication'].value_counts()
Имамо 1441 различит запис места издавања. Вероватно места издавања има мање, али су записани другачије. Промена тог броја може да буде показатељ колико смо добро очистили колону.
bibreg['Place of Publication'].value_counts()[:40]
Оно што видимо на први поглед је да имамо више записа који се односе на исти град. На пример, London (3868) и London] (14) или Boston [Mass.] (52) и Boston (41). Чишћење податка би то требало да обједини. Већ из 40 најчешћих места издавања видимо да се називи места понављају кроз различите записе. Међу осталих хиљаду мора да их има још много.
Да видимо за записе у којима се појављују речи "London", "Paris" или "Boston" каквих све облика има.
place=bibreg['Place of Publication']
Као и код нумеричких података добра је пракса не мењати оригиналне податке него направити још једну колону (place) у којој су подаци очишћени како мислимо да треба. То нам оставља могућност да касније, под утицајем неких нових сазнања, променимо одлуку. Добро је да оригинална колона и колона са очишћеним подацима стоје једна поред друге.
place[place.str.contains("Boston")]
place[place.str.contains("York")].value_counts()
Има чак 245 различитих записа у којима се помиње Лондон. То неће бити једноставно за чишћење. Неке од ових записа вероватно не би требало мењати: Edinburgh & London би требало да остане тако како јесте, али би Longman & Co. London требало променити у London. Међутим, код чишћења података треба бити практичан. Ако већ знамо да чишћење податка тражи много времена и да никад не можемо да будемо сигурни јесмо ли све исправили како треба, онда треба почети од очигледних и значајних измена. Прво исправљајте грешке које су најбројније. Спојте Boston [Mass.] и Boston у један запис, промените New-York у New York па онда редом.
Постоји ли нешто што можемо да урадимо пре него што конкретне називе места кренемо да замењујемо другима? Видимо на пример да постоје различити записи "Boston and New York" и "Boston & New York". Ако заменимо " and " са " & " онда ће то имати ефекта код свих комбинација градова, не само код Бостона и Њујорка.
place=place.str.replace(" and ", " & ")
place.value_counts()
Смањили смо број различитих облика записа за 2. Није превише успешно. Да видимо даље. Изгледа да знак ; у запису значи да после тога иде нешто мање важно, нпр. где је књига штампана или се још једном појави ко је издавач.
place[place.str.contains(";")].value_counts()
Можда бисмо могли да помоћу функције уклонимо све што се појављује после ";", односно да поделимо стрингове на листе split() тако што ће управо тачка-зарез бити сепаратор па да онда узмемо само први елемент листе. Аргумент expand=True служи да резултат претвори у DataFrame како бисмо могли да узмемо само први део, односно колону са индексом 0.
place=place.str.split(";",expand=True)[0]
place.value_counts()[:40]
Ово је изгледа помогло више. Сада имамо 49 облика записа мање. Број записа где је Лондон место издавања се повећао са 3868 на 3923. То значи да смо за кратко време направили помак. Да смо ручно чистили податке, много више времена би нам требало. На сличан начин бисмо могли да чистимо и угласте заграде, да бришемо називе држава из записа (нпр. U.S.A.), али би коришћење регуларних израза било врло пожељно. Пробајте сами шта можете да очистите на овај начин.
Сада да заменимо конкретне записе које смо помињали раније.
place[place=='Boston [Mass.]']='Boston'
place[place=='New-York']='New York'
place.value_counts()[:40]
Табела сада изгледа чистије, али посао чишћења ни изблиза није готов. Ми ћемо се, међутим, овде зауставити јер не желимо да цео курс прође у чишћењу података у овој једној колони. Коначно, убацићемо низ place као нову колону поред Place of Publication како бисмо могли да контролишемо је ли чишћење било успешно.
bibreg.insert(1, "Place", place)
bibreg
Датум и време¶
Слично као што Пајтон не препознаје бројеве у "прљавој" колони, не препознаје ни датуме и време. Да бисмо могли да анализирамо временске податке, неопходно је да их забележимо у истом формату и да их конвертујемо у одговарајући, DateTime формат помоћу функције to_datetime().
Стринг који садржи датум, према ISO стандарду, треба да има формат 'YYYY-MM-DD' или 'YYYY-MM-DD HH:MM:SS' ако садржи и време. Уколико Пајтон прочита овакав стринг, умеће лако да га претвори у променљиву типа датум одакле можемо да прочитамо годину, дан, месец итд. Ако је датум записан стринг у овом формату, онда нема потребе да наглашавамо који је формат. Међутим, ако уместо 2021-07-13 стоји 12. 7. 2021. или July 13, 2021 онда морамо Пајтону тачно да кажемо како да прочита тај податак.
datum_string='2021-07-13'
# datum_string='2021-07-13 10:15:00'
datum = pd.to_datetime(datum_string)
# datum = pd.to_datetime(datum_string, format='%Y-%m-%d')
godina= datum.year
mesec = datum.month
dan = datum.day
sat=datum.hour
minut=datum.minute
sekund=datum.second
dan
pd.to_datetime("23. 5. 1970.",format="%d. %m. %Y.")
Уколико је потребно, све вредности у колони можемо да конвертујемо у датумски формат помоћу to_datetime() функције. У примеру са библиотечким регистром то нема много смисла јер су дате само године без датума па је и само један број довољан да прикаже годину издања.
y=pd.to_datetime(bibreg['Year'],format='%Y-%m-%d')
y.head()
Бонус проблеми¶
Чишћење података у Србији је мало изазовније него у већини других (европских) земаља. Први разлог за то је што користимо два писма па се често суочавамо са неконзистентно унетим подацима. Други разлог је недоследна употреба децималног зареза. На рачунару и калкулатору обично користимо тачку, а званични документи траже зарез. Још горе, сепаратор за хиљаде је у српском језику тачка, а у енглеском зарез. Коначно, трећи разлог за изазовније чишћење података је недоследно записивање датума.
Ћирилица и латиница¶
У следећој ћелији изгледа као да смо исти кôд написали два пута. Логично, очекујемо да ће излаз у оба случаја бити исти. Међутим, слово А је једном укуцано коришћењем латиничне, а други пут коришћењем ћириличне тастатуре. Пајтон је приметио ту разлику и запамтио две различите вредности ASCII кôдова. То што A и А изгледају исто, не значи да их рачунар исто региструје.
slovo = 'A' # А латиницом
print("ASCII вредност знака '" + slovo + "' је", ord(slovo))
slovo = 'А' # А ћирилицом
print("ASCII вредност знака '" + slovo + "' је", ord(slovo))
Заиста, кад питамо Пајтон да ли су ова два знака иста, он каже да нису.
"A"=="А"
Ова особина текстова писаних ћирилицом у односу на оне писане латиницом често прави неочекиване проблеме у обради текстуалних података. Зато је веома важно да то стално имамо на уму и да, кад год је то могуће, податке уносимо коришћењем истог писма и исте тастатуре.
Пајтон има библиотеке које могу да помогну у уједначавању текста. Библиотека cyrtranslit има функције које могу да ураде транслитерацију и ћирилични текст препишу у латинични и обрнуто.
# Ако библиотека cyrtranslit није већ инсталирана, инсталирајте је са
# pip install cyrtranslit
import cyrtranslit
# из латинице у ћирилицу
print(cyrtranslit.to_cyrillic("daždevnjak"))
# и из ћирилице у латиницу
print(cyrtranslit.to_latin("мравињак"))
Децимални зарез и децимална тачка¶
Када учитавате или снимате фајл са подацима који су децимални бројеви, водите рачуна да ли се користи децимална тачка или зарез. Званични подаци у Србији би требало да увек имају децимални зарез. Ако користимо CSV формат, то ће сигурно бити проблем. Не може исти знак да одваја целобројни и децимални део броја, као и да одваја бројчане податке у фајлу.
Да бисмо видели како се тај проблем решава, учитаћемо једну табелу са националног Портала за отворене податке.
# pokazatelji=pd.read_csv("https://data.gov.rs/sr/datasets/r/b1f1f94a-fe21-3a2a-b801-6f0f05b24257",sep=";")
Уколико ово учитавање због интернет везе или сервера не ради, учитајте исти фајл који смо претходно преузели и снимили.
pokazatelji=pd.read_csv("data/03IND01.csv",sep=";")
Приметите како је други аргумент функције sep=";". То значи да користим CSV формат у ком сепаратор (знак који одваја податке) није зарез (,) него тачка-зарез (;). У Европи где већина земаља користи децимални зарез ништа не би било погрешније од избора знака , за сепаратор. То би одмах обесмислило све децималне бројеве. Због тога као сепаратор користимо или "таб" или ";".
JSON формат¶
Често се користи робуснији формат података који није осетљив на писмо које користимо или избор сепаратора. JSON (JavaScript Object Notation) формат служи за преношење сложенијих структура података између различитих платформи. Тај формат за пренос података, исти за вољу, није баш прегледан али је разумљив и људима и машинама. Отворени подаци су најчешће доступни управо у ова два формата: CSV и JSON.
Када бисмо погледали какав се текст налази у једном JSON фајлу, видели бисмо структуру која наликује листи у Пајтону где поред сваког податка уписаног под знацима навода стоји назив колоне, такође под знацима навода. Овакав фајл делује непотребно редундантно, али се то показује као велика предност код сложених структура података.
[{"IDIndikator":"IND00M01","Indikator":"Градоначелник/председник општине","mes":"06","god":"2021","idter":"70017","nter":"Александровац","vrednost":"МИРКО МИХАЈЛОВИЋ","CreateDate":"6/1/2021 9:41:50 AM","LastUpdate":"6/1/2021 9:41:50 AM","IDLegenda":"A","nIzvorI":"Републички завод за статистику (РЗС)"},{"IDIndikator":"IND01G01","Indikator":"Површина (у км²)","mes":"00","god":"2020","idter":"70017","nter":"Александровац","vrednost":"387","CreateDate":"1/27/2021 10:15:39 AM","LastUpdate":"1/27/2021 10:22:18 AM","IDLegenda":"A","nIzvorI":"Републички геодетски завод (РГЗ)"},{"IDIndikator":"IND01G02","Indikator":"Број становника - процена (последњи расположив податак за
Ми бисмо могли да читамо овакве податке иако нису прегледни мада би било боље да их прочита машина па да нам их прикаже у некој табели. Учитавање података у JSON формату је аналогно оном за CSV с тим да овде није потребно навести шта је сепаратор.
pokazatelji = pd.read_json("data/03IND01.json")
Снимање табеле типа data frame у фајл је исто тако једноставно. За то служе функције to_csv() и to_json().
pokazatelji.to_csv("data/temp.csv",sep=";")