ïîèñêå ïðåäåëüíûõ ñìûñëîâ

Íà÷èíàíèÿ ñ R 2.10 ìîæíî ÷èòàòü äàííûå ïðÿìî èç òåêñòîâîãî ôàéëà, ñæàòîãî ñ ïîìîùüþ GZIP èëè äðóãèõ ïðîãðàìì äëÿ àðõèâàöèè ôàéëîâ. Ñæàòèå áîëüøîãî ôàéëà äàííûõ, áåçóñëîâíî, ìîæåò ñýêîíîìèòü äèñêîâîå ïðîñòðàíñòâî: äëÿ ôàéëà, ñîäåðæàùåãî â îñíîâíîì öèôðû, 50% + óìåíüøåíèå ðàçìåðà ôàéëà ÿâëÿåòñÿ òèïè÷íûì. Íî íå ïðèâåäåò ëè ýêîíîìèÿ ïðîñòðàíñòâà ê òîìó, ÷òî ïðèäåòñÿ ïëàòèòü â ñêîðîñòè, êîãäà äåëî äîéäåò äî ÷òåíèÿ ôàéëà ñ äàííûìè äëÿ àíàëèçà? Äàâàéòå ïîïðîáóåì ýòî ïðîâåðèòü.

Âî-ïåðâûõ, ñãåíåðèðóåì ìàòðèöó ðàçìåðîì 10 ìëí. ñòðîê è 1000 ñòîëáöîâ, çàïîëíåííóþ ñëó÷àéíûìè ÷èñëàìè, è ñîõðàíèì åå â îòäåëüíûé ôàéë: More

Ïðåäñòàâèì ñèòóàöèþ, ÷òî ó âàñ åñòü äîìàøíèé è ðàáî÷èé êîìïüþòåð. Íà äîìàøíåì êîìïüþòåðå óñòàíîâëåí R è âñå èñïîëüçóåìûå âàìè ïàêåòû ê íåìó. Íà ðàáî÷åì êîìïüþòåðå óñòàíîâëåíà ñâåæàÿ âåðñèÿ R, íî íåò âñåõ ïàêåòîâ, êîòîðûå âû ïîñòîÿííî èñïîëüçóåòå. Ìîæíî ïî ïàìÿòè óñòàíîâèòü íåäîñòàþùèå ïàêåòû íà ðàáî÷åì êîìïüþòåðå, íî åñòü ñïîñîá ïðîùå:

1. Íà äîìàøíåì êîìïüþòåðå ïîëó÷àåì ïîëíûé ñïèñîê óñòàíîâëåííûõ ïàêåòîâ
pkgList <- installed.packages(priority=»NA»)[,»Package»]

2. Ñîõðàíÿåì îáúåêò pkgList â òåêóùåì ðàáî÷åì êàòàëîãå (âîñïîëüçóéòåñü êîìàíäîé getwd(), ÷òîáû óçíàòü òåêóùèé ðàáî÷èé êàòàëîã)
saveRDS(pkgList, «pkg.Rds»)

3. Íà ðàáî÷åì êîìïüþòåðå çàïóñêàåì R (ïðåäâàðèòåëüíî ñêîïèðîâàâ ôàéë pkg.Rds â íåîáõîäèìûé êàòàëîã) è âûïîëíÿåì êîìàíäó:
install.packages(readRDS(«pkg.Rds»))

Òåïåðü íà äîìàøíåì è ðàáî÷åì êîìïüþòåðàõ ó âàñ îäèíàêîâûé íàáîð ïàêåòîâ.

 R åñòü çàìå÷àòåëüíàÿ ôóíêöèÿ ñomment(), êîòîðàÿ ïîçâîëÿåò çàïðîñèòü èëè óñòàíîâèòü êîììåíòàðèé äëÿ îáúåêòà. Êàê ïðàâèëî, êîììåíòàðèé ïîëåçíî óñòàíîâèòü äëÿ íàáîðà äàííûõ.

Äëÿ òåõ, êòî åùå òîëüêî ñîáèðàåòñÿ íà÷àòü èçó÷åíèå R, íî íå âëàäåò àíãëèéñêèì, ÿ ñäåëàë íåáîëüøóþ ïîäáîðêó êíèã:

1. Ðîáåðò È. Êàáàêîâ «R â äåéñòâèè. Àíàëèç è âèçóàëèçàöèÿ äàííûõ íà ÿçûêå R»

R â äåéñòâèè

«R â äåéñòâèè» — ýòî ðóêîâîäñòâî íî îáó÷åíèþ ýòîìó ÿçûêó ñ îñîáûì âíèìàíèåì ê ïðàêòè÷åñêèì çàäà÷àì.  äàííîé êíèãå ïðåäñòàâëåíû ïîëåçíûå ïðèìåðû ñòàòèñòè÷åñêîé îáðàáîòêè äàííûõ è îïèñàíû èçÿùíûå ìåòîäû ðàáîòû ñ çàïóòàííûìè è íåïîëíûìè äàííûìè, à òàêæå ñ äàííûìè, ðàñïðåäåëåíèå êîòîðûõ îòëè÷íî îò íîðìàëüíîãî è ñ êîòîðûìè òðóäíî ñïðàâèòüñÿ îáû÷íûìè ìåòîäàìè. Ñòàòèñòè÷åñêèé àíàëèç — ýòî òîëüêî îäíà ñòîðîíà äåëà. Âû òàêæå îâëàäååòå îáøèðíûìè ãðàôè÷åñêèìè âîçìîæíîñòÿìè äëÿ âèçóàëüíîãî èññëåäîâàíèÿ è ïðåäñòàâëåíèÿ äàííûõ.

Îçíàêîìèòåëüíûå ìàòåðèàëû êíèãè Êàáàêîâ Ð.È. R â äåéñòâèè. Àíàëèç è âèçóàëèçàöèÿ äàííûõ â ïðîãðàììå R / ïåð. ñ àíãë. Ï. Âîëêîâîé. Ì.: ÄÌÊ Ïðåññ, 2014. 580 ñ. â ýëåêòðîííîì âèäå (PDF): More

Ñåðâèñ âèðòóàëüíûõ èññëåäîâàíèé Virtualexs.ru ïîçâîëÿåò ñîõðàíÿòü IP-àäðåñ ó÷àñòíèêà îïðîñà (òåñòèðîâàíèÿ). Ýòî äàåò âîçìîæíîñòü îïðåäåëèòü ãåîãðàôè÷åñêîå ïîëîæåíèå ó÷àñòíèêà. Ïîïðîáóåì íàíåñòè íà êàðòó ýòè äàííûe.

# Òðåáóåìûå áèáëèîòåêè
library(RCurl)
library(maps)
library(mapdata)
library(rgeolocate)
library(ggplot2)

# Çàãðóçèì äàííûå
myfile <- «https://dl.dropboxusercontent.com/u/33111025/ip_data.csv»
myfile <- getURL(myfile, ssl.verifyhost=FALSE, ssl.verifypeer=FALSE)
mydata <- read.csv(textConnection(myfile), header=TRUE, stringsAsFactors=FALSE)

# Ñîáåðåì äàííûå ïî IP-àäðåñàì è îïðåäåëèì ïî íèì êîîðäèíàòû ó÷àñòíèêà

file <- system.file(«extdata»,»GeoLite2-City.mmdb», package = «rgeolocate»)
ipdata <- maxmind(mydata$VExS_ip, file, fields = c(«country_name», «country_code»,
«city_name», «longitude», «latitude»))

# Ïîñòðîèì êàðòó
plot.new()
png(file=»world.png»,width=600,height=400)
map(«worldHires»)
map.axes()
for (i in 1:length(ipdata)) {
points(ipdata$longitude, ipdata$latitude, col=rgb(red=0.2, green=0.2, blue=1.0, alpha=0.1),pch=20)
}
dev.off()

Ïåðâûé ñïîñîá

# âòîðîé ñïîñîá

geomap1 <- ipdata[,c(«latitude», «longitude»)]
world_map<-map_data(«world»)
world_map <- subset(world_map, region != «Antarctica»)
gg <- ggplot(world_map)
gg <- gg + geom_map(dat=world_map, map = world_map,
aes(map_id=region), fill=»white», color=»gray70″)
gg <- gg + geom_point(data=geomap1, aes(longitude, latitude),
colour=»red», alpha=1/10, size=2)
gg <- gg + theme_bw()
print(gg)

Âòîðîé ñïîñîá

Ïî÷òè äâà ãîäà íàçàä ìíîé ðàçðàáîòàí è çàïóùåí ñàéò êíèãè À.Ã.Øìåëåâà «Ïðàêòè÷åñêàÿ òåñòîëîãèÿ». Ðåøèë ïîñìîòðåòü ñòàòèñòèêó àêòèâíîñòè ïî ãëàâíîé ñòðàíèöå ñàéòà ñ ïîìîùüþ èíñòðóìåíòà «Êàðòà êëèêîâ» (ò.í. «òåïëîâîé êàðòû»). Êàðòà êëèêîâ ïîìîãàåò îöåíèâàòü þçàáèëèòè ñàéòà, âûÿâëÿòü íàèáîëåå êëèêàáåëüíûå ýëåìåíòû, îïðåäåëÿòü, êàêèå ýëåìåíòû äèçàéíà êàæóòñÿ ïîñåòèòåëÿì ñàéòîâ ññûëêîé, íî òàêîâîé íå ÿâëÿþòñÿ. Ìîæíî íàãëÿäíî óâèäåòü íàèáîëåå «êëèêàáåëüíûå» îáëàñòè ñòðàíèö. Ôàêòè÷åñêè, òåïëîâàÿ êàðòà — ýòî ãðàôè÷åñêîå îòîáðàæåíèå ïîëüçîâàòåëüñêîé àêòèâíîñòè íà ñàéòå. Íèæå ïðåäñòàâëåíà êàðòà êëèêîâ íà îñíîâå ñòàòèñòèêè çà îäèí ãîä ðàáîòû ñàéòà (÷óòü áîëåå 1000 êëèêîâ).

Àêòèâíîñòü ïîñåòèòåëåé ñàéòà íà îñíîâå òåïëîâîé êàðòû

Êàê ìû âèäèì, âûáðàíà îïòèìàëüíàÿ ñõåìà ãðàôè÷åñêîãî äèçàéíà è âåðñòêè ñàéòà. More

Ðàíåå ÿ óæå ðàññêàçûâàë î òîì, êàê ìîæíî ñ÷èòûâàòü äàííûå î ïîñåùàåìîñòè ñàéòà è âèçóàëèçèðîâàòü èõ ñ ïîìîùüþ R. Îáíîâëåííûé âàðèàíò, ðåàëèçîâàííûé ñ ïîìîùüþ ÿçûêà ðàçìåòêè R Markdown: https://beta.rstudioconnect.com/psych/BlogStat/BlogStat.html

RMarkdown (Rmd ôàéë) — ýòî îáû÷íûé md-ôàéë ñ íåêîòîðûìè äîáàâêàìè, êîòîðûå âêëþ÷àþò â ñåáÿ êîä R è íåêîòîðûå îïöèè (ñì. ìîé Rmd).