konto usunięte

Temat: Aktualizacja bazy danych

Szanowni Państwo,

Zastanawiam się, czy istnieje w R jakiś pakiet/funkcja, który/a umożliwia aktualizację danych na bieżąco?? Tzn. ściągam dane z danej stronki internetowej i np. po 10 minutach program sam ponownie ściąga takie dane i wykonuje wszystkie kolejne polecenia zapisane przez użytkownika.

Tym samym użytkownik nie będzie zmuszony do ponownego "odpalania" takiego programu, a wszystkie procesy będę działały w tle...

Dziękuję za wszystkie merytoryczne wypowiedzi :)
Maciej B.

Maciej B. Doktorant

Temat: Aktualizacja bazy danych

Hej,

możesz skorzystać z Task Mangera w Windowsie (o ile z niego korzystasz) lub z crona w Linuxie.

Przykładowy kod, który odpala skrypty (rozszerzenie .bat).


"C:\PROGRAM FILES\R\R-2.15.2\BIN\X64\R.EXE" CMD BATCH --vanilla --slave "sciezka_do_kodu\kod.R"


Główka pliku z kodem R


.libPaths("C:/Program Files/RStudio/R/library")
##################### jest kod ##################
library(httr)
library(XML)
library(stringr)


Kiedy, jak często i jak długo ustalisz sobie w Task Managerze / Cronie.

Pozdr,
MB
Kamil Bęczyński

Kamil Bęczyński R, SAS, analizy

Temat: Aktualizacja bazy danych

Błażej Z.:
Szanowni Państwo,

Zastanawiam się, czy istnieje w R jakiś pakiet/funkcja, który/a umożliwia aktualizację danych na bieżąco?? Tzn. ściągam dane z danej stronki internetowej i np. po 10 minutach program sam ponownie ściąga takie dane i wykonuje wszystkie kolejne polecenia zapisane przez użytkownika.

Tym samym użytkownik nie będzie zmuszony do ponownego "odpalania" takiego programu, a wszystkie procesy będę działały w tle...

Dziękuję za wszystkie merytoryczne wypowiedzi :)

Jeżeli potrafisz ściągać dane z sieci przez R, wrzuć swój kod w nieskończoną pętlę while() - while(true), przed kodem dodaj polecenie Sys.sleep() i zrobione.

Jeżeli chciałbyś by zbiór danych był odświeżany co 10 minut, a ty w tym czasie mógł robić inne rzeczy w R, wtedy odpalamy dwie instancje R'a jedna ściąga dane przez wymienioną pętlę while(), natomiast z poziomu drugiej operujesz na aktualnym zbiorze danych - zauważyłem, że R nie chroni przed nadpisaniem plików które się wczytało, gdyż po prostu wczytuje je całe do pamięci, dlatego w przypadku opisanego przeze mnie podejścia nie powinieneś mieć kłopotów z dostępem do plików np. gdy otworzysz .xls w Excel, to nie możesz edytować nazwy tego pliku z poziomu explorera windows.

ps. można tak ustawić jeden ze skrótów do R, tak żeby na starcie odpalał wskazany przez nas skrypt

ps2. do takich zastosowań jak ściąganie danych z sieci polecam jednak Python'a

konto usunięte

Temat: Aktualizacja bazy danych

Dzięki:)

Następna dyskusja:

duże bazy danych w R




Wyślij zaproszenie do