SCM

SCM Repository

[tm] Diff of /pkg/R/corpus.R
ViewVC logotype

Diff of /pkg/R/corpus.R

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

trunk/tm/R/textdoccol.R revision 861, Thu Jul 24 09:55:09 2008 UTC pkg/tm/R/textdoccol.R revision 884, Wed Jan 28 10:24:27 2009 UTC
# Line 26  Line 26 
26                    db <- dbInit(dbControl$dbName, dbControl$dbType)                    db <- dbInit(dbControl$dbName, dbControl$dbType)
27                }                }
28    
29                tdl <- list()                # Allocate memory in advance if length is known
30                  tdl <- if (object@Length > 0)
31                      vector("list", as.integer(object@Length))
32                  else
33                      list()
34    
35                counter <- 1                counter <- 1
36                while (!eoi(object)) {                while (!eoi(object)) {
37                    object <- stepNext(object)                    object <- stepNext(object)
# Line 38  Line 43 
43                    doc <- readerControl$reader(elem, readerControl$load, readerControl$language, as.character(counter))                    doc <- readerControl$reader(elem, readerControl$load, readerControl$language, as.character(counter))
44                    if (dbControl$useDb) {                    if (dbControl$useDb) {
45                        dbInsert(db, ID(doc), doc)                        dbInsert(db, ID(doc), doc)
46                          if (object@Length > 0)
47                              tdl[[counter]] <- ID(doc)
48                          else
49                        tdl <- c(tdl, ID(doc))                        tdl <- c(tdl, ID(doc))
50                    }                    }
51                      else {
52                          if (object@Length > 0)
53                              tdl[[counter]] <- doc
54                    else                    else
55                        tdl <- c(tdl, list(doc))                        tdl <- c(tdl, list(doc))
56                      }
57                    counter <- counter + 1                    counter <- counter + 1
58                }                }
59    
# Line 140  Line 152 
152                if (is.null(readerControl$load))                if (is.null(readerControl$load))
153                    readerControl$load = TRUE                    readerControl$load = TRUE
154    
155                object.filelist <- unlist(lapply(object, function(x) {as.character(URI(x))[2]}))                object.filelist <- unlist(lapply(object, function(x) {summary(eval(URI(x)))$description}))
156                new.files <- setdiff(origin@FileList, object.filelist)                new.files <- setdiff(origin@FileList, object.filelist)
157    
158                for (filename in new.files) {                for (filename in new.files) {
# Line 187  Line 199 
199                    }                    }
200                    else {                    else {
201                        result@.Data <- if (clusterAvailable())                        result@.Data <- if (clusterAvailable())
202                            parLapply(snow::getMPIcluster(), object, FUN, ..., DMetaData = DMetaData(object))                            snow::parLapply(snow::getMPIcluster(), object, FUN, ..., DMetaData = DMetaData(object))
203                        else                        else
204                            lapply(object, FUN, ..., DMetaData = DMetaData(object))                            lapply(object, FUN, ..., DMetaData = DMetaData(object))
205                    }                    }
# Line 254  Line 266 
266  setMethod("asPlain",  setMethod("asPlain",
267            signature(object = "NewsgroupDocument"),            signature(object = "NewsgroupDocument"),
268            function(object, FUN, ...) {            function(object, FUN, ...) {
269                new("PlainTextDocument", .Data = Content(object), Cached = TRUE, URI = "", Author = Author(object),                new("PlainTextDocument", .Data = Content(object), Cached = TRUE, URI = NULL, Author = Author(object),
270                    DateTimeStamp = DateTimeStamp(object), Description = Description(object), ID = ID(object),                    DateTimeStamp = DateTimeStamp(object), Description = Description(object), ID = ID(object),
271                    Origin = Origin(object), Heading = Heading(object), Language = Language(object),                    Origin = Origin(object), Heading = Heading(object), Language = Language(object),
272                    LocalMetaData = LocalMetaData(object))                    LocalMetaData = LocalMetaData(object))
# Line 263  Line 275 
275            signature(object = "StructuredTextDocument"),            signature(object = "StructuredTextDocument"),
276            function(object, FUN, ...) {            function(object, FUN, ...) {
277                new("PlainTextDocument", .Data = unlist(Content(object)), Cached = TRUE,                new("PlainTextDocument", .Data = unlist(Content(object)), Cached = TRUE,
278                    URI = "", Author = Author(object), DateTimeStamp = DateTimeStamp(object),                    URI = NULL, Author = Author(object), DateTimeStamp = DateTimeStamp(object),
279                    Description = Description(object), ID = ID(object), Origin = Origin(object),                    Description = Description(object), ID = ID(object), Origin = Origin(object),
280                    Heading = Heading(object), Language = Language(object),                    Heading = Heading(object), Language = Language(object),
281                    LocalMetaData = LocalMetaData(object))                    LocalMetaData = LocalMetaData(object))
# Line 277  Line 289 
289                    doclevel <- attr(FUN, "doclevel")                    doclevel <- attr(FUN, "doclevel")
290                if (doclevel) {                if (doclevel) {
291                    if (clusterAvailable())                    if (clusterAvailable())
292                        return(object[parSapply(snow::getMPIcluster(), object, FUN, ..., DMetaData = DMetaData(object))])                        return(object[snow::parSapply(snow::getMPIcluster(), object, FUN, ..., DMetaData = DMetaData(object))])
293                    else                    else
294                        return(object[sapply(object, FUN, ..., DMetaData = DMetaData(object))])                        return(object[sapply(object, FUN, ..., DMetaData = DMetaData(object))])
295                }                }
# Line 293  Line 305 
305                    doclevel <- attr(FUN, "doclevel")                    doclevel <- attr(FUN, "doclevel")
306                if (doclevel) {                if (doclevel) {
307                    if (clusterAvailable())                    if (clusterAvailable())
308                        return(parSapply(snow::getMPIcluster(), object, FUN, ..., DMetaData = DMetaData(object)))                        return(snow::parSapply(snow::getMPIcluster(), object, FUN, ..., DMetaData = DMetaData(object)))
309                    else                    else
310                        return(sapply(object, FUN, ..., DMetaData = DMetaData(object)))                        return(sapply(object, FUN, ..., DMetaData = DMetaData(object)))
311                }                }

Legend:
Removed from v.861  
changed lines
  Added in v.884

root@r-forge.r-project.org
ViewVC Help
Powered by ViewVC 1.0.0  
Thanks to:
Vienna University of Economics and Business Powered By FusionForge