SCM

SCM Repository

[tm] Diff of /pkg/R/corpus.R
ViewVC logotype

Diff of /pkg/R/corpus.R

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

trunk/R/trunk/R/textdoccol.R revision 18, Sat Nov 5 19:00:05 2005 UTC trunk/tm/R/textdoccol.R revision 696, Fri Jan 5 15:04:53 2007 UTC
# Line 1  Line 1 
1  # Author: Ingo Feinerer  # Author: Ingo Feinerer
2    
3  # S4 class definition  # The "..." are additional arguments for the function_generator parser
4  # Text document collection  setGeneric("TextDocCol", function(object, parser = read_plain, load = FALSE, ...) standardGeneric("TextDocCol"))
5  # TODO: Define proper S4 term-document matrix  setMethod("TextDocCol",
6  setClass("textdoccol", representation(docs = "list",            signature(object = "Source"),
7                                        tdm = "matrix"))            function(object, parser = read_plain, load = FALSE, ...) {
8                  if (inherits(parser, "function_generator"))
9  # Accessor function                    parser <- parser(...)
10  if (!isGeneric("docs")) {  
11      if (is.function("docs"))                tdl <- list()
12          fun <- docs                counter <- 1
13                  while (!eoi(object)) {
14                      object <- step_next(object)
15                      elem <- get_elem(object)
16                      # If there is no Load on Demand support
17                      # we need to load the corpus into memory at startup
18                      if (!object@LoDSupport)
19                          load <- TRUE
20                      tdl <- c(tdl, list(parser(elem, load, as.character(counter))))
21                      counter <- counter + 1
22                  }
23    
24                  dmeta.df <- data.frame(MetaID = rep(0, length(tdl)), stringsAsFactors = FALSE)
25                  dcmeta.node <- new("MetaDataNode",
26                                NodeID = 0,
27                                MetaData = list(create_date = Sys.time(), creator = Sys.getenv("LOGNAME")),
28                                children = list())
29    
30                  return(new("TextDocCol", .Data = tdl, DMetaData = dmeta.df, DCMetaData = dcmeta.node))
31              })
32    
33    setGeneric("load_doc", function(object, ...) standardGeneric("load_doc"))
34    setMethod("load_doc",
35              signature(object = "PlainTextDocument"),
36              function(object, ...) {
37                  if (!Cached(object)) {
38                      con <- eval(URI(object))
39                      corpus <- readLines(con)
40                      close(con)
41                      Corpus(object) <- corpus
42                      Cached(object) <- TRUE
43                      return(object)
44                  } else {
45                      return(object)
46                  }
47              })
48    setMethod("load_doc",
49              signature(object =  "XMLTextDocument"),
50              function(object, ...) {
51                  if (!Cached(object)) {
52                      con <- eval(URI(object))
53                      corpus <- paste(readLines(con), "\n", collapse = "")
54                      close(con)
55                      doc <- xmlTreeParse(corpus, asText = TRUE)
56                      class(doc) <- "list"
57                      Corpus(object) <- doc
58                      Cached(object) <- TRUE
59                      return(object)
60                  } else {
61                      return(object)
62                  }
63              })
64    setMethod("load_doc",
65              signature(object = "NewsgroupDocument"),
66              function(object, ...) {
67                  if (!Cached(object)) {
68                      con <- eval(URI(object))
69                      mail <- readLines(con)
70                      close(con)
71                      Cached(object) <- TRUE
72                      for (index in seq(along = mail)) {
73                          if (mail[index] == "")
74                              break
75                      }
76                      Corpus(object) <- mail[(index + 1):length(mail)]
77                      return(object)
78                  } else {
79                      return(object)
80                  }
81              })
82    
83    setGeneric("tm_update", function(object, origin, parser = read_plain, ...) standardGeneric("tm_update"))
84    # Update is only supported for directories
85    # At the moment no other LoD devices are available anyway
86    setMethod("tm_update",
87              signature(object = "TextDocCol", origin = "DirSource"),
88              function(object, origin, parser = read_plain, ...) {
89                  if (inherits(parser, "function_generator"))
90                      parser <- parser(...)
91    
92                  object.filelist <- unlist(lapply(object, function(x) {as.character(URI(x))[2]}))
93                  new.files <- setdiff(origin@FileList, object.filelist)
94    
95                  for (filename in new.files) {
96                      elem <- list(content = readLines(filename),
97                                   uri = substitute(file(filename)))
98                      object <- append_doc(object, parser(elem, TRUE, origin@Load, filename), NA)
99                  }
100    
101                  return(object)
102              })
103    
104    setGeneric("tm_map", function(object, FUN, ...) standardGeneric("tm_map"))
105    setMethod("tm_map",
106              signature(object = "TextDocCol", FUN = "function"),
107              function(object, FUN, ...) {
108                  result <- object
109                  # Note that text corpora are automatically loaded into memory via \code{[[}
110                  result@.Data <- lapply(object, FUN, ..., DMetaData = DMetaData(object))
111                  return(result)
112              })
113    
114    setGeneric("as.plain", function(object, FUN, ...) standardGeneric("as.plain"))
115    setMethod("as.plain",
116              signature(object = "PlainTextDocument"),
117              function(object, FUN, ...) {
118                  return(object)
119              })
120    setMethod("as.plain",
121              signature(object = "XMLTextDocument", FUN = "function"),
122              function(object, FUN, ...) {
123                  corpus <- Corpus(object)
124    
125                  # As XMLDocument is no native S4 class, restore valid information
126                  class(corpus) <- "XMLDocument"
127                  names(corpus) <- c("doc","dtd")
128    
129                  return(FUN(xmlRoot(corpus), ...))
130              })
131    
132    setGeneric("tm_tolower", function(object, ...) standardGeneric("tm_tolower"))
133    setMethod("tm_tolower",
134              signature(object = "PlainTextDocument"),
135              function(object, ...) {
136                  Corpus(object) <- tolower(object)
137                  return(object)
138              })
139    
140    setGeneric("strip_whitespace", function(object, ...) standardGeneric("strip_whitespace"))
141    setMethod("strip_whitespace",
142              signature(object = "PlainTextDocument"),
143              function(object, ...) {
144                  Corpus(object) <- gsub("[[:space:]]+", " ", object)
145                  return(object)
146              })
147    
148    setGeneric("stem_doc", function(object, ...) standardGeneric("stem_doc"))
149    setMethod("stem_doc",
150              signature(object = "PlainTextDocument"),
151              function(object, ...) {
152                  require("Rstem")
153                  splittedCorpus <- unlist(strsplit(object, " ", fixed = TRUE))
154                  stemmedCorpus <- wordStem(splittedCorpus)
155                  Corpus(object) <- paste(stemmedCorpus, collapse = " ")
156                  return(object)
157              })
158    
159    setGeneric("remove_words", function(object, stopwords, ...) standardGeneric("remove_words"))
160    setMethod("remove_words",
161              signature(object = "PlainTextDocument", stopwords = "character"),
162              function(object, stopwords, ...) {
163                  require("Rstem")
164                  splittedCorpus <- unlist(strsplit(object, " ", fixed = TRUE))
165                  noStopwordsCorpus <- splittedCorpus[!splittedCorpus %in% stopwords]
166                  Corpus(object) <- paste(noStopwordsCorpus, collapse = " ")
167                  return(object)
168              })
169    
170    setGeneric("tm_filter", function(object, ..., FUN = s_filter, doclevel = FALSE) standardGeneric("tm_filter"))
171    setMethod("tm_filter",
172              signature(object = "TextDocCol"),
173              function(object, ..., FUN = s_filter, doclevel = FALSE) {
174                  if (doclevel)
175                      return(object[sapply(object, FUN, ..., DMetaData = DMetaData(object))])
176                  else
177                      return(object[FUN(object, ...)])
178              })
179    
180    setGeneric("tm_index", function(object, ..., FUN = s_filter, doclevel = FALSE) standardGeneric("tm_index"))
181    setMethod("tm_index",
182              signature(object = "TextDocCol"),
183              function(object, ..., FUN = s_filter, doclevel = FALSE) {
184                  if (doclevel)
185                      return(sapply(object, FUN, ..., DMetaData = DMetaData(object)))
186                  else
187                      return(FUN(object, ...))
188              })
189    
190    s_filter <- function(object, s, ...) {
191        query.df <- DMetaData(object)
192        con <- textConnection(s)
193        tokens <- scan(con, "character")
194        close(con)
195        local.meta <- lapply(object, LocalMetaData)
196        local.used.meta <- lapply(local.meta, function(x) names(x) %in% tokens)
197        l.meta <- NULL
198        for (i in 1:length(object)) {
199            l.meta <- c(l.meta, list(local.meta[[i]][local.used.meta[[i]]]))
200        }
201        # Load local meta data from text documents into data frame
202        for (i in 1:length(l.meta)) {
203            l.meta[[i]] <- c(l.meta[[i]], list(author = Author(object[[i]])))
204            l.meta[[i]] <- c(l.meta[[i]], list(datetimestamp = DateTimeStamp(object[[i]])))
205            l.meta[[i]] <- c(l.meta[[i]], list(description = Description(object[[i]])))
206            l.meta[[i]] <- c(l.meta[[i]], list(identifier = ID(object[[i]])))
207            l.meta[[i]] <- c(l.meta[[i]], list(origin = Origin(object[[i]])))
208            l.meta[[i]] <- c(l.meta[[i]], list(heading = Heading(object[[i]])))
209        }
210        for (i in 1:length(l.meta)) {
211            for (j in 1:length(l.meta[[i]])) {
212                m <- l.meta[[i]][[j]]
213                m.name <- names(l.meta[[i]][j])
214                if (!(m.name %in% names(query.df))) {
215                    before <- rep(NA, i - 1)
216                    after <- rep(NA, length(l.meta) - i)
217                    if (length(m) > 1) {
218                        nl <- vector("list", length(l.meta))
219                        nl[1:(i-1)] <- before
220                        nl[i] <- list(m)
221                        nl[(i+1):length(l.meta)] <- after
222                        insert <- data.frame(I(nl), stringsAsFactors = FALSE)
223                    }
224                    else
225                        insert <- c(before, m, after)
226                    query.df <- cbind(query.df, insert, stringsAsFactors = FALSE)
227                    names(query.df)[length(query.df)] <- m.name
228                }
229                else {
230                    if (is.null(m))
231                        m <- NA
232                    if (length(m) > 1) {
233                        rl <- query.df[ , m.name]
234                        rl[i] <- list(m)
235                        query.df[ , m.name] <- data.frame(I(rl), stringsAsFactors = FALSE)
236                    }
237                    else
238                        query.df[i, m.name] <- m
239                }
240            }
241        }
242        attach(query.df)
243        try(result <- rownames(query.df) %in% row.names(query.df[eval(parse(text = s)), ]))
244        detach(query.df)
245        return(result)
246    }
247    
248    setGeneric("search_fulltext", function(object, pattern, ...) standardGeneric("search_fulltext"))
249    setMethod("search_fulltext",
250              signature(object = "PlainTextDocument", pattern = "character"),
251              function(object, pattern, ...) {
252                  return(any(grep(pattern, Corpus(object))))
253              })
254    
255    setGeneric("append_elem", function(object, data, meta = NULL) standardGeneric("append_elem"))
256    setMethod("append_elem",
257              signature(object = "TextDocCol", data = "TextDocument"),
258              function(object, data, meta = NULL) {
259                  object@.Data[[length(object)+1]] <- data
260                  object@DMetaData <- rbind(object@DMetaData, c(MetaID = DCMetaData(object)@NodeID, meta))
261                  return(object)
262              })
263    
264    setGeneric("append_meta", function(object, dcmeta = NULL, dmeta = NULL) standardGeneric("append_meta"))
265    setMethod("append_meta",
266              signature(object = "TextDocCol"),
267              function(object, dcmeta = NULL, dmeta = NULL) {
268                  object@DCMetaData@MetaData <- c(object@DCMetaData@MetaData, dcmeta)
269                  if (!is.null(dcmeta))
270                      object@DMetaData <- cbind(object@DMetaData, dmeta)
271                  return(object)
272              })
273    
274    setGeneric("remove_meta", function(object, dcname = NULL, dname = NULL) standardGeneric("remove_meta"))
275    setMethod("remove_meta",
276              signature(object = "TextDocCol"),
277              function(object, dcname = NULL, dname = NULL) {
278                  if (!is.null(dcname)) {
279                      object@DCMetaData@MetaData <- DCMetaData(object)@MetaData[names(DCMetaData(object)@MetaData) != dcname]
280                  }
281                  if (!is.null(dname)) {
282                      object@DMetaData <- DMetaData(object)[names(DMetaData(object)) != dname]
283                  }
284                  return(object)
285              })
286    
287    setGeneric("prescind_meta", function(object, meta) standardGeneric("prescind_meta"))
288    setMethod("prescind_meta",
289              signature(object = "TextDocCol", meta = "character"),
290              function(object, meta) {
291                  for (m in meta) {
292                      if (m %in% c("Author", "DateTimeStamp", "Description", "ID", "Origin", "Heading")) {
293                          local.m <- lapply(object, m)
294                          local.m <- lapply(local.m, function(x) if (is.null(x)) return(NA) else return(x))
295                          local.m <- unlist(local.m)
296                          object@DMetaData <- cbind(DMetaData(object), data.frame(m = local.m), stringsAsFactors = FALSE)
297                          names(object@DMetaData)[length(object@DMetaData)] <- m
298                      }
299                      else {
300                          local.meta <- lapply(object, LocalMetaData)
301                          local.m <- lapply(local.meta, "[[", m)
302                          local.m <- lapply(local.m, function(x) if (is.null(x)) return(NA) else return(x))
303                          if (length(local.m) == length(unlist(local.m)))
304                              local.m <- unlist(local.m)
305      else      else
306          fun <- function(object) standardGeneric("docs")                            local.m <- I(local.m)
307      setGeneric("docs", fun)                        object@DMetaData <- cbind(DMetaData(object), data.frame(m = local.m), stringsAsFactors = FALSE)
308                          names(object@DMetaData)[length(object@DMetaData)] <- m
309                      }
310                  }
311                  return(object)
312              })
313    
314    setMethod("[",
315              signature(x = "TextDocCol", i = "ANY", j = "ANY", drop = "ANY"),
316              function(x, i, j, ... , drop) {
317                  if(missing(i))
318                      return(x)
319    
320                  object <- x
321                  object@.Data <- x@.Data[i, ..., drop = FALSE]
322                  df <- as.data.frame(DMetaData(object)[i, ])
323                  names(df) <- names(DMetaData(object))
324                  object@DMetaData <- df
325                  return(object)
326              })
327    
328    setMethod("[<-",
329              signature(x = "TextDocCol", i = "ANY", j = "ANY", value = "ANY"),
330              function(x, i, j, ... , value) {
331                  object <- x
332                  object@.Data[i, ...] <- value
333                  return(object)
334              })
335    
336    setMethod("[[",
337              signature(x = "TextDocCol", i = "ANY", j = "ANY"),
338              function(x, i, j, ...) {
339                  return(load_doc(x@.Data[[i]]))
340              })
341    
342    setMethod("[[<-",
343              signature(x = "TextDocCol", i = "ANY", j = "ANY", value = "ANY"),
344              function(x, i, j, ..., value) {
345                  object <- x
346                  object@.Data[[i, ...]] <- value
347                  return(object)
348              })
349    
350    # Update \code{NodeID}s of a DCMetaData tree
351    update_id <- function(object) {
352        id <<- 0
353        mapping <<- left.mapping <<- NULL
354        level <<- 0
355        return(list(root = set_id(object), left.mapping = left.mapping, right.mapping = mapping))
356    }
357    
358    # Traversal of (binary) DCMetaData tree with setup of \code{NodeID}s
359    set_id <- function(object) {
360        object@NodeID <- id
361        id <<- id + 1
362        level <<- level + 1
363    
364        if (length(object@children) > 0) {
365            mapping <<- cbind(mapping, c(object@children[[1]]@NodeID, id))
366            left <- set_id(object@children[[1]])
367            if (level == 1) {
368                left.mapping <<- mapping
369                mapping <<- NULL
370            }
371            mapping <<- cbind(mapping, c(object@children[[2]]@NodeID, id))
372            right <- set_id(object@children[[2]])
373    
374            object@children <- list(left, right)
375        }
376        level <<- level - 1
377    
378        return(object)
379  }  }
 setMethod("docs", "textdoccol", function(object) object@docs)  
380    
381  setGeneric("textdoccol", function(docs) standardGeneric("textdoccol"))  setMethod("c",
382  # Read in XML text documents            signature(x = "TextDocCol"),
383  # Reuters Corpus Volume 1 (RCV1)            function(x, ..., meta = list(merge_date = Sys.time(), merger = Sys.getenv("LOGNAME")), recursive = TRUE) {
384  setMethod("textdoccol", "character", function(docs) {                args <- list(...)
385      require(XML)                if(length(args) == 0)
386                      return(x)
     tree <- xmlTreeParse(docs)  
     root <- xmlRoot(tree)  
   
     # TODO: At each loop node points to the current newsitem  
     node <- root  
   
     # TODO: Implement lacking fields.  
     # For this we need the full RCV1 XML set to know where to find those things  
     author <- "Not yet implemented"  
     timestamp <- xmlAttrs(node)[["date"]]  
     description <- "Not yet implemented"  
     id <- as.integer(xmlAttrs(node)[["itemid"]])  
     origin <- "Not yet implemented"  
     corpus <- unlist(xmlApply(node[["text"]], xmlValue), use.names = FALSE)  
387    
388      heading <- xmlValue(node[["title"]])                result <- x
389                  for (c in args) {
390                      if (!inherits(c, "TextDocCol"))
391                          stop("invalid argument")
392                      result <- c2(result, c)
393                  }
394                  return(result)
395              })
396    
397    setGeneric("c2", function(x, y, ..., meta = list(merge_date = Sys.time(), merger = Sys.getenv("LOGNAME")), recursive = TRUE) standardGeneric("c2"))
398    setMethod("c2",
399              signature(x = "TextDocCol", y = "TextDocCol"),
400              function(x, y, ..., meta = list(merge_date = Sys.time(), merger = Sys.getenv("LOGNAME")), recursive = TRUE) {
401                  object <- x
402                  # Concatenate data slots
403                  object@.Data <- c(as(x, "list"), as(y, "list"))
404    
405                  # Update the DCMetaData tree
406                  dcmeta <- new("MetaDataNode", NodeID = 0, MetaData = meta, children = list(DCMetaData(x), DCMetaData(y)))
407                  update.struct <- update_id(dcmeta)
408                  object@DCMetaData <- update.struct$root
409    
410                  # Find indices to be updated for the left tree
411                  indices.mapping <- NULL
412                  for (m in levels(as.factor(DMetaData(x)$MetaID))) {
413                      indices <- (DMetaData(x)$MetaID == m)
414                      indices.mapping <- c(indices.mapping, list(m = indices))
415                      names(indices.mapping)[length(indices.mapping)] <- m
416                  }
417    
418                  # Update the DMetaData data frames for the left tree
419                  for (i in 1:ncol(update.struct$left.mapping)) {
420                      map <- update.struct$left.mapping[,i]
421                      x@DMetaData$MetaID <- replace(DMetaData(x)$MetaID, indices.mapping[[as.character(map[1])]], map[2])
422                  }
423    
424                  # Find indices to be updated for the right tree
425                  indices.mapping <- NULL
426                  for (m in levels(as.factor(DMetaData(y)$MetaID))) {
427                      indices <- (DMetaData(y)$MetaID == m)
428                      indices.mapping <- c(indices.mapping, list(m = indices))
429                      names(indices.mapping)[length(indices.mapping)] <- m
430                  }
431    
432                  # Update the DMetaData data frames for the right tree
433                  for (i in 1:ncol(update.struct$right.mapping)) {
434                      map <- update.struct$right.mapping[,i]
435                      y@DMetaData$MetaID <- replace(DMetaData(y)$MetaID, indices.mapping[[as.character(map[1])]], map[2])
436                  }
437    
438                  # Merge the DMetaData data frames
439                  labels <- setdiff(names(DMetaData(y)), names(DMetaData(x)))
440                  na.matrix <- matrix(NA, nrow = nrow(DMetaData(x)), ncol = length(labels), dimnames = list(row.names(DMetaData(x)), labels))
441                  x.dmeta.aug <- cbind(DMetaData(x), na.matrix)
442                  labels <- setdiff(names(DMetaData(x)), names(DMetaData(y)))
443                  na.matrix <- matrix(NA, nrow = nrow(DMetaData(y)), ncol = length(labels), dimnames = list(row.names(DMetaData(y)), labels))
444                  y.dmeta.aug <- cbind(DMetaData(y), na.matrix)
445                  object@DMetaData <- rbind(x.dmeta.aug, y.dmeta.aug)
446    
447                  return(object)
448              })
449    
450    
451    setMethod("c",
452              signature(x = "TextDocument"),
453              function(x, ..., recursive = TRUE){
454                  args <- list(...)
455                  if(length(args) == 0)
456                      return(x)
457    
458                  dmeta.df <- data.frame(MetaID = rep(0, length(list(x, ...))), stringsAsFactors = FALSE)
459                  dcmeta.node <- new("MetaDataNode",
460                                NodeID = 0,
461                                MetaData = list(create_date = Sys.time(), creator = Sys.getenv("LOGNAME")),
462                                children = list())
463    
464                  return(new("TextDocCol", .Data = list(x, ...), DMetaData = dmeta.df, DCMetaData = dcmeta.node))
465              })
466    
467    setMethod("length",
468              signature(x = "TextDocCol"),
469              function(x){
470                  return(length(as(x, "list")))
471        })
472    
473    setMethod("show",
474              signature(object = "TextDocCol"),
475              function(object){
476                  cat(sprintf(ngettext(length(object),
477                                       "A text document collection with %d text document\n",
478                                       "A text document collection with %d text documents\n"),
479                              length(object)))
480        })
481    
482      doc <- new("textdocument", author = author, timestamp = timestamp, description = description,  setMethod("summary",
483                 id = id, origin = origin, corpus = corpus, heading = heading)            signature(object = "TextDocCol"),
484              function(object){
485                  show(object)
486                  if (length(DMetaData(object)) > 0) {
487                      cat(sprintf(ngettext(length(DCMetaData(object)@MetaData),
488                                                  "\nThe metadata consists of %d tag-value pair and a data frame\n",
489                                                  "\nThe metadata consists of %d tag-value pairs and a data frame\n"),
490                                           length(DCMetaData(object)@MetaData)))
491                      cat("Available tags are:\n")
492                      cat(names(DCMetaData(object)@MetaData), "\n")
493                      cat("Available variables in the data frame are:\n")
494                      cat(names(DMetaData(object)), "\n")
495                  }
496        })
497    
498    setGeneric("inspect", function(object) standardGeneric("inspect"))
499    setMethod("inspect",
500              signature("TextDocCol"),
501              function(object) {
502                  summary(object)
503                  cat("\n")
504                  show(object@.Data)
505              })
506    
507      new("textdoccol", docs = list(doc), tdm = matrix())  # No metadata is checked
508    setGeneric("%IN%", function(x, y) standardGeneric("%IN%"))
509    setMethod("%IN%",
510              signature(x = "TextDocument", y = "TextDocCol"),
511              function(x, y) {
512                  x %in% y
513  })  })

Legend:
Removed from v.18  
changed lines
  Added in v.696

root@r-forge.r-project.org
ViewVC Help
Powered by ViewVC 1.0.0  
Thanks to:
Vienna University of Economics and Business Powered By FusionForge