SCM

SCM Repository

[tm] Diff of /pkg/R/corpus.R
ViewVC logotype

Diff of /pkg/R/corpus.R

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

trunk/R/trunk/R/textdoccol.R revision 18, Sat Nov 5 19:00:05 2005 UTC trunk/textmin/R/textdoccol.R revision 689, Fri Dec 8 14:21:46 2006 UTC
# Line 1  Line 1 
1  # Author: Ingo Feinerer  # Author: Ingo Feinerer
2    
3  # S4 class definition  # The "..." are additional arguments for the function_generator parser
4  # Text document collection  setGeneric("TextDocCol", function(object, parser = plaintext_parser, ...) standardGeneric("TextDocCol"))
5  # TODO: Define proper S4 term-document matrix  setMethod("TextDocCol",
6  setClass("textdoccol", representation(docs = "list",            signature(object = "Source"),
7                                        tdm = "matrix"))            function(object, parser = plaintext_parser, ...) {
8                  if (inherits(parser, "function_generator"))
9  # Accessor function                    parser <- parser(...)
 if (!isGeneric("docs")) {  
     if (is.function("docs"))  
         fun <- docs  
     else  
         fun <- function(object) standardGeneric("docs")  
     setGeneric("docs", fun)  
 }  
 setMethod("docs", "textdoccol", function(object) object@docs)  
   
 setGeneric("textdoccol", function(docs) standardGeneric("textdoccol"))  
 # Read in XML text documents  
 # Reuters Corpus Volume 1 (RCV1)  
 setMethod("textdoccol", "character", function(docs) {  
     require(XML)  
   
     tree <- xmlTreeParse(docs)  
     root <- xmlRoot(tree)  
   
     # TODO: At each loop node points to the current newsitem  
     node <- root  
   
     # TODO: Implement lacking fields.  
     # For this we need the full RCV1 XML set to know where to find those things  
     author <- "Not yet implemented"  
     timestamp <- xmlAttrs(node)[["date"]]  
     description <- "Not yet implemented"  
     id <- as.integer(xmlAttrs(node)[["itemid"]])  
     origin <- "Not yet implemented"  
     corpus <- unlist(xmlApply(node[["text"]], xmlValue), use.names = FALSE)  
10    
11      heading <- xmlValue(node[["title"]])                tdl <- list()
12                  counter <- 1
13                  while (!eoi(object)) {
14                      object <- step_next(object)
15                      elem <- get_elem(object)
16                      # If there is no Load on Demand support
17                      # we need to load the corpus into memory at startup
18                      if (object@LoDSupport)
19                          load <- object@Load
20                      else
21                          load <- TRUE
22                      tdl <- c(tdl, list(parser(elem, object@LoDSupport, load, as.character(counter))))
23                      counter <- counter + 1
24                  }
25    
26                  dmeta.df <- data.frame(MetaID = rep(0, length(tdl)), stringsAsFactors = FALSE)
27                  dcmeta.node <- new("MetaDataNode",
28                                NodeID = 0,
29                                MetaData = list(create_date = Sys.time(), creator = Sys.getenv("LOGNAME")),
30                                children = list())
31    
32                  return(new("TextDocCol", .Data = tdl, DMetaData = dmeta.df, DCMetaData = dcmeta.node))
33              })
34    
35    setGeneric("load_doc", function(object, ...) standardGeneric("load_doc"))
36    setMethod("load_doc",
37              signature(object = "PlainTextDocument"),
38              function(object, ...) {
39                  if (!Cached(object)) {
40                      con <- eval(URI(object))
41                      corpus <- readLines(con)
42                      close(con)
43                      Corpus(object) <- corpus
44                      Cached(object) <- TRUE
45                      return(object)
46                  } else {
47                      return(object)
48                  }
49              })
50    setMethod("load_doc",
51              signature(object =  "XMLTextDocument"),
52              function(object, ...) {
53                  if (!Cached(object)) {
54                      con <- eval(URI(object))
55                      corpus <- paste(readLines(con), "\n", collapse = "")
56                      close(con)
57                      doc <- xmlTreeParse(corpus, asText = TRUE)
58                      class(doc) <- "list"
59                      Corpus(object) <- doc
60                      Cached(object) <- TRUE
61                      return(object)
62                  } else {
63                      return(object)
64                  }
65              })
66    setMethod("load_doc",
67              signature(object = "NewsgroupDocument"),
68              function(object, ...) {
69                  if (!Cached(object)) {
70                      con <- eval(URI(object))
71                      mail <- readLines(con)
72                      close(con)
73                      Cached(object) <- TRUE
74                      for (index in seq(along = mail)) {
75                          if (mail[index] == "")
76                              break
77                      }
78                      Corpus(object) <- mail[(index + 1):length(mail)]
79                      return(object)
80                  } else {
81                      return(object)
82                  }
83              })
84    
85    setGeneric("tm_update", function(object, origin, parser = plaintext_parser, ...) standardGeneric("tm_update"))
86    # Update is only supported for directories
87    # At the moment no other LoD devices are available anyway
88    setMethod("tm_update",
89              signature(object = "TextDocCol", origin = "DirSource"),
90              function(object, origin, parser = plaintext_parser, ...) {
91                  if (inherits(parser, "function_generator"))
92                      parser <- parser(...)
93    
94                  object.filelist <- unlist(lapply(object, function(x) {as.character(URI(x))[2]}))
95                  new.files <- setdiff(origin@FileList, object.filelist)
96    
97                  for (filename in new.files) {
98                      elem <- list(content = readLines(filename),
99                                   uri = substitute(file(filename)))
100                      object <- append_doc(object, parser(elem, TRUE, origin@Load, filename), NA)
101                  }
102    
103                  return(object)
104              })
105    
106    setGeneric("tm_transform", function(object, FUN, ...) standardGeneric("tm_transform"))
107    setMethod("tm_transform",
108              signature(object = "TextDocCol", FUN = "function"),
109              function(object, FUN, ...) {
110                  result <- object
111                  # Note that text corpora are automatically loaded into memory via \code{[[}
112                  result@.Data <- lapply(object, FUN, ..., DMetaData = DMetaData(object))
113                  return(result)
114              })
115    
116    setGeneric("as.plaintext_doc", function(object, FUN, ...) standardGeneric("as.plaintext_doc"))
117    setMethod("as.plaintext_doc",
118              signature(object = "PlainTextDocument"),
119              function(object, FUN, ...) {
120                  return(object)
121              })
122    setMethod("as.plaintext_doc",
123              signature(object = "XMLTextDocument", FUN = "function"),
124              function(object, FUN, ...) {
125                  corpus <- Corpus(object)
126    
127                  # As XMLDocument is no native S4 class, restore valid information
128                  class(corpus) <- "XMLDocument"
129                  names(corpus) <- c("doc","dtd")
130    
131                  return(FUN(xmlRoot(corpus), ...))
132              })
133    
134    setGeneric("tm_tolower", function(object, ...) standardGeneric("tm_tolower"))
135    setMethod("tm_tolower",
136              signature(object = "PlainTextDocument"),
137              function(object, ...) {
138                  Corpus(object) <- tolower(object)
139                  return(object)
140              })
141    
142    setGeneric("strip_whitespace", function(object, ...) standardGeneric("strip_whitespace"))
143    setMethod("strip_whitespace",
144              signature(object = "PlainTextDocument"),
145              function(object, ...) {
146                  Corpus(object) <- gsub("[[:space:]]+", " ", object)
147                  return(object)
148              })
149    
150    setGeneric("stem_doc", function(object, ...) standardGeneric("stem_doc"))
151    setMethod("stem_doc",
152              signature(object = "PlainTextDocument"),
153              function(object, ...) {
154                  require(Rstem)
155                  splittedCorpus <- unlist(strsplit(object, " ", fixed = TRUE))
156                  stemmedCorpus <- wordStem(splittedCorpus)
157                  Corpus(object) <- paste(stemmedCorpus, collapse = " ")
158                  return(object)
159              })
160    
161    setGeneric("remove_words", function(object, stopwords, ...) standardGeneric("remove_words"))
162    setMethod("remove_words",
163              signature(object = "PlainTextDocument", stopwords = "character"),
164              function(object, stopwords, ...) {
165                  require(Rstem)
166                  splittedCorpus <- unlist(strsplit(object, " ", fixed = TRUE))
167                  noStopwordsCorpus <- splittedCorpus[!splittedCorpus %in% stopwords]
168                  Corpus(object) <- paste(noStopwordsCorpus, collapse = " ")
169                  return(object)
170              })
171    
172    setGeneric("tm_filter", function(object, ..., FUN = s_filter, doclevel = FALSE) standardGeneric("tm_filter"))
173    setMethod("tm_filter",
174              signature(object = "TextDocCol"),
175              function(object, ..., FUN = s_filter, doclevel = FALSE) {
176                  if (doclevel)
177                      return(object[sapply(object, FUN, ..., DMetaData = DMetaData(object))])
178                  else
179                      return(object[FUN(object, ...)])
180              })
181    
182    setGeneric("tm_index", function(object, ..., FUN = s_filter, doclevel = FALSE) standardGeneric("tm_index"))
183    setMethod("tm_index",
184              signature(object = "TextDocCol"),
185              function(object, ..., FUN = s_filter, doclevel = FALSE) {
186                  if (doclevel)
187                      return(sapply(object, FUN, ..., DMetaData = DMetaData(object)))
188                  else
189                      return(FUN(object, ...))
190              })
191    
192    s_filter <- function(object, s, ...) {
193        query.df <- DMetaData(object)
194        con <- textConnection(s)
195        tokens <- scan(con, "character")
196        close(con)
197        local.meta <- lapply(object, LocalMetaData)
198        local.used.meta <- lapply(local.meta, function(x) names(x) %in% tokens)
199        l.meta <- NULL
200        for (i in 1:length(object)) {
201            l.meta <- c(l.meta, list(local.meta[[i]][local.used.meta[[i]]]))
202        }
203        # Load local meta data from text documents into data frame
204        for (i in 1:length(l.meta)) {
205            l.meta[[i]] <- c(l.meta[[i]], list(author = Author(object[[i]])))
206            l.meta[[i]] <- c(l.meta[[i]], list(datetimestamp = DateTimeStamp(object[[i]])))
207            l.meta[[i]] <- c(l.meta[[i]], list(description = Description(object[[i]])))
208            l.meta[[i]] <- c(l.meta[[i]], list(identifier = ID(object[[i]])))
209            l.meta[[i]] <- c(l.meta[[i]], list(origin = Origin(object[[i]])))
210            l.meta[[i]] <- c(l.meta[[i]], list(heading = Heading(object[[i]])))
211        }
212        for (i in 1:length(l.meta)) {
213            for (j in 1:length(l.meta[[i]])) {
214                m <- l.meta[[i]][[j]]
215                m.name <- names(l.meta[[i]][j])
216                if (!(m.name %in% names(query.df))) {
217                    before <- rep(NA, i - 1)
218                    after <- rep(NA, length(l.meta) - i)
219                    if (length(m) > 1) {
220                        nl <- vector("list", length(l.meta))
221                        nl[1:(i-1)] <- before
222                        nl[i] <- list(m)
223                        nl[(i+1):length(l.meta)] <- after
224                        insert <- data.frame(I(nl), stringsAsFactors = FALSE)
225                    }
226                    else
227                        insert <- c(before, m, after)
228                    query.df <- cbind(query.df, insert, stringsAsFactors = FALSE)
229                    names(query.df)[length(query.df)] <- m.name
230                }
231                else {
232                    if (is.null(m))
233                        m <- NA
234                    if (length(m) > 1) {
235                        rl <- query.df[ , m.name]
236                        rl[i] <- list(m)
237                        query.df[ , m.name] <- data.frame(I(rl), stringsAsFactors = FALSE)
238                    }
239                    else
240                        query.df[i, m.name] <- m
241                }
242            }
243        }
244        attach(query.df)
245        try(result <- rownames(query.df) %in% row.names(query.df[eval(parse(text = s)), ]))
246        detach(query.df)
247        return(result)
248    }
249    
250    setGeneric("fulltext_search_filter", function(object, pattern, ...) standardGeneric("fulltext_search_filter"))
251    setMethod("fulltext_search_filter",
252              signature(object = "PlainTextDocument", pattern = "character"),
253              function(object, pattern, ...) {
254                  return(any(grep(pattern, Corpus(object))))
255              })
256    
257    setGeneric("append_elem", function(object, data, meta = NULL) standardGeneric("append_elem"))
258    setMethod("append_elem",
259              signature(object = "TextDocCol", data = "TextDocument"),
260              function(object, data, meta = NULL) {
261                  object@.Data[[length(object)+1]] <- data
262                  object@DMetaData <- rbind(object@DMetaData, c(MetaID = DCMetaData(object)@NodeID, meta))
263                  return(object)
264              })
265    
266    setGeneric("append_meta", function(object, dcmeta = NULL, dmeta = NULL) standardGeneric("append_meta"))
267    setMethod("append_meta",
268              signature(object = "TextDocCol"),
269              function(object, dcmeta = NULL, dmeta = NULL) {
270                  object@DCMetaData@MetaData <- c(object@DCMetaData@MetaData, dcmeta)
271                  if (!is.null(dcmeta))
272                      object@DMetaData <- cbind(object@DMetaData, dmeta)
273                  return(object)
274              })
275    
276      doc <- new("textdocument", author = author, timestamp = timestamp, description = description,  setGeneric("remove_meta", function(object, dcname = NULL, dname = NULL) standardGeneric("remove_meta"))
277                 id = id, origin = origin, corpus = corpus, heading = heading)  setMethod("remove_meta",
278              signature(object = "TextDocCol"),
279              function(object, dcname = NULL, dname = NULL) {
280                  if (!is.null(dcname)) {
281                      object@DCMetaData@MetaData <- DCMetaData(object)@MetaData[names(DCMetaData(object)@MetaData) != dcname]
282                  }
283                  if (!is.null(dname)) {
284                      object@DMetaData <- DMetaData(object)[names(DMetaData(object)) != dname]
285                  }
286                  return(object)
287              })
288    
289    setGeneric("prescind_meta", function(object, meta) standardGeneric("prescind_meta"))
290    setMethod("prescind_meta",
291              signature(object = "TextDocCol", meta = "character"),
292              function(object, meta) {
293                  for (m in meta) {
294                      if (m %in% c("Author", "DateTimeStamp", "Description", "ID", "Origin", "Heading")) {
295                          local.m <- lapply(object, m)
296                          local.m <- lapply(local.m, function(x) if (is.null(x)) return(NA) else return(x))
297                          local.m <- unlist(local.m)
298                          object@DMetaData <- cbind(DMetaData(object), data.frame(m = local.m), stringsAsFactors = FALSE)
299                          names(object@DMetaData)[length(object@DMetaData)] <- m
300                      }
301                      else {
302                          local.meta <- lapply(object, LocalMetaData)
303                          local.m <- lapply(local.meta, "[[", m)
304                          local.m <- lapply(local.m, function(x) if (is.null(x)) return(NA) else return(x))
305                          if (length(local.m) == length(unlist(local.m)))
306                              local.m <- unlist(local.m)
307                          else
308                              local.m <- I(local.m)
309                          object@DMetaData <- cbind(DMetaData(object), data.frame(m = local.m), stringsAsFactors = FALSE)
310                          names(object@DMetaData)[length(object@DMetaData)] <- m
311                      }
312                  }
313                  return(object)
314              })
315    
316    setMethod("[",
317              signature(x = "TextDocCol", i = "ANY", j = "ANY", drop = "ANY"),
318              function(x, i, j, ... , drop) {
319                  if(missing(i))
320                      return(x)
321    
322                  object <- x
323                  object@.Data <- x@.Data[i, ..., drop = FALSE]
324                  df <- as.data.frame(DMetaData(object)[i, ])
325                  names(df) <- names(DMetaData(object))
326                  object@DMetaData <- df
327                  return(object)
328              })
329    
330    setMethod("[<-",
331              signature(x = "TextDocCol", i = "ANY", j = "ANY", value = "ANY"),
332              function(x, i, j, ... , value) {
333                  object <- x
334                  object@.Data[i, ...] <- value
335                  return(object)
336              })
337    
338    setMethod("[[",
339              signature(x = "TextDocCol", i = "ANY", j = "ANY"),
340              function(x, i, j, ...) {
341                  return(load_doc(x@.Data[[i]]))
342              })
343    
344    setMethod("[[<-",
345              signature(x = "TextDocCol", i = "ANY", j = "ANY", value = "ANY"),
346              function(x, i, j, ..., value) {
347                  object <- x
348                  object@.Data[[i, ...]] <- value
349                  return(object)
350              })
351    
352    # Update \code{NodeID}s of a DCMetaData tree
353    # TODO: Avoid global variables outside of update_id function
354    update_id <- function(object) {
355        id <<- 0
356        mapping <<- left.mapping <<- NULL
357        level <<- 0
358        return(list(root = set_id(object), left.mapping = left.mapping, right.mapping = mapping))
359    }
360    
361    # Traversal of (binary) DCMetaData tree with setup of \code{NodeID}s
362    set_id <- function(object) {
363        object@NodeID <- id
364        id <<- id + 1
365        level <<- level + 1
366    
367        if (length(object@children) > 0) {
368            mapping <<- cbind(mapping, c(object@children[[1]]@NodeID, id))
369            left <- set_id(object@children[[1]])
370            if (level == 1) {
371                left.mapping <<- mapping
372                mapping <<- NULL
373            }
374            mapping <<- cbind(mapping, c(object@children[[2]]@NodeID, id))
375            right <- set_id(object@children[[2]])
376    
377            object@children <- list(left, right)
378        }
379        level <<- level - 1
380    
381        return(object)
382    }
383    
384    setMethod("c",
385              signature(x = "TextDocCol"),
386              function(x, ..., meta = list(merge_date = Sys.time(), merger = Sys.getenv("LOGNAME")), recursive = TRUE) {
387                  args <- list(...)
388                  if(length(args) == 0)
389                      return(x)
390    
391                  result <- x
392                  for (c in args) {
393                      if (!inherits(c, "TextDocCol"))
394                          stop("invalid argument")
395                      result <- c2(result, c)
396                  }
397                  return(result)
398              })
399    
400    setGeneric("c2", function(x, y, ..., meta = list(merge_date = Sys.time(), merger = Sys.getenv("LOGNAME")), recursive = TRUE) standardGeneric("c2"))
401    setMethod("c2",
402              signature(x = "TextDocCol", y = "TextDocCol"),
403              function(x, y, ..., meta = list(merge_date = Sys.time(), merger = Sys.getenv("LOGNAME")), recursive = TRUE) {
404                  object <- x
405                  # Concatenate data slots
406                  object@.Data <- c(as(x, "list"), as(y, "list"))
407    
408                  # Update the DCMetaData tree
409                  dcmeta <- new("MetaDataNode", NodeID = 0, MetaData = meta, children = list(DCMetaData(x), DCMetaData(y)))
410                  update.struct <- update_id(dcmeta)
411                  object@DCMetaData <- update.struct$root
412    
413                  # Find indices to be updated for the left tree
414                  indices.mapping <- NULL
415                  for (m in levels(as.factor(DMetaData(x)$MetaID))) {
416                      indices <- (DMetaData(x)$MetaID == m)
417                      indices.mapping <- c(indices.mapping, list(m = indices))
418                      names(indices.mapping)[length(indices.mapping)] <- m
419                  }
420    
421                  # Update the DMetaData data frames for the left tree
422                  for (i in 1:ncol(update.struct$left.mapping)) {
423                      map <- update.struct$left.mapping[,i]
424                      x@DMetaData$MetaID <- replace(DMetaData(x)$MetaID, indices.mapping[[as.character(map[1])]], map[2])
425                  }
426    
427                  # Find indices to be updated for the right tree
428                  indices.mapping <- NULL
429                  for (m in levels(as.factor(DMetaData(y)$MetaID))) {
430                      indices <- (DMetaData(y)$MetaID == m)
431                      indices.mapping <- c(indices.mapping, list(m = indices))
432                      names(indices.mapping)[length(indices.mapping)] <- m
433                  }
434    
435                  # Update the DMetaData data frames for the right tree
436                  for (i in 1:ncol(update.struct$right.mapping)) {
437                      map <- update.struct$right.mapping[,i]
438                      y@DMetaData$MetaID <- replace(DMetaData(y)$MetaID, indices.mapping[[as.character(map[1])]], map[2])
439                  }
440    
441                  # Merge the DMetaData data frames
442                  labels <- setdiff(names(DMetaData(y)), names(DMetaData(x)))
443                  na.matrix <- matrix(NA, nrow = nrow(DMetaData(x)), ncol = length(labels), dimnames = list(row.names(DMetaData(x)), labels))
444                  x.dmeta.aug <- cbind(DMetaData(x), na.matrix)
445                  labels <- setdiff(names(DMetaData(x)), names(DMetaData(y)))
446                  na.matrix <- matrix(NA, nrow = nrow(DMetaData(y)), ncol = length(labels), dimnames = list(row.names(DMetaData(y)), labels))
447                  y.dmeta.aug <- cbind(DMetaData(y), na.matrix)
448                  object@DMetaData <- rbind(x.dmeta.aug, y.dmeta.aug)
449    
450                  return(object)
451              })
452    
453    
454    setMethod("c",
455              signature(x = "TextDocument"),
456              function(x, ..., recursive = TRUE){
457                  args <- list(...)
458                  if(length(args) == 0)
459                      return(x)
460    
461                  dmeta.df <- data.frame(MetaID = rep(0, length(list(x, ...))), stringsAsFactors = FALSE)
462                  dcmeta.node <- new("MetaDataNode",
463                                NodeID = 0,
464                                MetaData = list(create_date = Sys.time(), creator = Sys.getenv("LOGNAME")),
465                                children = list())
466    
467                  return(new("TextDocCol", .Data = list(x, ...), DMetaData = dmeta.df, DCMetaData = dcmeta.node))
468              })
469    
470    setMethod("length",
471              signature(x = "TextDocCol"),
472              function(x){
473                  return(length(as(x, "list")))
474        })
475    
476    setMethod("show",
477              signature(object = "TextDocCol"),
478              function(object){
479                  cat(sprintf(ngettext(length(object),
480                                       "A text document collection with %d text document\n",
481                                       "A text document collection with %d text documents\n"),
482                              length(object)))
483        })
484    
485    setMethod("summary",
486              signature(object = "TextDocCol"),
487              function(object){
488                  show(object)
489                  if (length(DMetaData(object)) > 0) {
490                      cat(sprintf(ngettext(length(DCMetaData(object)@MetaData),
491                                                  "\nThe metadata consists of %d tag-value pair and a data frame\n",
492                                                  "\nThe metadata consists of %d tag-value pairs and a data frame\n"),
493                                           length(DCMetaData(object)@MetaData)))
494                      cat("Available tags are:\n")
495                      cat(names(DCMetaData(object)@MetaData), "\n")
496                      cat("Available variables in the data frame are:\n")
497                      cat(names(DMetaData(object)), "\n")
498                  }
499        })
500    
501    setGeneric("inspect", function(object) standardGeneric("inspect"))
502    setMethod("inspect",
503              signature("TextDocCol"),
504              function(object) {
505                  summary(object)
506                  cat("\n")
507                  show(as(object, "list"))
508              })
509    
510      new("textdoccol", docs = list(doc), tdm = matrix())  # No metadata is checked
511    setGeneric("%IN%", function(x, y) standardGeneric("%IN%"))
512    setMethod("%IN%",
513              signature(x = "TextDocument", y = "TextDocCol"),
514              function(x, y) {
515                  x %in% y
516  })  })

Legend:
Removed from v.18  
changed lines
  Added in v.689

root@r-forge.r-project.org
ViewVC Help
Powered by ViewVC 1.0.0  
Thanks to:
Vienna University of Economics and Business Powered By FusionForge