关于一个读文件后字符拆分效率的测试

st788796 · 发表于 2014-3-14 15:08:09

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？立即注册

×

源于这个帖子，行数比较多，加上空行 6000 多行
http://bbs.xdcad.net/thread-672899-1-1.html
1 正则表达式一次处理，耗时最长

(defun c:t1 (/ fl lst t0)
(if (setq fl (getfiled "Select Log File" "" "log" 8))
(progn
(setq lst (XD::List:FromFile fl)
t0 (get-utime)
)
(mapcar '(lambda (x)
(XD::String:RegExpS "[^, ]+" x "")
)
lst
)
(princ (- (get-utime) t0))
)
)
(princ)
)

2 还是正则表达式，加判断提供不同匹配符，有所提升

(defun c:t11 (/ fl lst t0)
(if (setq fl (getfiled "Select Log File" "" "log" 8))
(progn
(setq lst (XD::List:FromFile fl)
t0 (get-utime)
)
(mapcar '(lambda (x)
(if (vl-string-search "," x)
(XD::String:RegExpS "[^,]+" x "")
(XD::String:RegExpS "[^ ]+" x "")
)
)
lst
)
(princ (- (get-utime) t0))
)
)
(princ)
)

3 用 API 拆分，是前两个的 1/3 时间

(defun c:t2 (/ fl lst t0)
(if (setq fl (getfiled "Select Log File" "" "log" 8))
(progn
(setq lst (XD::List:FromFile fl)
t0 (get-utime)
lst (mapcar '(lambda (x)
(if (vl-string-search "," x)
(xdrx_string_split x ",")
(xdrx_string_split x " ")
)
)
lst
)
)
(princ (- (get-utime) t0))
)
)
(princ)
)

4 用 Lisp 处理，效率最高！

(defun c:t3 (/ fl lst t0)
(if (setq fl (getfiled "Select Log File" "" "log" 8))
(progn
(setq lst (XD::List:FromFile fl)
t0 (get-utime)
lst (mapcar '(lambda (x)
(if (vl-string-search "," x)
(parse x ",")
(parse x " ")
)
)
lst
)
)
(princ (- (get-utime) t0))
)
)
(princ)
)

其它函数

(defun get-utime ()
(* 86400.0 (getvar "tdusrtimer"))
)
(defun Parse (str delimiter / post strlst stl)
(and str
(/= str "")
(progn
(setq stl (strlen delimiter))
(while (vl-string-search delimiter str)
(setq post (vl-string-search delimiter str)
strlst (cons (substr str 1 post) strlst)
str (substr str (+ 1 post stl))
)
)
(setq strlst (reverse (cons str strlst)))
)
)
strlst
)

命令: T1 0.452
命令:
命令: T2
0.14
命令:
命令: T3 0.047
命令:
命令: T1 0.593
命令:
命令: T11 0.452

aeo · 发表于 2014-3-14 17:09:28

(mapcar '(lambda (x)
               (if (vl-string-search "," x)
               (XD::String:RegExpS "[^,]+" x "")
               (XD::String:RegExpS "[^ ]+" x "")
               )
            )
            lst
   )

这不公平的，如果不停重复，你RegExp不应该创建和删除那么多次。或者把读进去的按逗号连起来，再一次分开

st788796 · 发表于 2014-3-14 17:52:23

本帖最后由 st788796 于 2014-3-14 17:53 编辑

aeo 发表于 2014-3-14 17:09
(mapcar '(lambda (x)
(if (vl-string-search "," x)
(XD::String: ...

可以一次的，非空格和非逗号连续，匹配符是 [^, ]+ 但这个比分两次要慢得多

应该把 FromFile 改造，空行去掉，这样表长度就减少了

aeo · 发表于 2014-3-14 22:39:23

st788796 发表于 2014-3-14 17:52
可以一次的，非空格和非逗号连续，匹配符是 [^, ]+ 但这个比分两次要慢得多

应该把 FromFile 改造， ...

你没理解我的意思
mapcar 里面至少几百上千次的执行RegExp，你应该把所有文字连成一个字符，仅执行一次RegExp

st788796 · 发表于 2014-3-14 22:49:22

本帖最后由 st788796 于 2014-3-14 23:16 编辑

aeo 发表于 2014-3-14 22:39
你没理解我的意思
mapcar 里面至少几百上千次的执行RegExp，你应该把所有文字连成一个字符，仅执行一次R ...

(defun XD::List:FromFile (fn / f l ll)
(if (setq f (open (findfile fn) "r"))
(progn
(while (setq l (read-line f))
(if l
(setq ll (cons (strcat l " ") ll))
)
)
(close f)
)
)
ll
)
(defun c:t1 (/ fl lst t0)
(if (setq fl (getfiled "Select Log File" "" "log" 8))
(progn
(setq lst (XD::List:FromFile fl)
str (apply 'strcat lst)
t0 (get-utime)
)
(XD::String:RegExpS "[^, ]+" str "")
(princ (- (get-utime) t0))
)
)
(princ)
)

命令: (gc)
nil
命令: T1
0.421
命令:
命令: T1
0.359
命令:
命令: T1
0.39

比较稳定，字串长了(59xxx)效率也不慢

Highflybird · 发表于 2014-3-14 23:22:40

API的，你试试用 xdrx_string_tok 拆，看看时间多少。

st788796 · 发表于 2014-3-14 23:41:17

Highflybird 发表于 2014-3-14 23:22
API的，你试试用 xdrx_string_tok 拆，看看时间多少。

还不如 Split 呢，来回通讯耗费了时间
命令: T2
0.546
命令:
命令: T2
0.562
命令:
命令: (gc)
nil
命令: T2
0.764

st788796 · 发表于 2014-3-15 00:03:58

再提供一个方法

(defun XD::List:FromFile (fn / f l ll)
(if (setq f (open (findfile fn) "r"))
(progn
(while (setq l (read-line f))
(if l
(setq ll (cons (strcat "\"" l "\"" " ") ll))
)
)
(close f)
)
)
ll
)
(defun c:t4 (/ fl lst t0 str)
(if (setq fl (getfiled "Select Log File" "" "log" 8))
(progn
(setq lst (XD::List:FromFile fl)
str (apply 'strcat lst)
t0 (get-utime)
lst (read
(strcat "(" (vl-string-translate ",\"" " " str) ")")
)
)
(princ (- (get-utime) t0))
)
)
(princ)
)

用时和上面 4 时间几乎相等，但是要修改读文件部分修改至适合使用 vl-string-translate 分割替换

vl-string-translate 是个效率极高的函数！

aeo · 发表于 2014-3-15 00:39:59

用regexp,你首先要把数据传给vbs,传回的还要转换一遍，当然慢.
时间都花在数据交换上了。

vbs 里面直接可以用 split ,你那点字，一刹那的事情。vbs里面用regexp要慢一点，适度越广，速度越慢。

Highflybird · 发表于 2014-3-15 03:35:56

st788796 发表于 2014-3-14 23:41
还不如 Split 呢，来回通讯耗费了时间
命令: T2
0.546

xdrx_string_split 不需要来回通讯吗？

st788796 · 发表于 2014-3-15 09:04:17

Highflybird 发表于 2014-3-15 03:35
xdrx_string_split 不需要来回通讯吗？

不知道 API 中 Split 和 tok 的代码有什么区别？效率基本相当

账号		自动登录	找回密码
密码			立即注册

[研讨] 关于一个读文件后字符拆分效率的测试

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

点评

点评