如何去掉高程例表中不合理的高程值？

/db_自贡黄明儒_

沿地形图画一曲线，取得的高程值，突然有那么几根线，其高程值为0或负，或者高达1万以上，显然不同理。如何去除这些不合理的值，精通《概率与统计》的朋友们，是不是来个lisp{:soso_e112:}

newer

这个和概率没关系吧，如果有个海沟呢，也不一定是不合理的。
我想，设个FUZZ，如果超过，就认定不合理的比较好。
还是涉及到排序了，关联表。

/db_自贡黄明儒_

newer 发表于 2013-12-25 16:04
这个和概率没关系吧，如果有个海沟呢，也不一定是不合理的。
我想，设个FUZZ，如果超过，就认定不合理的比 ...

比如我的高程通常在400~600之，有50个值。中间突然有个1万的高程，肯定错了。可以根据统计来判断是错误的。
如果设置误差，那就搞不清楚了。在沿海地区，高程可能低。在西藏，高程可能大。

newer

/db_自贡黄明儒_ 发表于 2013-12-25 16:09
比如我的高程通常在400~600之，有50个值。中间突然有个1万的高程，肯定错了。可以根据统计来判断是错误的 ...

你设置个合理的范围啊，不在范围内的修改掉。

/db_自贡黄明儒_

根据正态分布，满足60%(或者70%）的值为满足要求的，其它的去除.我想这样合理些
我记不清楚了，是不是求得方差就可以做为误差来处理

newer

/db_自贡黄明儒_ 发表于 2013-12-25 16:48
根据正态分布，满足60%(或者70%）的值为满足要求的，其它的去除.我想这样合理些
我记不清楚了，是不是求得 ...

这样的奇点肯定不会很多，也不是每张图都有，我认为还是让用户交互，让用户输入合理范围，程序别太自动了，自动有可能误伤。

ll_j

/db_自贡黄明儒_ 发表于 2013-12-25 16:48
根据正态分布，满足60%(或者70%）的值为满足要求的，其它的去除.我想这样合理些
我记不清楚了，是不是求得 ...

统计在这里不合适吧？
如果是测量海平面，统计或许有点用，其它地形，即使是平原地区地区，也不能按统计来考虑，地形的高高低低是自然的，不是测量的误差，和统计的误差不是一回事。
比较靠谱的方法还是人工干预，不想人工干预，可以去掉几个最高、最低值求平均，然后根据平均值加减误差来控制可用点，这与正态分布、均方差等毫无关系。

/db_自贡黄明儒_

ll_j 发表于 2013-12-25 17:05
统计在这里不合适吧？
如果是测量海平面，统计或许有点用，其它地形，即使是平原地区地区，也不能按统计 ...

基本上遇到地形图时，总有那么几根线高程是明显错误的。去掉几个最高的点，也不太合理吧?如果能找到一种办法，能自动去掉这些不合理点就好了。由此我想到概率，不合理点出现的概率很小

newer

/db_自贡黄明儒_ 发表于 2013-12-25 18:48
基本上遇到地形图时，总有那么几根线高程是明显错误的。去掉几个最高的点，也不太合理吧?如果能找到一种 ...

去掉什么，和用户交互啊，这样是最安全的。

ll_j

/db_自贡黄明儒_ 发表于 2013-12-25 18:48
基本上遇到地形图时，总有那么几根线高程是明显错误的。去掉几个最高的点，也不太合理吧?如果能找到一种 ...

这种高程的异常是错误，不是误差，这两者是不同的，误差是有规律的，可以用概率进行统计，错误是没有规律的，也就与统计无关。
就本例而言，可以根据现实的知识来控制，比如控制深涧相对深度、山峰相对高度都在1000km，这样，可以依据平均值，也可以依据根据相邻点高程来判别，超出此值的就略去。

/db_自贡黄明儒_

newer 发表于 2013-12-25 19:05
去掉什么，和用户交互啊，这样是最安全的。

交互是件麻烦的事。比如5Km，每隔5m一根地形线，这个数据量也很大。我以往是这样处理的:画出剖面线来，用眼睛看，拉伸不合理的地方，显得很弱智

newer

/db_自贡黄明儒_ 发表于 2013-12-25 19:21
交互是件麻烦的事。比如5Km，每隔5m一根地形线，这个数据量也很大。我以往是这样处理的:画出剖面线来，用 ...

不是每5KM一看啊，是这个地形图，你应该知道合理的高层范围吧，比如500-1000， 让用户输入个最低值，输入个最高值， 然后你程序就遍历处理了，超过这个范围的就按照你的意思修改了。

/db_自贡黄明儒_

ll_j 发表于 2013-12-25 19:06
这种高程的异常是错误，不是误差，这两者是不同的，误差是有规律的，可以用概率进行统计，错误是没有规律 ...

这种办法也不智能呀，使用起来也很麻烦。首先得人为大致判断高程在哪一个范围内

soly2006

    如果只是剖面，可以平滑拟合，可以剔除些粗差。

/db_自贡黄明儒_

2. ;;统计函数 by Highflybird
   
3. (defun Highflybird:STAT        (numlst / len sum ave var sqr std)
   
4.   (setq len (length numlst))                                    ;样本数目
   
5.   (setq sum (apply '+ numlst))                                    ;和
   
6.   (setq ave (/ sum len))                                    ;均值
   
7.   (setq var (mapcar (function (lambda (x) (* (- x ave) (- x ave)))) numlst))
   
8.                                                             ;差平方
   
9.   (setq sqr (/ (apply '+ var) len))                            ;方差  variance
   
10.   (setq std (sqrt sqr))                                            ;标准差
    
11.   (list
    
12.     (cons "样本数......" len)
    
13.     (cons "总和........" sum)
    
14.     (cons "平均值......" ave)
    
15.     (cons "方差........" sqr)
    
16.     (cons "标准差......" std)
    
17.   )
    
18. )
    
19. ;;假如高程符合正态分布(尽管没有什么根据)，3σ原则，95%
    
20. ;;(RemoveElevation '(0 16 15 17 40 16 15 17 16 15 17 16 15 17))=>(16 15 17 16 15 17 16 15 17 16 15 17)
    
21. (defun RemoveElevation (lst / AVE NEW NEW1 STAT STD)
    
22.   ;;去除高程为0为负
    
23.   (foreach x lst
    
24.     (if        (> x 0)
    
25.       (setq New (cons x New))
    
26.     )
    
27.   )
    
28.   (setq STAT (Highflybird:STAT New))
    
29.   (setq ave (cdr (caddr STAT)))                                    ;平均值
    
30.   (setq std (* (cdr (last STAT)) 3))                            ;3倍标准差
    
31.   (foreach x New
    
32.     (if        (equal x ave std)
    
33.       (setq New1 (cons x New1))
    
34.     )
    
35.   )  
    
36. )

;;统计函数 by Highflybird<br /> (defun Highflybird:STAT        (numlst / len sum ave var sqr std)<br />   (setq len (length numlst))                                    ;样本数目<br />   (setq sum (apply '+ numlst))                                    ;和<br />   (setq ave (/ sum len))                                    ;均值<br />   (setq var (mapcar (function (lambda (x) (* (- x ave) (- x ave)))) numlst))<br />                                                             ;差平方<br />   (setq sqr (/ (apply '+ var) len))                            ;方差  variance <br />   (setq std (sqrt sqr))                                            ;标准差<br />   (list<br />     (cons "样本数......" len)<br />     (cons "总和........" sum)<br />     (cons "平均值......" ave)<br />     (cons "方差........" sqr)<br />     (cons "标准差......" std)<br />   )<br /> )<br /> ;;假如高程符合正态分布(尽管没有什么根据)，3σ原则，95%<br /> ;;(RemoveElevation '(0 16 15 17 40 16 15 17 16 15 17 16 15 17))=>(16 15 17 16 15 17 16 15 17 16 15 17)<br /> (defun RemoveElevation (lst / AVE NEW NEW1 STAT STD)<br />   ;;去除高程为0为负<br />   (foreach x lst<br />     (if        (> x 0)<br />       (setq New (cons x New))<br />     )<br />   )<br />   (setq STAT (Highflybird:STAT New))<br />   (setq ave (cdr (caddr STAT)))                                    ;平均值<br />   (setq std (* (cdr (last STAT)) 3))                            ;3倍标准差<br />   (foreach x New<br />     (if        (equal x ave std)<br />       (setq New1 (cons x New1))<br />     )<br />   )  <br /> )