[求助]：用VB读写大数据量文本有什么好方法吗？

windring

小弟初学VB和VBA编程，遇到了一个棘手问题，请教各位DX：
我有一个DEM数据集，是文本文件，格式为

第一列     第二列    第三列
X坐标     Y坐标     Z坐标

如：  4532145.153      86121354.560     23.203
            4632145.153      87121354.560     23.203
            ...................................

我想把此文件的格式变一下，如下：

第一列     第二列    第三列    第四列
序号      X坐标     Y坐标     Z坐标

如：   10000   4532145.153      86121354.560     23.203
              10001      4632145.153      87121354.560     23.203
              ...................................
于是就编了VB程序，读入源文件，变格式后再写入新文件，但由于数据量太庞大，源文件有77万行，50多M，运行程序时过慢死机，请教DX们有什么好办法提高效率，快速处理海量数据，谢谢啦..................

雪山飞狐(lzh)

用数据库处理，找找ADO的相关主题

windring

最初由 lzh741206 发布
[B]用数据库处理，找找ADO的相关主题 [/B]

谢谢DX ，是不是用数据库效率高呀，连接什么数据库好呢

雪山飞狐(lzh)

几十万的数据量，用Access应该就可以了，如果还不够，就用SqlServer

wtkc

以行读，边读边写，千万不要读完后才写入，内存消耗太大

god

可能是用了“&”运算符，或者是把数据都读入了才处理。
用5楼的方法，应该几分钟就处理完了，另外避免用“&”运算符，试试吧

zxg007

我也想知道。用文本文件简单点。若用ACCESS有点麻烦。

winabcd

一楼是不是想把数据从源文件中读出，编好号后再写入源文件，如果那样的话，会很耗内存。
你可以别建一个文件，从源文件中读一行，写入新文件后再到源文件中读一行，这样的话，应该不会死机。

月后船影

最初由 wtkc 发布
[B]以行读，边读边写，千万不要读完后才写入，内存消耗太大 [/B]

怎样用readline实现读一行写一行，请指教……最好有代码……感谢

windring

谢谢楼上DX指点，我就是以行读，边读边写，读一行源文件，写一行新文件，用文本文件的readline就是图方便

Open sfilename1 For Input As 1
Open sfilename2 For Output As 2


aaa:  Do While Not EOF(1)
      Line Input #1, nu

      Print #2, head, Mid(nu, 1, 8) & "0" & "0", Mid(nu, 27, 9) & "0" & "0", Str(Round(Val(Mid(nu, 53, 16)), 0)) & "." & "0" & "0" & "0"

Loop

Close #1
Close #2

就是像6楼DX说的用了N多的“&”，可是不用“&”怎么达到我想要的格式呀？

yj821005

最初由 lzh741206 发布
[B]用数据库处理，找找ADO的相关主题 [/B]

请问ADO是什么东西啊,能详细讲讲吗?谢谢!

abu

我觉得用二进制文件存取较方便:
[xml]

''自定义类型==MyData
Private Type MyData
    pX As Double
    pY As Double
    pZ As Double
End Type

Dim mAllData() As MyData '定义全局动态数组

Function SaveData(ByVal vFile As String) As Boolean
'保存数据
    Dim tmpFreeFile As Integer
    tmpFreeFile = FreeFile
    Open vFile For Binary As tmpFreeFile
    Put #tmpFreeFile, 1, mAllData
    Close tmpFreeFile
    SaveData = True
End Function

Function ReadData(ByVal vFile As String, ByVal vRecordCount As Long) As Boolean
'读取数据"vRecordCount"=记录数
    ReDim mAllData(0 To vRecordCount)
    Dim tmpFreeFile As Integer
    tmpFreeFile = FreeFile
    Open vFile For Binary As tmpFreeFile
    Get #tmpFreeFile, 1, mAllData
    Close tmpFreeFile
    SaveData = True
End Function

[/xml]

god

你把
Print #2, head, Mid(nu, 1, 8) & "0" & "0", Mid(nu, 27, 9) & "0" & "0", Str(Round(Val(Mid(nu, 53, 16)), 0)) & "." & "0" & "0" & "0"
改成
Print #2, head, Mid(nu, 1, 8) & "00", Mid(nu, 27, 9) & "00", Str(Round(Val(Mid(nu, 53, 16)), 0)) & ".000"

速度也会快几倍的。

另外小数点后面加几个零干吗？起什么作用呢？多此一举吧，没有也不会影响计算结果。

小美菜

Print #2, head, Mid(nu, 1, 8) & "00", Mid(nu, 27, 9) & "00", Str(Round(Val(Mid(nu, 53, 16)), 0)) & ".000"

Print #2, head, Mid(nu, 1, 8) & "00", Mid(nu, 27, 9) & "00",fomat(Val(Mid(nu, 53, 16)),"#####0.000")

gdzhou

可以使用split函数啊