830 large

以太坊 parity 节点全数据 1.9TB 获取机制

flfq · 于 发布 · 最后由 flfq回复 · 709 次阅读

以太坊全节点的数据非常多,不仅包括:区块数据、交易数据,还包括日志数据。其中日志数据是解析ERC20代币以及其他智能合约数据的关键数据。截至到2019年2月,使用parity程序的以太坊全部数据已经超过1.9T。由于网络等多方面的原因,这么大的数据下载非常困难。笔者使用阿里云连续下载量约3个月才基本追上最新的进度。

图1 数据目前已经同步到2019年2月15日
数据目前已经同步到2019年2月15日

图2 全部数据大约1.9T
全部数据大约1.9T

考虑到不同的需求,给出几种获取以太坊数据的方法。
第一:基于区块链浏览器API。etherscan等以太坊浏览器提供了API接口,可以查询区块、交易等基本信息。包括ERC20等典型代币的交易信息。此方法使用简单,投资最少,但是性能受到API提供方的限制,数据类型有限。此方法适合小规模实验、验证程序。
第二:基于infura服务。infura是专门提供以太坊数据的服务商,提供了功能丰富、性能强大的以太坊接口,查询的数据类型非常全面。相对于区块链浏览器的API,此方法投资较少,但是性能同样受到API提供方的限制,可以通过付费提高性能。此方法适合小型系统的数据同步机制。
第三:基于自营数据库的以太坊数据基础设施。通过在本地自行运行以太坊节点,获取全部以太坊数据。然后自行解析原始数据获得需要的数据格式。此方法成本最高(节点维护成本,解析程序成本),但是扩展性最强,能够根据需要实现各种类型的数据服务。此方法适合对数据类型和性能要求较高的系统。