并行化以太坊区块链数据采集与存储技术

【摘要】 区块链作为一种将所有历史记录存储在链上的基础设施,应用广泛,承载的数据量也越来越大。 这些海量数据具有宝贵的价值，可用于攻击检测、金融分析、黑产追踪等领域。 然而，由于数据量大，这些区块链的信息无法在合理的时间范围内收集和存储，严重阻碍了对区块链的探索。 为了解决这个问题，本文提出了一种并行化的以太坊数据采集和存储技术，实现了以太坊区块链大数据采集和存储原型框架。 以太坊是世界上最大的支持智能合约的区块链平台。 这不是一项简单的任务，主要面临以下两个挑战：（1）区块数据复杂异构。 以太坊区块链上记录了大量异构数据，这些数据以不同的方式产生和存储，包括区块、交易、智能合约等类型。 因此，本文根据这些数据的特点，将它们以清晰、良好的数据结构进行记录和存储。 此外，固定结构化的数据集不具备可扩展性以太坊区块链查询官网，因此本文提出跟踪重放功能，用户可以通过该功能自定义交易粒度的数据集。 (2) 数据的收集和存储是费时的。 区块中包含的海量数据导致区块数据收集和存储的时间消耗很高。 为此，本文利用分布式主从架构的可扩展性和丰富的计算资源来加速区块数据的收集。 具体来说，本文通过并行运行所有从节点来收集和存储不同区块高度区间的数据。 这是极具挑战性的，因为Proof-of-Work需要同步一条完整的区块链才能完成，如果每个数据采集节点都需要处理完整的链条，势必造成大量的时间浪费。 为了解决这个问题，本文提出了状态快照技术，可以保存区块的状态，使得节点只需要同步区块段就可以完成数据采集工作。 此外，本文还提出了三种更细粒度的优化技术，包括动态负载均衡技术、循环技术和部分执行轨迹技术，以进一步加速数据收集和存储。 本文将该框架部署在一个由11个节点组成的集群中，在以太坊区块链中收集和存储300万到400万高度的数据，并通过实验评估各种优化技术带来的性能提升。 最终实验结果表明，在开启所有优化技术的情况下，框架在数据采集过程中产生的开销最小仅为7%=(220mins-204mins)/204mins，数据采集和存储时间比其更短的单个节点。 顺序数据收集和存储速度提高 3.72 倍。 此外，实验也证明该框架具有良好的可扩展性，因为增加更多的节点可以提高整个框架的性能。 最后以太坊区块链查询官网，本文提出了交易依赖检查和代币智能合约认证漏洞检测两个应用来测试数据集的有效性。