Trellix 加速本地研究数据迁移至 AWS Snow Family 存储博客
Trellix加速使用AWS Snow Family进行本地研究数据迁移
关键要点
Trellix选择AWS作为数据迁移的解决方案，旨在提升其数据保护和业务韧性。利用AWS Snow Family成功将400TB的研究数据从本地环境迁移到Amazon S3。迁移过程中面临挑战，包括过期的基础设施和大量小文件，AWS团队提供了详细的支持。Trellix实施了高效的存储管理策略，通过S3生命周期配置节约存储成本。Trellix是一家全球公司，重新定义了网络安全的未来。该公司的开放且本地的扩展检测与响应(XDR)平台帮助组织应对当今最先进的威胁，从而增强其 operations 的保护和韧性。在AWS的支持下，Trellix的高级研究中心利用AWS Snow Family将存储在本地的数据迁移到云端，以避免数据访问风险，确保业务连续性。
挑战与需求
Trellix的研究工程师使用特定的数据集来开发威胁检测平台，利用多样化的机器学习(ML)模型。过去，这些数据存放在传统的本地网络附加存储(NAS)系统中。然而，他们面临了一项紧急任务：在四个月内将数据转移出本地数据中心，以避免失去对存储数据的访问。迁移的挑战主要包括：
挑战描述过期基础设施迁移过程中基础设施老化，难以在规定的时间内完成迁移。小文件问题存在大量小文件，导致迁移效率低下。带宽限制基于带宽的限制，决定使用离线数据迁移。为了更高效地进行迁移，Trellix确定了使用适当的存储类别，并考量了以下要素：
用户友好性：确保迁移过程易于操作，尽量减少人为干预。成本控制：希望通过使用低成本选项如归档存储优化存储费用。数据结构保持：迁移过程中保持目录结构，以便于数据管理。发现与规划
Trellix之前使用过Amazon S3，对其扩展性、可靠性和成本效益有了充分认识，因此决定将数据迁移到Amazon S3。在对此过程进行可行性分析和技术验证后，他们最终选择了利用AWS Snow Family进行离线迁移。
数据迁移与实施
AWS为迁移提供了必需的组织、操作和技术能力。AWS团队协助Trellix工程师设置和集成Snow设备，并指导安装和连接过程。AWS Snowball和Snowcone是专为高效传输PB级数据而设计的设备。
在测试阶段，Trellix遇到了上传问题，尤其是涉及到大量小文件。通过与AWS团队的协作，他们利用Python脚本进行小文件批量处理，以提高数据传输性能。成功克服障碍后，Trellix将活动的概念验证(Proof of Concept PoC)工作转入生产阶段，开始将数据重新上传至Snow设备。
合作后，Snow Family服务团队将Trellix的服务限制从默认的一台设备提升至四台设备。经过两个月的努力，Trellix将400TB的整个数据迁移成功至Amazon S3。
考虑因素
在迁移过程中，还需考虑性能、成本和规模要求。
任务数量
经过评估，AWS和Trellix决定在PoC阶段之外，添加四个额外的Snow任务，以确保对现有NAS系统的持续性能。
ip加速器安卓批量小文件
为了加快小文件的上传速度，AWS推荐将小文件批量处理为单一归档。批量得到的归档文件在导入Amazon S3后可以自动提取，减少了操作复杂度。
S3生命周期
通过设置S3生命周期配置，Trellix能够优化存储成本并实现数据的有效管理。该配置制定了在一定时间后过期对象的规则，或者将对象从一种存储类别转移到另一种。
监控S3存储使用情况
使用Amazon S3 Storage Lens，Trellix能够增强对对象存储使用情况和活动的可视化。通过对总数据量和存储的监控，Trellix有效管理了数据迁移后的存储使用。
结论
Trellix成功迁移至AWS，满足了为期四个月的数据中心退出时间框架，得益于AWS Snow Family的离线迁移能力。升级后的存储方案不仅节约了成本，也使Trellix能专注于核心业务目标。欲了解更多关于Trellix及其他客户成功案例，可访问Snowball客户页面。
TAGS Amazon Simple Storage Service (Amazon S3) AWS Cloud Storage AWS Snow Family
