酷应用

别找啦，一套管好数据的方法就在这里！

百家作者：51CTO技术栈 2021-01-13 20:26:45

下面的场景

身为IT部门经理的你

是否正在遇到？

“陈工，我是祝工，上次你们推荐的Isilon存储我们现在已经上线了，使用比较简单，体验也很好，我们现在数据量非常大，后期扩展和设备更新也省去了我数据迁移的麻烦，这个点解决了我多年心中的痛啊，现在晚上终于能安心睡个好觉了。”

“祝工，你满意就好，听到你这么说，我也非常有成就感，现在是不是有什么新的问题啊？”

“你懂我，哈哈！其实是这样的，我现在碰到了一个比较头疼的问题，除了Isilon外，其实我们还有4套数据量比较大的文件存储，主要存储项目组文档资料、合同扫描件、发票税控图片、OA的附件，很多人事资料（包含离职人员档案）、内部培训视频、APP应用图片数据，大大小小加起来也有小300T。”

“这是要上新存储的节奏啊！”

“不不不，陈工，你先冷静一下，目前的主要问题不是存储容量和性能，现在应用部门经常会找我要这些数据报表，查找某些数据在哪个物理存储上，或者说部分应用数据因性能问题，需要从一台存储迁移到另一台存储，这样的问题很多，而且短期内我也不可能采购一套海量存储，把所有数据迁移到一台存储上，还有招标规范性问题，也不能只招一个品牌存储......”

☝前面就是我（戴尔科技售前工程师陈森江）最近和用户电话交流的一个真实场景。

听完之后，我和他总结了一下，其实祝工的核心需求是一个大量文件类数据的统一管理平台，即多台异构存储上的数据，在逻辑上有一个统一管理，同时不影响原来物理数据存储架构，还可以给领导看报表，帮助应用快速查找数据，还要在不同物理存储之间实现数据的快速迁移。

怎么办呢？

我推荐的是戴尔科技的DataIQ

DataIQ前身是Data Frameworks的Clarity Now，2018年被戴尔科技收购后，经过几个版本的更新，现被更名为DataIQ。

DataIQ是一个纯软件的异构存储管理平台，而且以旁路方式接入用户环境，它的整个安装、部署、测试使用等工作都不会影响用户目前的业务和生产。

所以，用户可以在任何时候安装部署DataIQ。

DataIQ主要有三个功能：

快速搜索
形成报表
数据迁移

接下来，我们简单看一下

DataIQ的架构与应用场景

在拓扑架构上，DataIQ本身是部署在Linux上的一台Server，支持S3、NFS、CIFS（SMB）和本地挂载。

简单来说，无论是哪个品牌的存储、哪种型号，只要通过S3、NFS、CIFS（SMB）协议，以及本地挂载被DataIQ所在的Linux Server挂载（mount），都能被DataIQ进行统一管理，用户也不用担心招标采购结果是哪家存储。

在配置过程中，只要被管理的存储开通一个账号给DataIQ Server即可，之后DataIQ Server会扫描并创建索引。如果用户只想做数据快速搜索、数据报表，那么存储端需要开通一个只读账号；如果要在不同存储（如NAS存储到对象存储）之间做数据迁移，那么存储给DataIQ Server挂载的账号需要赋予读写权限。

而访问DataIQ Server的客户端可以是Windows Client/Linux Client/MacOS client，在访问方式上可以通过Web浏览器、GUI客户端，也支持CLI命令行接口，以及Python API和Direct RESTful API访问。

如果用户的一些应用是基于Python的，那么很多数据查询，报告甚至数据迁移的工作都可以由应用程序自动完成，可以大大减轻IT管理员的日常数据管理工作量。

最后，我们来看一看DataIQ的三个典型应用场景，也许其中就有适合你的：

左中括号

应用场景一：数据搜索

左中括号

就如前面我们的客户祝工提到的一样，应用管理员发现他们其中一个应用的部分数据的延时非常高，他们想知道是不是存储这部分数据的存储，是性能有问题或有其它故障类原因，于是第一时间找到了祝工，给他一些示例数据。

然而要在4套存储中快速找到这些数据所在路径，并不是容易的事。你需要4套存储不同用户的数据一套套挂载查看、搜索，而且在上亿数量的文件中搜索你想要的其中几个文件，效率是非常低的。

但是有了DataIQ，结果就完全不同了，祝工只需在DataIQ中搜索，几秒种就能出结果。

这到底是如何做到的？

DataIQ通过RocksDB将所有存储上的非结构化数据形成索引，并将索引cache到内存中，以实现快速搜索。在一些用户的测试中我们发现，在一个60亿文件数量级的场景（后端存储以SAS或NL-SAS为主），如果通过DataIQ去搜索一个文件名，仅需要10-20秒就可以出结果。但是如果普通的Search方式，可能需要几十天才能完成，还不能完成全局搜索，要分目录搜索。

所以，结合DataIQ实际使用中更加丰富的数据搜索的条件，使用起来更加的丰富与实用。

DataIQ界面图

左中括号

应用场景二：快速报表

左中括号

在一项项目需求中，IT管理员也经常会被领导或应用开发人员问到：

目前所有存储各自还有多少空间，不同应用目录的文件量达到多少了，大小有多少，非法字符有多少？
不同的项目组各自用了多少空间？
不同存储介质、不同存储空间的使用成本大概能统计出来吗？目前的IT投入产出还能成正比吗？
哪些数据是重复的，能快速做到清理吗？
能不能针对这些问题出份报表，明天给领导汇报？

… …

在使用DataIQ之前，存储管理员可能需要通过各种第三方工具或存储管理工具进行熬夜统计，工作琐碎复杂，但是使用DataIQ这些都是能够自动去完成。

左中括号

应用场景三：数据迁移

左中括号

在我们日常存储与数据的运维管理中，因存储硬件性能问题、存储生命周期结束或数据归档等场景中，IT管理人员都会面临大量的数据迁移工作，甚至因为应用与IT存储管理人员之间看问题重点的不同，导致双方对立的情况也经常会出现。

这些问题在DataIQ的帮助下同样可以很好解决。

IT管理员可以通过DataIQ分配一个专用的超级用户给应用开发或维护人员，同时根据需求分配好空间使用权限，如高负载应用分配2T全闪空间（如基于戴尔易安信Isilon F800），低负载分配5T SAS空间（如基于戴尔易安信Unity 480），而归档或冷数据分配30T对像存储空间（如戴尔易安信ECS），这样应用人员可以根据应用的需求自己进行数据的迁移与归档。

这些操作完全不需要接触后端的物理存储，存储管理员只需要做好硬件资源的规划与维护，大大降低了IT存储管理员的工作量与责任。