CN114201119A - 一种超级计算机作业数据分层存储系统及方法 - Google Patents

一种超级计算机作业数据分层存储系统及方法 Download PDF

Info

Publication number
CN114201119A
CN114201119A CN202210145523.XA CN202210145523A CN114201119A CN 114201119 A CN114201119 A CN 114201119A CN 202210145523 A CN202210145523 A CN 202210145523A CN 114201119 A CN114201119 A CN 114201119A
Authority
CN
China
Prior art keywords
job
data
storage
storage layer
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210145523.XA
Other languages
English (en)
Other versions
CN114201119B (zh
Inventor
庞晓磊
李长松
张婷
刘嘉琦
赵欣婷
徐斌
夏梓峻
张健
孙福兴
贾子傲
王普
杨晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tianhe Computer Technology Co ltd
Original Assignee
Tianjin Tianhe Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tianhe Computer Technology Co ltd filed Critical Tianjin Tianhe Computer Technology Co ltd
Priority to CN202210145523.XA priority Critical patent/CN114201119B/zh
Publication of CN114201119A publication Critical patent/CN114201119A/zh
Application granted granted Critical
Publication of CN114201119B publication Critical patent/CN114201119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种超级计算机作业数据分层存储系统及方法，通过将存储层分为包括高速存储层、在线存储层和近线存储层的三层存储系统，同时基于三层存储系统分别构建了作业数据拷贝回传机制、原始数据存留时间计算机制和作业数据自动归档和换回机制，并将超级计算机系统与三层存储系统进行融合，实现了在控制存储系统整体设备成本的前提下，解决了超级计算机系统用户作业数据存储空间、存取性能和设备成本之间的矛盾，在保持存储设备低成本的同时，提高存储系统总可用空间和存储服务IO性能，提高数据总可用存储空间，降低存储系统设备平均成本。

Description

一种超级计算机作业数据分层存储系统及方法
技术领域
本发明属于超级计算机存储领域，尤其是一种超级计算机作业数据分层存储系统及方法。
背景技术
随着高性能计算技术的不断发展，超级计算机所能提供的计算性能越来越强，有越来越多的科研人员开始使用超级计算机来运行自己的作业，以降低作业运算时间，提高科研工作效率。然而，在同一时期，超级计算机底层存储系统的发展速度则较为平缓，随着超级计算机计算性能的不断提高，与之配套的存储系统开始力不从心，在运行高IO的计算作业时，存储系统开始成为整个高性能计算系统的瓶颈，制约高性能计算系统性能的进一步提高。
当前，为了解决超级计算机中的存储系统性能瓶颈问题，一般会使用高性能存储设备来搭建存储集群，以提供较高的存储系统IO性能，从而满足计算作业对底层存储系统的性能需求。而对于超级计算机来说，整个存储系统的数据量非常大，考虑到成本因素，不可能将整个存储集群都使用高性能存储设备来搭建。因此，只能搭建一个小的专有集群，在一定程度上解决问题。当前尚没有一个较通用的方法，能够从整体上来解决这一问题。
另一方面，由于作业所产生的数据量的持续增加，整个存储系统长期处于高空间使用率的状态，再叠加上超级计算机作业运行，给其带来的IO压力，导致整个存储系统的稳定性变差，也因此而导致其上层超级计算机系统的运行不稳定。当前为了解决这一问题，只能采用存储系统扩容或者督促用户及时删除无用数据的方法，前者增加了存储系统的硬件成本，而后者则降低了用户对超级计算机的使用满意度。
发明内容
本发明的目的在于克服现有技术的不足，提出一种超级计算机作业数据分层存储系统及方法，能够在控制存储系统整体设备成本的前提下，解决超级计算机系统运行存储性能瓶颈的问题，并提高存储系统乃至整个超级计算机的运行稳定性。
本发明解决其技术问题是采取以下技术方案实现的：
一种超级计算机作业数据分层存储系统，包括设置在超级计算机中的三层存储系统，三层存储系统分别为高速存储层、在线存储层和近线存储层，所述高速存储层挂载一般计算节点；在线存储层挂载登陆节点和小微作业计算节点，在线存储层用于用户登陆、作业数据操作管理和小作业任务的处理。
而且，所述高速存储层选用利于超级计算机作业运行的存储资源；所述在线存储层选用空间和性能利于超级计算机系统用户日常数据管理的存储资源；所述近线存储层选用利于长期不使用的作业数据进行归档存储的存储资源。
一种基于超级计算机作业数据分层存储系统的存储方法，包括以下步骤：
步骤1、构建作业数据拷贝回传机制；
步骤2、构建原始数据存留时间计算机制；
步骤3、构建作业数据自动归档和换回机制；
步骤4、在高速存储层、在线存储层和近线存储层的三层存储系统中植入步骤1的作业数据拷贝回传机制；采用步骤2的原始数据存留时间计算机制和步骤3的作业数据自动归档和换回机制实现超级计算机作业数据分层存储。
而且，所述步骤1中作业数据拷贝回传机制为：作业数据存于在线存储层中，当用于进行提交作业数据时，将作业数据自动从在线存储层拷贝到高速存储层进行计算，在作业数据计算完成后，自动将作业数据以及作业数据的计算结果从高速存储层回传至在线存储层。
而且，所述步骤1的具体实现方法为：将yhrun交互式提交作业命令和yhbatch批处理式提交作业命令进行重写，在实际执行提交作业之前，先获取作业提交脚本中的作业文件路径，生成在高速存储层中对应的路径，将作业数据拷贝到高速存储层中；然后再实际执行yhrun交互式提交作业命令或yhbatch批处理式提交作业命令提交作业；提交成功后，获取jobid提交作业的ID，通过该提交作业的ID设置触发器，监控作业运行状态，作业运行完毕后，自动将结果数据回传。
而且，所述步骤2中原始数据存留时间计算机制为：作业数据第一次提交高速存储层并计算运行完毕后，保留作业数据的预设时间。
而且，所述保留作业数据的预设时间的计算方法为：
T留存时间 = D作业数据量/S拷贝速度/R作业运行时间*(0.1*W警告 + E错误 + 10*KE关键错误)*(1-U空间使用率)2
*δ常量系数
其中，T留存时间为作业原始数据留存时间；D作业数据量为作业原始数据总大小，S拷贝速度为作业原始数据拷贝速度，R作业运行时间为作业运行时间，W警告为作业运行日志警告数量，E错误为作业运行日志错误数量，KE关键错误为作业运行日志关键错误数量，U空间使用率为高速存储层当前空间使用率，δ常量系数为常量系数值。
而且，所述步骤3中作业数据自动归档和换回机制为：定期扫描在线存储层，若在线存储层存在超过阈值时间未访问的文件，则将其移动到近线存储层，然后在原有的位置创建一个软连接，指向文件被移动到的位置。
本发明的优点和积极效果是：
1、本发明通过将存储层分为包括高速存储层、在线存储层和近线存储层的三层存储系统，同时基于三层存储系统分别构建了作业数据拷贝回传机制、原始数据存留时间计算机制和作业数据自动归档和换回机制，并将超级计算机系统与三层存储系统进行融合，实现了在控制存储系统整体设备成本的前提下，解决了超级计算机系统用户作业数据存储空间、存取性能和设备成本之间的矛盾，在保持存储设备低成本的同时，提高存储系统总可用空间和存储服务IO性能，提高数据总可用存储空间，降低存储系统设备平均成本。
2、本发明通过构建作业数据拷贝回传机制和作业数据自动归档和换回机制，使作业数据在线存储层和高速存储层进行传输操作，解决了超级计算机运行高IO作业时的存储系统性能瓶颈问题。
3、本发明通过构建原始数据存留时间计算机制，能够保证需多次提交的作业，其原始数据能够留存在高速存储层中，减少作业原始数据的拷贝成本；同时使高速存储层保持较低的存储空间使用率，从而解决了超级计算机运行高IO作业时的存储系统性能瓶颈问题，并提高存储系统的稳定性，进而提高整个超级计算机系统的稳定性。
附图说明
图1为本发明超级计算机作业数据分层存储系统；
图2为本发明超级计算机系统与分层存储系统融合方法；
图3为本发明超级计算机系统用户提交作业处理流程；
图4为本发明作业数据自动归档整体处理流程；
图5为为本发明作业数据自动换回整体处理流程。
具体实施方式
以下结合附图对本发明做进一步详述。
一种超级计算机作业数据分层存储系统，包括设置在超级计算机中的三层存储系统，三层存储系统分别为高速存储层、在线存储层和近线存储层。如图2所示，由于超级计算机用户一般通过登录节点进行作业数据管理，而作业任务的运行则通过计算节点，因此高速存储层挂载一般计算节点；在线存储层挂载登陆节点和小微作业计算节点。用户的作业数据存储在在线存储层，用户可以通过登录节点，对作业数据进行管理；当有作业需要运行时，通过“作业拷贝回传机制”，将作业数据从在线存储层拷贝到高速存储层。同时，对于较小的作业任务，可以直接提交到小微作业计算节点上，避免了作业数据拷贝的时间开销。
分层存储即是将多种不同性能级别的存储系统融合在一起，性能最高的存储系统放在第一层，用于满足高速数据存取能力的需求；随着存储性能的降低，层级依次向下；性能最低的存储系统放在最后一层，用于满足海量存储空间的需求。各层存储系统发挥各自的特点优势，共同对外提供数据存储服务。如图1所示，高速存储层选用性能高、空间小，且利于超级计算机作业运行的存储资源；所述在线存储层选用空间和性能均为一般水平，且利于超级计算机系统用户日常数据管理的存储资源；所述近线存储层选用空间大、性能低、成本低，且利于长期不使用的作业数据进行归档存储的存储资源。
一种基于超级计算机作业数据分层存储系统的存储方法，包括以下步骤：
步骤1、构建作业数据拷贝回传机制。
由于构建的高速存储层的存储空间较小，因此仅用于存放超级计算机当前运行中作业的数据，及作业运行完毕后数据的短期留存。在线存储层有较高的存储空间，用于存储超级计算机系统用户在超级计算机上的日常作业数据，这就要求，作业数据能够在高速存储层和在线存储层之间进行自动流转。如图3所示，构建作业拷贝回传机制：对超级计算机作业管理系统进行改造，使作业提交时，将作业原始数据从在线存储层拷贝到高速存储层；作业运行完毕后，将结果数据从高速存储层拷贝到在线存储层。
作业拷贝回传机制的具体事项方法维持：将yhrun交互式提交作业命令和yhbatch批处理式提交作业命令进行重写，在实际执行提交作业之前，先获取作业提交脚本中的作业文件路径，生成在高速存储层中对应的路径，将作业数据拷贝到高速存储层中；然后再实际执行yhrun交互式提交作业命令或yhbatch批处理式提交作业命令提交作业；提交成功后，获取jobid提交作业的ID，通过该提交作业的ID设置触发器，监控作业运行状态，作业运行完毕后，自动将结果数据回传。
通过分层存储系统与作业拷贝回传机制相结合，即可实现使用小规模的高速存储系统，支持超级计算机大规模作业运行，满足其对底层存储系统超高IO性能的要求。同时，通过作业拷贝回传装置，使作业数据只有需要被超级计算机访问时，才会被拷贝到高速存储层中，访问完毕后即被移出高速存储层，这一机制可以使高速存储层保持较低的存储空间使用率，从而增加存储系统的稳定性，进而增加整个超级计算机系统的稳定性。
步骤2、构建原始数据存留时间计算机制。
基于用户对超级计算机的使用习惯，一般作业在被提交运行一次后，短期内有可能进行少量修改并再次提交。因此，为了使作业多次提交时，降低作业数据的拷贝成本，作业第一次提交并运行完毕后，不会立刻将高速存储层中的作业数据删除，而是保留的预设时间。当作业算法或数据进行了少量修改并再次被提交时，仅需将修改部分的数据重新拷贝即可。
作业数据在高速存储层中的留存时间既不能太长，也不能太短。如果留存时间太长，会导致高速存储层中的无用数据太多，浪费存储空间；如果留存时间太短，可能导致作业多次提交时，仍需进行完整的数据拷贝。
本发明根据作业运行时间、作业日志警告数量、作业日志报错数量、作业日志关键报错数量、作业数据量大小、存储系统总体空间使用率等多个因素，来计算作业数据在高速存储层中的留存时间。如作业的数据量较大，则考虑再次拷贝时的成本较高，因此增加作业数据的留存时间；如作业运行时间较长，则考虑其数据拷贝操作时间占比较小，甚至可以忽略不计，因此降低作业数据的留存时间；另外，如果作业运行时间极短，则作业运行可能已经发生错误，因此该作业被重新提交的可能性极大，应增加作业数据留存时间；当作业运行日志中包含警告或者错误，则其被重新提交的可能性较大，增加作业数据留存时间；当整体的存储系统空间使用率较低时，能够容纳的数据较多，因此增加作业数据留存时间，反之则降低作业数据留存时间。保留作业数据的预设时间的计算方法为：
T留存时间 = D作业数据量/S拷贝速度/R作业运行时间*(0.1*W警告 + E错误 + 10*KE关键错误)*(1-U空间使用率)2
*δ常量系数
其中，T留存时间为作业原始数据留存时间；D作业数据量为作业原始数据总大小，S拷贝速度为作业原始数据拷贝速度，R作业运行时间为作业运行时间，W警告为作业运行日志警告数量，E错误为作业运行日志错误数量，KE关键错误为作业运行日志关键错误数量，U空间使用率为高速存储层当前空间使用率，δ常量系数为常量系数值。
步骤3、构建作业数据自动归档和换回机制。
如图4所示，作业数据自动归档用于将长期不使用的文件从在线存储层移出到近线存储层。作业数据自动归档装置是一个守护进程，每天定期扫描在线存储层，若在线存储层存在超过阈值时间未访问的文件，则将其移动到近线存储层，然后在原有的位置创建一个软连接，指向文件被移动到的位置。
如图5所示，由于有软连接，因此即是文件被换出到近线存储层，用户依然可以访问到该文件，只是读写性能会相对差一些。同时使用作业数据自动换回自机制，监控用户对文件的访问，当用户访问文件时，自动将文件换回到在线存储层，保证用户的文件的正常使用。
步骤4、在高速存储层、在线存储层和近线存储层的三层存储系统中植入步骤1的作业数据拷贝回传机制；采用步骤2的原始数据存留时间计算机制和步骤3的作业数据自动归档和换回机制实现超级计算机作业数据分层存储。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (8)

1.一种超级计算机作业数据分层存储系统，其特征在于：包括设置在超级计算机中的三层存储系统，三层存储系统分别为高速存储层、在线存储层和近线存储层，所述高速存储层挂载一般计算节点；在线存储层挂载登陆节点和小微作业计算节点，在线存储层用于用户登陆、作业数据操作管理和小作业任务的处理。
2.根据权利要求1所述的一种超级计算机作业数据分层存储系统，其特征在于：所述高速存储层选用利于超级计算机作业运行的存储资源；所述在线存储层选用空间和性能利于超级计算机系统用户日常数据管理的存储资源；所述近线存储层选用利于长期不使用的作业数据进行归档存储的存储资源。
3.一种基于权利要求1至2任一项所述的超级计算机作业数据分层存储系统的存储方法，其特征在于，包括以下步骤：
步骤1、构建作业数据拷贝回传机制；
步骤2、构建原始数据存留时间计算机制；
步骤3、构建作业数据自动归档和换回机制；
步骤4、在高速存储层、在线存储层和近线存储层的三层存储系统中植入步骤1的作业数据拷贝回传机制；采用步骤2的原始数据存留时间计算机制和步骤3的作业数据自动归档和换回机制实现超级计算机作业数据分层存储。
4.根据权利要求3所述的一种超级计算机作业数据分层存储系统的存储方法，其特征在于：所述步骤1中作业数据拷贝回传机制为：作业数据存于在线存储层中，当用于进行提交作业数据时，将作业数据自动从在线存储层拷贝到高速存储层进行计算，在作业数据计算完成后，自动将作业数据以及作业数据的计算结果从高速存储层回传至在线存储层。
5.根据权利要求3所述的一种超级计算机作业数据分层存储系统的存储方法，其特征在于：所述步骤1的具体实现方法为：将yhrun交互式提交作业命令和yhbatch批处理式提交作业命令进行重写，在实际执行提交作业之前，先获取作业提交脚本中的作业文件路径，生成在高速存储层中对应的路径，将作业数据拷贝到高速存储层中；然后再实际执行yhrun交互式提交作业命令或yhbatch批处理式提交作业命令提交作业；提交成功后，获取jobid提交作业的ID，通过该提交作业的ID设置触发器，监控作业运行状态，作业运行完毕后，自动将结果数据回传。
6.根据权利要求3所述的一种超级计算机作业数据分层存储系统的存储方法，其特征在于：所述步骤2中原始数据存留时间计算机制为：作业数据第一次提交高速存储层并计算运行完毕后，保留作业数据的预设时间。
7.根据权利要求6所述的一种超级计算机作业数据分层存储系统的存储方法，其特征在于：所述保留作业数据的预设时间的计算方法为：
T留存时间 = D作业数据量/S拷贝速度/R作业运行时间*(0.1*W警告 + E错误 + 10*KE关键错误)*(1-U空间使用率)2*δ常量系数
其中，T留存时间为作业原始数据留存时间；D作业数据量为作业原始数据总大小，S拷贝速度为作业原始数据拷贝速度，R作业运行时间为作业运行时间，W警告为作业运行日志警告数量，E错误为作业运行日志错误数量，KE关键错误为作业运行日志关键错误数量，U空间使用率为高速存储层当前空间使用率，δ常量系数为常量系数值。
8.根据权利要求3所述的一种超级计算机作业数据分层存储系统的存储方法，其特征在于：所述步骤3中作业数据自动归档和换回机制为：定期扫描在线存储层，若在线存储层存在超过阈值时间未访问的文件，则将其移动到近线存储层，然后在原有的位置创建一个软连接，指向文件被移动到的位置。
CN202210145523.XA 2022-02-17 2022-02-17 一种超级计算机作业数据分层存储系统及方法 Active CN114201119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210145523.XA CN114201119B (zh) 2022-02-17 2022-02-17 一种超级计算机作业数据分层存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210145523.XA CN114201119B (zh) 2022-02-17 2022-02-17 一种超级计算机作业数据分层存储系统及方法

Publications (2)

Publication Number Publication Date
CN114201119A true CN114201119A (zh) 2022-03-18
CN114201119B CN114201119B (zh) 2022-05-13

Family

ID=80645596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210145523.XA Active CN114201119B (zh) 2022-02-17 2022-02-17 一种超级计算机作业数据分层存储系统及方法

Country Status (1)

Country Link
CN (1) CN114201119B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117724796A (zh) * 2024-02-07 2024-03-19 国家超级计算天津中心 基于工具栈的超级计算机控制方法、装置、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455946A (en) * 1993-05-21 1995-10-03 International Business Machines Corporation Method and means for archiving modifiable pages in a log based transaction management system
CN102508789A (zh) * 2011-10-14 2012-06-20 浪潮电子信息产业股份有限公司 一种系统分级存储的方法
CN103095805A (zh) * 2012-12-20 2013-05-08 江苏辰云信息科技有限公司 一种对数据进行智能分层管理的云存储系统
CN103186566A (zh) * 2011-12-28 2013-07-03 中国移动通信集团河北有限公司 一种数据分级存储方法、装置及系统
CN104102454A (zh) * 2013-04-07 2014-10-15 杭州信核数据科技有限公司 一种自动实现分层存储的方法和管理分层存储的系统
CN109284068A (zh) * 2017-07-19 2019-01-29 三星电子株式会社 数据存储管理系统、方法及物件
CN110727406A (zh) * 2019-10-10 2020-01-24 深圳力维智联技术有限公司 一种数据存储调度方法及装置
CN111966644A (zh) * 2020-08-12 2020-11-20 南方科技大学 超级计算机数据存储方法、装置、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455946A (en) * 1993-05-21 1995-10-03 International Business Machines Corporation Method and means for archiving modifiable pages in a log based transaction management system
CN102508789A (zh) * 2011-10-14 2012-06-20 浪潮电子信息产业股份有限公司 一种系统分级存储的方法
CN103186566A (zh) * 2011-12-28 2013-07-03 中国移动通信集团河北有限公司 一种数据分级存储方法、装置及系统
CN103095805A (zh) * 2012-12-20 2013-05-08 江苏辰云信息科技有限公司 一种对数据进行智能分层管理的云存储系统
CN104102454A (zh) * 2013-04-07 2014-10-15 杭州信核数据科技有限公司 一种自动实现分层存储的方法和管理分层存储的系统
CN109284068A (zh) * 2017-07-19 2019-01-29 三星电子株式会社 数据存储管理系统、方法及物件
CN110727406A (zh) * 2019-10-10 2020-01-24 深圳力维智联技术有限公司 一种数据存储调度方法及装置
CN111966644A (zh) * 2020-08-12 2020-11-20 南方科技大学 超级计算机数据存储方法、装置、系统及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117724796A (zh) * 2024-02-07 2024-03-19 国家超级计算天津中心 基于工具栈的超级计算机控制方法、装置、设备和介质

Also Published As

Publication number Publication date
CN114201119B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN100407152C (zh) 多策略资源调度的方法和系统
US9361034B2 (en) Transferring storage resources between snapshot storage pools and volume storage pools in a distributed network
US7499960B2 (en) Adaptive memory allocation
CN102981929B (zh) 磁盘镜像的管理方法和系统
US20100185587A1 (en) Data movement with reduced service outage
KR20170120489A (ko) 통지와 함께 백그라운드 활동을 효율적으로 관리하는 ssd를 위한 메카니즘
KR20110082529A (ko) 분할되고 확장가능하며 사용가능한 구조적 저장소에서의 파티션 관리
CN104899286A (zh) 分布式内容存储和取回
CN103581332A (zh) HDFS架构及HDFS架构中NameNode节点的压力分解方法
CN1996311A (zh) 管理存储系统的方法和数据处理系统
US20220075757A1 (en) Data read method, data write method, and server
EP3353627B1 (en) Adaptive storage reclamation
CN104202424B (zh) 一种使用软件架构扩展缓存的方法
CN111930716A (zh) 一种数据库扩容方法、装置及系统
Chandramouli et al. Query suspend and resume
CN114201119B (zh) 一种超级计算机作业数据分层存储系统及方法
CN110209693A (zh) 高并发数据查询方法、装置、系统、设备及可读存储介质
CN108132759A (zh) 一种文件系统中管理数据的方法和装置
CN114579563A (zh) 一种节省区块链节点存储开销的方法、系统及存储介质
WO2024207831A1 (zh) 一种智能ec处理方法与装置
JPH09274608A (ja) マルチプロセッサシステムにおけるプロセッサ間の負荷配分制御方法
CN115878625A (zh) 数据处理方法和装置及电子设备
JP2019053466A (ja) 管理装置、情報処理システムおよび記憶領域管理プログラム
CN112328539A (zh) 一种基于大数据的数据迁移方法
CN114625474A (zh) 容器迁移方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant