CN110633256A - 一种分布式集群系统中Session会话的共享方法 - Google Patents

一种分布式集群系统中Session会话的共享方法 Download PDF

Info

Publication number
CN110633256A
CN110633256A CN201910959690.6A CN201910959690A CN110633256A CN 110633256 A CN110633256 A CN 110633256A CN 201910959690 A CN201910959690 A CN 201910959690A CN 110633256 A CN110633256 A CN 110633256A
Authority
CN
China
Prior art keywords
data
session
index
sharing
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910959690.6A
Other languages
English (en)
Inventor
黄达文
张茵翠
冼志生
宋通川
黎康萍
谭金兴
梁炳
李茜昕
欧显扬
吴小玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN201910959690.6A priority Critical patent/CN110633256A/zh
Publication of CN110633256A publication Critical patent/CN110633256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机的技术领域，特别是涉及一种分布式集群系统中Session会话的共享方法，其构建新的有序模型，以实现Session会话的高效共享；包括缓存数据、索引建立、整理数据和会话数据写入磁盘，将会话数据分成若干个小数据块，以此加快数据在写入与读取时的速度，进而提高会话分享并发能力；根据会话数据的读写流程，需在集群中存入磁盘数据索引，以搜索率较高的数据为索引标准，进而提高会话共享响应能力；建立会话索引，并对索引结构进行处理，保证其能满足检索需求；依据建立的会话索引，将关键字矩阵之间的包含关系，用键值对进行存储，通过建立关键字索引矩阵，可分享到不同关键字组合所在的逻辑区域之中。

Description

一种分布式集群系统中Session会话的共享方法
技术领域
本发明涉及计算机的技术领域，特别是涉及一种分布式集群系统中Session会话的共享方法。
背景技术
目前，人们对于会话安全保障标准不断提高，过去计算机程序对复杂问题进行计算时困难重重，硬件计算时间较长，单独使用一台服务器对问题数据的输入与计算已经难以满足要求。因此对于这种问题众多互联网应用系统建立了基于分布式集群系统的网络。分布式集群系统突出优点为，该系统整合了较为分散广域网的计算数据，建立了以高速集群数据互换设备及对应的数据通道，其内部结构为基于物理分布的分散区域，不同于过去的高内聚组网方式，建立网对网的方式，大大提升了网络的机动性，也提高了各链接点处对性的控制能力与处理能力。
通过增加服务节点形式，使集群系统提高处理能力。但是，对于传统方法由于HTTP网络协议是无链接信息状态的，需要提供用户访问、访问历史等能够保持用户与应用交互过程的信息，对此应用 Session会话。Session会话是建立在独立的服务器内部的，每当用户对HTTP发出访问时，就会有可能被随机分派到不同的网络信息处理器中进行处理，如果Session无法在各处理器的起到的效果一致，那么数据处理就会在分布式集群环境下出现错误计算结果。
因此，Session共享的方法需要对负载均衡进行研究，并根据具体运行环境建立不同的Session共享方式，使其不仅可以正常运行，同时使性能更加高效。
以往的共享方法为：
1、源IP地址Session保持
以往Session会话是在某个服务器出现故障后，有些用户无法进行正常访问；如果用户发送的大量请求时从同一台计算机中发射出来的，那么就会使传送负载均衡服务器的某个应用处理器计算量过大，出现不均衡现象出现。针对该问题，需保持源IP地址的Session会话。
基于源IP地址的Session保持是指来自同一源IP地址的请求，将不同负载均衡处理器处理结果分派到同一台服务器上，那么这台服务器就会保持同一种方式Session。源IP地址Session保持原理如图1所示。
如图1所示，分别记录客户端A，B，C在负载均衡服务器中运行的路径。如果此时有用户信息发送过来，那么这些信息将被传送到同一个服务器之中，方便后续逻辑计算。该原理保持了Session数据的原有属性，只需要在负载均衡器中调制便可。
2集群统一管理Session复制
在源IP地址Session保持原理支持下，复制统一管理Session。 Session共享信息的原理是指在集群系统中设置一台专用的服务器，其功能是统一储存所有的Session，当数据处理需要使用Session时，可以从这台服务器中获取Session数据，从而实现Session同步和共享目的。
这种方法的实现原理是在集群中的任一连接点的服务器建立或更新的Session，更新后的Session将被复制到其他节点服务器之中，有效保证了不同节点服务器都各自拥有自己的Session。用户的请求被分配到任何一台处理器上后，都会具有相同的Session状态，从而实现Session共享。该过程是一个复制过程，需要通过集群进行调制，并通过服务器进行一定设置，保证各个服务器设置模式不单一。
因此，根据上述方法，构建新的有序模型，以实现Session会话的高效共享，是一个亟需解决的问题。
发明内容
为解决上述技术问题，本发明提供一种构建新的有序模型，以实现Session会话的高效共享的分布式集群系统中Session会话的共享方法。
本发明的一种分布式集群系统中Session会话的共享方法，包括缓存数据、索引建立、整理数据和会话数据写入磁盘，将会话数据分成若干个小数据块，以此加快数据在写入与读取时的速度，进而提高会话分享并发能力；
根据会话数据的读写流程，需在集群中存入磁盘数据索引，以搜索率较高的数据为索引标准，进而提高会话共享响应能力；
建立会话索引，并对索引结构进行处理，保证其能满足检索需求；
依据建立的会话索引，将关键字矩阵之间的包含关系，用键值对进行存储，通过建立关键字索引矩阵，可分享到不同关键字组合所在的逻辑区域之中，提高相同关键字会话数据之间的关联性，进而有效提升Session会话分享效率。
本发明的一种分布式集群系统中Session会话的共享方法，会话数据写入操作包括以下步骤：
S11、读取外部程序数据，分块读取数据，批量输入分布式节点中；
S12、建立数据索引，并在集群内部共享索；
S13、根据索引合并数据块；
S14、把处理后的数据提交给HDFS客户端，进行物理磁盘写入操作；
S15、根据索引合并数据块。
本发明的一种分布式集群系统中Session会话的共享方法，会话数据读取操作的具体流程如下：
S21、接收外部程序的数据读取请求；
S22、检索集群中是否存储要访问的数据；
S23、若是，则重复步骤S21，若否，则在集群中检索数据索引；
S24、检索到的数据索引映射给磁盘文件系统的管理客户端；
S25、磁盘文件系统的管理客户端根据接收的索引记录读取、合并数据，把整理好的数据缓存到集群中，并由节点把数据返回给外部程序；
S26、数据预存储机制激活，把从磁盘文件系统中读取的数据设置为使用频率高的文件；
S27、将文件缓存到集群中，把使用频率最低的文件替换掉。
与现有技术相比本发明的有益效果为：分布式集群系统中 Session会话的高效共享方法实现方法是利用服务器将客户的 Session数据保密化、程序化以后，以分布式的方式储存在客户的服务器上。当客户再次访问时，服务器就能从请求中获取对应Session 中的信息，从而实现Session的共享。这种新模型的优点是Session 数据储存在客户端，不需要其他服务器信息，相关数据存储长度不会受到限制，能够保存大量客户数据；同时，可对Session内容进行安全共享。
附图说明
图1基于源IP地址的Session保持原理；
图2是会话数据写入操作的具体流程图；
图3是会话数据读取操作的具体流程图；
图4是逻辑地址二维平面会话索引建立图；
图5是关键字矩阵索引表。
具体实施方式
下面结合实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例
1、基于Session有序模型会话数据访问
针对有序模型的分布式集群会话共享主要包括缓存数据、索引建立、整理数据和数据写入磁盘，将会话数据分成若干个小数据块，以此加快数据在写入与读取时的速度，进而提高会话分享并发能力。
会话数据写入操作的具体流程如图2所示。
会话数据读取操作的具体流程如图3所示。
根据会话数据的读写流程，需在集群中存入磁盘数据索引，以搜索率较高的数据为索引标准，进而提高会话共享响应能力。
2、会话索引建立
由于网络数据在存储过程中，其耗费的时间具有随机性，会话共享的关键是实时建立会话索引，为集群上数据索引维护提供方便。因此，需对索引结构进行处理，保证其能满足检索需求。
图4给出了逻辑地址二维平面会话索引，通过二维坐标x轴和y轴的位置来表示服务器的文件逻辑地址，构成网格地址。
由图4可知：在逻辑地址平面中，每个常用检索关键字都会分配一个自由编码的矩阵，在该矩阵中数据具有相同关键字，根据该关键字实现共享方案的设计。
3、共享方案的实现
依据建立的会话索引，将关键字矩阵之间的包含关系，用键值对进行存储，图5为该方法建立的索引表。
图5中的信息包括所属矩阵索引信息和网格二维平面坐标信息，通过建立关键字索引矩阵，可分享到不同关键字组合所在的逻辑区域之中，提高相同关键字会话数据之间的关联性，进而有效提升Session 会话分享效率。
分布式集群系统中Session会话的高效共享方法实现方法是利用服务器将客户的Session数据保密化、程序化以后，以分布式的方式储存在客户的服务器上。当客户再次访问时，服务器就能从请求中获取对应Session中的信息，从而实现Session的共享。这种新模型的优点是Session数据储存在客户端，不需要其他服务器信息，相关数据存储长度不会受到限制，能够保存大量客户数据；同时，可对Session 内容进行安全共享。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (3)

1.一种分布式集群系统中Session会话的共享方法，其特征在于，包括缓存数据、索引建立、整理数据和会话数据写入磁盘，将会话数据分成若干个小数据块，以此加快数据在写入与读取时的速度，进而提高会话分享并发能力；
根据会话数据的读写流程，需在集群中存入磁盘数据索引，以搜索率较高的数据为索引标准，进而提高会话共享响应能力；
建立会话索引，并对索引结构进行处理，保证其能满足检索需求；
依据建立的会话索引，将关键字矩阵之间的包含关系，用键值对进行存储，通过建立关键字索引矩阵，可分享到不同关键字组合所在的逻辑区域之中，提高相同关键字会话数据之间的关联性，进而有效提升Session会话分享效率。
2.如权利要求1所述的一种分布式集群系统中Session会话的共享方法，其特征在于，会话数据写入操作包括以下步骤：
S11、读取外部程序数据，分块读取数据，批量输入分布式节点中；
S12、建立数据索引，并在集群内部共享索；
S13、根据索引合并数据块；
S14、把处理后的数据提交给HDFS客户端，进行物理磁盘写入操作；
S15、根据索引合并数据块。
3.如权利要求1所述的一种分布式集群系统中Session会话的共享方法，其特征在于，会话数据读取操作的具体流程如下：
S21、接收外部程序的数据读取请求；
S22、检索集群中是否存储要访问的数据；
S23、若是，则重复步骤S21，若否，则在集群中检索数据索引；
S24、检索到的数据索引映射给磁盘文件系统的管理客户端；
S25、磁盘文件系统的管理客户端根据接收的索引记录读取、合并数据，把整理好的数据缓存到集群中，并由节点把数据返回给外部程序；
S26、数据预存储机制激活，把从磁盘文件系统中读取的数据设置为使用频率高的文件；
S27、将文件缓存到集群中，把使用频率最低的文件替换掉。
CN201910959690.6A 2019-10-10 2019-10-10 一种分布式集群系统中Session会话的共享方法 Pending CN110633256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910959690.6A CN110633256A (zh) 2019-10-10 2019-10-10 一种分布式集群系统中Session会话的共享方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910959690.6A CN110633256A (zh) 2019-10-10 2019-10-10 一种分布式集群系统中Session会话的共享方法

Publications (1)

Publication Number Publication Date
CN110633256A true CN110633256A (zh) 2019-12-31

Family

ID=68975905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910959690.6A Pending CN110633256A (zh) 2019-10-10 2019-10-10 一种分布式集群系统中Session会话的共享方法

Country Status (1)

Country Link
CN (1) CN110633256A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022033099A1 (zh) * 2020-08-13 2022-02-17 华为技术有限公司 一种构建索引方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050204045A1 (en) * 1999-09-24 2005-09-15 Ruslan Belkin Mechanism for enabling session information to be shared across multiple processes
US20140304499A1 (en) * 2013-04-06 2014-10-09 Citrix Systems, Inc. Systems and methods for ssl session management in a cluster system
CN104580226A (zh) * 2015-01-15 2015-04-29 上海瀚之友信息技术服务有限公司 一种共享会话数据的系统和方法
CN105516264A (zh) * 2015-11-30 2016-04-20 努比亚技术有限公司 分布式集群系统下的session共享方法、装置及系统
CN109150936A (zh) * 2017-06-19 2019-01-04 北京宝兰德软件股份有限公司 一种分布式集群中会话对象Session的共享方法及装置
CN109842686A (zh) * 2019-03-05 2019-06-04 国家电网有限公司信息通信分公司 一种实现跨区域集群调度的负载均衡系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050204045A1 (en) * 1999-09-24 2005-09-15 Ruslan Belkin Mechanism for enabling session information to be shared across multiple processes
US20140304499A1 (en) * 2013-04-06 2014-10-09 Citrix Systems, Inc. Systems and methods for ssl session management in a cluster system
CN104580226A (zh) * 2015-01-15 2015-04-29 上海瀚之友信息技术服务有限公司 一种共享会话数据的系统和方法
CN105516264A (zh) * 2015-11-30 2016-04-20 努比亚技术有限公司 分布式集群系统下的session共享方法、装置及系统
CN109150936A (zh) * 2017-06-19 2019-01-04 北京宝兰德软件股份有限公司 一种分布式集群中会话对象Session的共享方法及装置
CN109842686A (zh) * 2019-03-05 2019-06-04 国家电网有限公司信息通信分公司 一种实现跨区域集群调度的负载均衡系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022033099A1 (zh) * 2020-08-13 2022-02-17 华为技术有限公司 一种构建索引方法及装置

Similar Documents

Publication Publication Date Title
US20150215405A1 (en) Methods of managing and storing distributed files based on information-centric network
EP1330907A2 (en) Method and apparatus for real-time parallel delivery of segments of a large payload file
CN105005611B (zh) 一种文件管理系统及文件管理方法
JP2009295127A (ja) アクセス方法、アクセス装置及び分散データ管理システム
Zeng et al. Optimal metadata replications and request balancing strategy on cloud data centers
Singh et al. Scalable metadata management techniques for ultra-large distributed storage systems--A systematic review
US20230267130A1 (en) Analytical query processing with decoupled compute instances
US20230195726A1 (en) Selecting between hydration-based scanning and stateless scale-out scanning to improve query performance
Duan et al. CSTORE: A desktop-oriented distributed public cloud storage system
CN110633256A (zh) 一种分布式集群系统中Session会话的共享方法
US10659330B2 (en) Channel management in scalable messaging system
Shao et al. Effective load balancing mechanism for heterogeneous range queriable cloud storage
KR20030014513A (ko) 서버 부하의 분산을 위한 클라이언트 데이터 공유 시스템및 그 방법
Zhong et al. A dynamic replica management strategy based on data grid
KR20140045738A (ko) 클라우드 스토리지 시스템
Meng et al. A network load sensitive block placement strategy of HDFS
Al Nuaimi et al. Partial storage optimization and load control strategy of cloud data centers
Nakagawa et al. Jobcast—Parallel and distributed processing framework Data processing on a cloud style KVS database
Zhang et al. Oasis: Controlling Data Migration in Expansion of Object-based Storage Systems
Piernas et al. Leveraging OSD+ devices for implementing a high‐throughput parallel file system
Duan et al. A high‐performance distributed file system for large‐scale concurrent HD video streams
Mohamad et al. Implementation of Sub-Grid-Federation Model for Performance Improvement in Federated Data Grid
Xu et al. C 2: adaptive load balancing for metadata server cluster in cloud-scale storage systems
Yue Distributing Data with Zero Migration
Wang et al. Balanced partition scheme for distributed caching systems to solve load imbalance problems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191231

RJ01 Rejection of invention patent application after publication