周家帅
作品数: 10被引量:11H指数:1
  • 所属机构:北京大学
  • 所在地区:北京市
  • 研究方向:自动化与计算机技术
  • 发文基金:国家自然科学基金

相关作者

高军
作品数:67被引量:26H指数:4
供职机构:北京大学
研究主题:查询方法 扩展标记语言 索引 甲基睾酮 车辆自组织网络
王腾蛟
作品数:184被引量:1,105H指数:17
供职机构:北京大学
研究主题:XML 查询方法 索引 数据流 移动通信
唐世渭
作品数:231被引量:3,372H指数:28
供职机构:北京大学
研究主题:数据库 XML 数据挖掘 数据仓库 信息集成
杨冬青
作品数:258被引量:3,287H指数:28
供职机构:北京大学
研究主题:XML 数据库 查询方法 索引 数据挖掘
蒋晓
作品数:3被引量:0H指数:0
供职机构:北京大学
研究主题:查询效率 查询方法 宽度优先搜索 结点 数据库环境
基于MapReduce的大图上距离连接查询方法
本发明公开了一种基于MapReduce的大图上距离连接查询方法,其步骤包括:1)提取初始化的查询参数:原图、已访问结点、拓展范围和查询结果;2)在hadoop上对原图进行双向拓展,拓展从源结点集合和目标结点集合开始,每次...
周家帅高军王衎王腾蛟杨冬青唐世渭
文献传递
一种基于动态划分的MapReduce负载均衡方法被引量:11
2013年
MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素.当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负载不均衡的问题.为解决这一问题,对当前的MapReduce框架进行拓展,根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数,保证Reduce任务的负载均衡.具体地,对Map的结果进行采样,并将其发送给Job Tracker.Job Tracker根据采样数据的分布情况动态确定划分函数,以保证每个Reduce任务处理的记录数目均衡.更重要的是,在Hadoop框架内实现了负载均衡方法,测试结果证明方法具有良好的有效性、兼容性和可用性.
周家帅王琦高军
关键词:MAPREDUCE负载均衡采样
并行计算框架中的Reduce端自适应负载均衡方法
本发明涉及一种并行计算框架中的Reduce端自适应负载均衡方法,通过采用动态哈希函数划分方法来预测任务所输入数据的分布,并且根据所预测数据的分布特点产生一个静态哈希函数,使得在该静态哈希函数的作用下,所有数据的分发尽可能...
王林青高军周家帅李红燕王腾蛟
文献传递
基于Datalog的分布式环境下大图数据查询方法
本发明涉及一种基于Datalog的分布式环境下大图数据查询方法,其步骤包括:1)对用户输入的基于Datalog规则集合的大图查询指令进行语法分析,产生对应的语法树;2)根据语法树,构建以Datalog规则为单位的执行计划...
高军周家帅王腾蛟杨冬青唐世渭
关系数据库环境下图中最短路径的查询方法
本发明提供一种在关系数据库环境下图中最短路径的查询方法,其步骤包括:将图存储于关系数据库中,按照该图中边的权重将该图对应的表划分成若干子表;根据查询请求中的源结点与目标结点建立已访问结点表,并初始化需要拓展的子表;采用宽...
周家帅高军蒋晓王腾蛟杨冬青唐世渭
文献传递
基于Datalog的分布式环境下大图数据查询方法
本发明涉及一种基于Datalog的分布式环境下大图数据查询方法,其步骤包括:1)对用户输入的基于Datalog规则集合的大图查询指令进行语法分析,产生对应的语法树;2)根据语法树,构建以Datalog规则为单位的执行计划...
高军周家帅王腾蛟杨冬青唐世渭
文献传递
基于MapReduce的大图上距离连接查询方法
本发明公开了一种基于MapReduce的大图上距离连接查询方法,其步骤包括:1)提取初始化的查询参数:原图、已访问结点、拓展范围和查询结果;2)在hadoop上对原图进行双向拓展,拓展从源结点集合和目标结点集合开始,每次...
周家帅高军王衎王腾蛟杨冬青唐世渭
并行计算框架中的Reduce端自适应负载均衡方法
本发明涉及一种并行计算框架中的Reduce端自适应负载均衡方法,通过采用动态哈希函数划分方法来预测任务所输入数据的分布,并且根据所预测数据的分布特点产生一个静态哈希函数,使得在该静态哈希函数的作用下,所有数据的分发尽可能...
王林青高军周家帅李红燕王腾蛟
文献传递
描述性图查询设计及其在MapReduce框架中的实现
随着社交网络分析、生物信息网络分析、交通导航等新兴应用的快速增长,不同领域出现了规模庞大、内部结构复杂、查询需求多样的大图数据。传统的单机计算模式难以满足大图数据管理需求,利用分布式框架来对大图进行管理成为不可避免的趋势...
周家帅
关键词:分布式计算查询翻译MAPREDUCE框架
关系数据库环境下图中最短路径的查询方法
本发明提供一种在关系数据库环境下图中最短路径的查询方法,其步骤包括:将图存储于关系数据库中,按照该图中边的权重将该图对应的表划分成若干子表;根据查询请求中的源结点与目标结点建立已访问结点表,并初始化需要拓展的子表;采用宽...
周家帅高军蒋晓王腾蛟杨冬青唐世渭
文献传递