有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java如何加速程序?(大量缓慢的mysql查询)

我有30万行的数据库,我需要用算法过滤一些行

protected boolean validateMatch(DbMatch m) throws MatchException, NotSupportedSportException{

    // expensive part
    List<DbMatch> hh = sd.getMatches(DateService.beforeDay(m.getStart()), m.getHt(), m.getCountry(),m.getSportID());
    List<DbMatch> ah = sd.getMatches(DateService.beforeDay(m.getStart()), m.getAt(), m.getCountry(),m.getSportID());
    ....

我的hibernate dao函数用于从Mysql加载数据,使用的是init数组大小的2倍

public List<DbMatch> getMatches(Date before,String team, String country,int sportID) throws NotSupportedSportException{
    //Match_soccer where date between :start and :end
    Criteria criteria = session.createCriteria(DbMatch.class);
    criteria.add(Restrictions.le("start",before));
    criteria.add(Restrictions.disjunction()
            .add(Restrictions.eq("ht", team))
            .add(Restrictions.eq("at", team)));

    criteria.add(Restrictions.eq("country",country));
    criteria.add(Restrictions.eq("sportID",sportID));
    criteria.addOrder(Order.desc("start") );
    return criteria.list();
}

我如何尝试过滤数据的示例

function List<DbMatch> filter(List<DbMatch> mSet){
   List<DbMatch> filtred = new ArrayList<>();
   for(DbMatch m:mSet){
      if(validateMatch(DbMatch m))filtred.add(m);
   }
}

(1)我尝试了不同的标准设置,并用秒表计算了功能时间。我的结果是,当我使用filter(matches)匹配大小1000时,我的程序需要3分钟21秒659毫秒

(2)在3分钟12秒811毫秒后,我尝试删除criteria.addOrder(Order.desc("start"));而不是程序过滤

(3)但如果我删除criteria.addOrder(Order.desc("start"));并添加criteria.setMaxResults(1);,结果是22 s 311 ms

使用上一次配置,我可以按22,3*300=22300秒(~6h)过滤我所有的300000条记录,但如果使用第一个函数,我应该等待(~60h)

如果我想使用没有顺序和限制的标准,我必须确保我的表是按数据库上的日期排序的,因为获取最后一个匹配项很重要

所有数据都存储在matches表中

表索引:


表,非唯一,键名,索引中的序号,列名,排序规则,基数,子部分,压缩,空,索引类型,注释,索引注释

匹配项,0,主,1,中,A,220712,B树,
matches,0,UKkcenwf4m58fssuccpknl1v25v,1,beid,A,220712,是的,B树

UPDATED

添加ALTER TABLE matches ADD INDEX (sportID, country);后,现在1000场比赛的节目时间将减少到15秒。但如果我不使用“订购方式”和“添加限制”,只需等待4秒即可获得1000个数学

我应该如何应对这种情况以提高程序执行速度


共 (1) 个答案

  1. # 1 楼答案

    您的首要任务是计算每个组件处理请求所需的时间

    找出ORM生成的SQL查询,并在MySQL workbench中手动运行,看看需要多长时间(非缓存)。你也可以要求它解释索引的用法

    如果速度足够快,那么你的java代码需要花费更长的时间,你需要优化你的算法。您可以使用JConsole进一步深入了解这一点

    如果您确定哪个组件需要更长的时间,您可以在这里发布您的分析,我们可以相应地提出建议