在对超过百万条记录的集合进行聚合操作。
1
2
3
|
DBObject match=(DBObject)JSON.parse( "{$match:{logType:{'$in':[5,9]}}}" );
DBObject group=(DBObject)JSON.parse( "{$group:{'_id':'$domainUrl','count':{'$sum':1}}}" );
AggregationOutput output = logCollection.aggregate(match,group); |
偶尔会发生Read timed out异常。
1
2
3
4
5
6
7
|
com.mongodb.MongoException$Network: Read operation to server / 192.168 . 10.202 : 27017 failed on database adLogTable
at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java: 253 )
at com.mongodb.DB.command(DB.java: 261 )
at com.mongodb.DB.command(DB.java: 243 ) ...
Caused by: java.net.SocketTimeoutException: Read timed out at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java: 152 )
|
通过多次测试,发现执行一次聚合平均时间为5s,超过5s时就会报错!
然后查看MongoDB的配置信息:
1
|
socket-timeout="5000" //5s |
socket-timeout的默认配置为0,也就是没有限制。
没有超时限制,系统出了问题也不容易发现,应该根据实际情况,给出合理的超时时间。
通过多次测试发现最长执行时间为6秒,就把超时时间设置成了10000。
1
|
socket-timeout="10000" //10s |
注意:MongoDB在与Spring整合时,如果要配置多个MongDB源,只会启用最后一个<mongo:options>配置。
应该把参数配置信息存储在properties文件中。
1
2
3
4
5
6
7
8
9
10
11
12
13
|
< mongo:mongo host = "${mongodb.ip}" id = "mongo202" port = "${mongodb.port}" >
< mongo:options connections-per-host = "200"
threads-allowed-to-block-for-connection-multiplier = "100"
connect-timeout = "1000" max-wait-time = "1000" auto-connect-retry = "true"
socket-keep-alive = "true" socket-timeout = "10000" slave-ok = "true"
write-number = "1" write-timeout = "0"
write-fsync = "true" />
</ mongo:mongo >
|
通过Java API获取配置参数
1
2
3
|
DBCollection logCollection = mongoTemplate.getCollection(collName); MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions(); System.out.println(mongoOptions.getSocketTimeout()); |
最后一点: ConnectionTimeOut和SocketTimeOut的区别:
一次完整的请求包括三个阶段:1、建立连接 2、数据传输 3、断开连接
如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut,就会抛 ConnectionTimeOutException,即服务器连接超时,没有在规定的时间内建立连接。
如果与服务器连接成功,就开始数据传输了。
如果服务器处理数据用时过长,超过了SocketTimeOut,就会抛出SocketTimeOutExceptin,即服务器响应超时,服务器没有在规定的时间内返回给客户端数据。
相关推荐
NoSQL数据库之MongoDB查询
主要给大家介绍了关于MongoDB游标超时问题的4种解决方法,文中通过示例代码介绍的非常详细,对大家学习或者使用MongoDB具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
如果您不习惯MongoDB查询语言,那么Studio3T的SQL查询可能会派上用场。编写SQL选择表达式和SQL联接来查询mongodb,并查看SQL查询如何转换为MQL——这是一个很好的工具。SQL查询语言
主要介绍了MongoDB查询字段没有创建索引导致的连接超时异常解案例分享,本文是生产环境下总结而来,需要的朋友可以参考下
很全面的mongodb 查询语法和实例 $gt $lt $gte $lte $exists $size $type 等等
mongodb 常用查询语法包括分页等用法
MongoDB基本查询.pdf 学习资料 复习资料 教学资源
MongoDB高级查询用法大全
MongoDB命令查询.txt
主要介绍了使用aggregate在MongoDB中查询重复数据记录的方法的相关资料,需要的朋友可以参考下
mongodb查询数据,显示DBCursor.next这种形式,那如何把值带到JSP显示呢? 上传的是一个项目Demo,导入可以直接运行,当然也可以直接查看其中的代码。 项目是使用jquery.ajax显示后台返回的Json串。 若再详细了解...
mongodb查询性能 内容概要:mongodb查询性能 适合人群:工作1-3年的运维人员
主要介绍了Thinkphp使用mongodb数据库实现多条件查询方法,修改了mongodb驱动文件来实现复合查询、多条件查询,需要的朋友可以参考下
MongoDB高级查询,许多有用的查询函数,相信大家会用得到的
等保测评主机测评中需要查询主机的超时退出配置,具体在Centos中的话,主要有两种方式可以实现超时退出的功能。其实这方面的资料很多,但是仍然存在一些地方没有说清楚(sshd_config的一个参数),所以本文的目的之...
真实有效的mongodb视频教程地址 深入浅出 MongoDB 高清IT教程视频下载 1.1、-nosql与MongoDB.mp4 1.2、-MongoDB安装配置.mp4 1.3、-MongoDB?shell详.mp4 1.4、-MongoDB文档、集合、... 2.4、-MongoDB查询语法3.mp4
MongoDB之查询
MongoDB基本的语法
MongoDB查询分析.pdf 学习资料 复习资料 教学资源