mongodb
文章平均质量分 66
我家小宝_朱朱
这个作者很懒,什么都没留下…
展开
-
mongo BasicDBObject.parse 解析json报错
报错:原因:json是字符串的情况,存在\ 或者 双引号, 导致解析报错\"33\"}";或者\22233\"}";{"videos":[{"vid":26975741,"pid":0,"mid":61733563,"name":"《乐高大电影:蝙蝠侠》新曝预告 蝙蝠侠成"熊孩子"爹"}]}解决方案:保存数据的时候,用正则表达式把英文双引号替换为中文双引号value=value.replaceAll("\"","");转载 2022-12-30 15:57:45 · 339 阅读 · 0 评论 -
MongoDB 极速本地复制collection (表复制)
MongoDB 极速本地复制collection (表复制)转载 2022-09-03 20:32:15 · 467 阅读 · 0 评论 -
记一次mongo磁盘太大,查看collect大小进行处理
记一次mongo磁盘太大,查看collect大小进行处理原创 2022-08-08 21:27:00 · 1380 阅读 · 0 评论 -
MongoDB单机版设置密码登录
https://www.jianshu.com/p/79caa1cc49a5https://blog.csdn.net/somehow1002/article/details/793945801.创建user administrator> use admin> db.createUser( { user: "myUserAdmin", pwd: "abc123", roles: [ { role: "userAdminAnyDatabase", db:原创 2021-07-19 10:58:22 · 277 阅读 · 0 评论 -
mongo:share2 在3个主机上磁盘使用不一样,如何处理
背景:做了5个share的mongo 集群部署, 其中share2 在3台机器上磁盘占用差别很多,其中一台1T, 另外两台400G处理方式: 停止mongs,share1,share2,share3,config 删除 dbPath: /local/hadoop/var/lib/hdfs/data/mongodb/share3/data 目录下面所有内容后重启就可以然后再次启动config,share1,share2,share3 ,...原创 2021-06-24 18:59:03 · 242 阅读 · 2 评论 -
MongoDB副本集(一主一备+仲裁)环境部署
MongoDB复制集是一个带有故障转移的主从集群。是从现有的主从模式演变而来,增加了自动故障转移和节点成员自动恢复。MongoDB复制集模式中没有固定的主结点,在启动后,多个服务节点间将自动选举产生一个主结点。该主结点被称为primary,一个或多个从结点被称为secondaries。primary结点基本上就是master结点,不同之处在于primary结点在不同时间可能是不同的服务器。如果当前的主结点失效了,复制集中的其余结点将会试图选出一个新的主结点。MongoDB提供了两种复制部署方案:主从复制转载 2021-06-19 14:10:39 · 3592 阅读 · 2 评论 -
mongo复制collection方式
1. 利用foreach方法在shell里直接运行>mongo>use xxx>db.test(复制源表).find().forEach(function(x){ db.target(目的表).insert(x);})2. 使用copyTo()命令db.原始表.copyTo(新的表)例如: >use YYDB>db.XX_OLD.copyTo('XX_NEW')你的mongo有帐号密码,就会报错:2021-05-27T11:35.转载 2021-05-27 13:48:30 · 2673 阅读 · 0 评论 -
MongoDB查看当前操作db.currentOp()
db.currentOp() 返回数据库实例上正在运行的操作信息的文档。等待锁的写操作下面的示例返回正在等待锁的所有写操作信息:db.currentOp( { "waitingForLock" : true, $or: [ { "op" : { "$in" : [ "insert", "update", "remove" ] } }, { "query.findandmodify": {...转载 2021-04-30 18:55:14 · 1402 阅读 · 1 评论 -
MongoDB “NumberLong/$numberLong” issue while converting back to Java Object
I am having a json which is somethink like{"Header" : {"name" : "TestData", "contactNumber" : 8019071740}}If i insert this to mongoDB it will be something like{"_id" : ObjectId("58b7e55097989619e4ddb0bb"),"Header" : {"name" : "TestData","contactNumber.转载 2021-04-30 18:49:14 · 284 阅读 · 1 评论 -
mongodb副本集加分片集群安全认证使用账号密码登录
1. 先创建帐号哦, 再开启认证use admindb.createUser( { user:"zcyroot", pwd:"zcyroot", roles:[{role:"root",db:"admin"}] } ) 角色列举,root角色是超级帐号, 必须在admin库中登录,就可以切换到任意库进行操作了readWrite:允许用户读写指定数据库dbAdmin:允许用户在指定数据库中执行管理函数,如索引创建、删除,查看统计或访问system.profile.原创 2021-02-18 18:35:24 · 2126 阅读 · 4 评论 -
mongo 磁盘满,导致mongo挂了,重启报错
mongod --config /local/hadoop/var/lib/hdfs/data/mongodb/mongodb/conf/share1.confmongod --config /local/hadoop/var/lib/hdfs/data/mongodb/mongodb/conf/share2.confmongod --config /local/hadoop/var/lib/hdfs/data/mongodb/mongodb/conf/share3.conf执行以上报错...原创 2020-05-16 19:33:14 · 1243 阅读 · 0 评论 -
mongo 删除文档
(1) 删除文档语法db.collection.remove() 例子:1)db. orders.remove({}) 删除orders集合的所有数据,集合还存在,索引都还存在,相当与SQ的truncate命令 2)db. orders.remove({"onumber": "001"})根据条件删除数据 (2) 删除集合 语法:db.coll...转载 2018-07-26 14:38:57 · 605 阅读 · 0 评论 -
shell 方式访问mongo 操作
llt='$lt'before7=`date -d '-14 day' +%Y-%m-%d`mongo ip:port <<EOFshow dbsuse xxxxxxdb.kafkaLog.find({"log.startTime":{$llt:'$before7'}}).count()db.kafkaLog.remove({"log.startTime":{$llt:...转载 2018-07-26 16:34:40 · 2228 阅读 · 0 评论 -
mongodb最大连接数、最大连接数修改
https://docs.mongodb.com/v3.0/reference/configuration-options/配置文件中有个参数:设置最大连接数net.maxIncomingConnectionsType: integerDefault: 65536The maximum number of simultaneous connections that mongos...转载 2018-09-03 13:15:42 · 5109 阅读 · 0 评论 -
mongodb count 导致不正确的数量
使用的是最新驱动mongo-java-driver-3.4.0,通过下面的方法可以在分片集群模式下,准确的统计到记录数量mongo shell >> db.collection.aggregate([{match:{categories:"Bakery"},{match:{categories:"Bakery"},{group:{"_id":null,"count":{$sum:1...原创 2018-09-03 13:53:46 · 1959 阅读 · 0 评论 -
mongo-java-driver java操作mongodb
http://mongodb.github.io/mongo-java-driver/3.4/driver/tutorials/转载 2018-09-12 13:51:38 · 994 阅读 · 0 评论 -
MongoDB CPU利用率高,怎么破?
https://help.aliyun.com/document_detail/62224.html背景信息在使用MongoDB云数据库的时候您可能经常遇到一个问题:MongoDB CPU利用率很高,都快跑满了,应该怎么办? 遇到这个问题,99.9999%的可能性是您使用上不合理导致。本文主要帮助您从应用的角度排查MongoDB CPU利用率高的问题。 分析数据库正在执行的请求...转载 2018-09-12 18:23:33 · 1872 阅读 · 0 评论 -
mongo出现重复_id ,Duplicate documents on _id (in mongo)
生产的问题: 发现mongodb中collectionA,里面_id 重复。重复的两条数据,除了xx字段不一样,其他都差不多。 正常情况_id是能保证唯一的,是mongodb自动生成的。 原因:xx 字段是片健,数据存入collectionA时,按照xx先进行分片,存到不同的区中。程序: 先判断业务id是否存在,存在获取_id,然后根据_id 更新。不存在,就插入,_i...转载 2018-10-13 15:46:32 · 3337 阅读 · 0 评论 -
聚合报错 $group,but didn't allow external Sort.Pass allowDiskuse:true
db.getCollection('xxx').aggregate([{$group:{_id:{"id":"$xx","name":"$yy"},count:{$sum:1}}},{$match:{count:{$gt:1}}}],{ allowDiskUse: true })原因是聚合的结果必须要限制在16M以内操作,(mongodb支持的最大影响信息的大小),否则必须放在磁盘中做缓存(a...转载 2018-10-13 17:15:23 · 679 阅读 · 0 评论 -
mongodb 建索引导致数据库阻塞
在MongoDB上建索引可能会对MongoDB集群对可用性产生负面影响。在生产服务上,如果针对一个大集合触发建立索引,且在前台运行,你可能会发现,在索引建完之前,整个集群都无影响。在一个大集合上,这个过程可能会持续几个小时,甚至几天。解决的方法很简单,MongoDB 提供了两种建索引的访问,一种是 background 方式,不需要长时间占用写锁,另一种是非 background 方式,需要长...转载 2018-10-17 11:30:11 · 6039 阅读 · 0 评论 -
mongodb模糊匹配正则转义
mongodb regex 正则表达式,对/ \* []() 等都是属于特殊符号,需要\\\\转义String va = value.replaceAll("([\\\\$\\\\^\\\\\\[\\\\*\\\\?\\\\{\\\\}\\\\(\\\\)\\\\\\]])", "\\\\\\\\\\\\\\\\$1"); ...原创 2019-01-26 14:05:51 · 1436 阅读 · 0 评论 -
MongoDB中的一个分组统计的查询(Group ... Distinct)
数据很简单,如下:> db.t2.find();{ "country" : "china", "province" : "sh", "userid" : "a" }{ "country" : "china", "province" : "sh", "userid" :.转载 2019-01-26 14:08:47 · 11179 阅读 · 0 评论 -
MongoDB学习之Text Search文本搜索功能
1.新建blogs collection,并插入如下的document。db.blogs.insert({_id:1,title:"MongoDB text search",content:"this is a simple MongoDB text search introduction"}) db.blogs.insert({_id:2,title:"MongoDB text ind...转载 2019-01-26 14:19:10 · 3137 阅读 · 0 评论 -
mongodb 脚本
https://docs.mongodb.com/manual/tutorial/write-scripts-for-the-mongo-shell/Shell Helpers JavaScript Equivalents showdbs,showdatabases db.adminCommand('listDatabases') use...转载 2019-01-22 21:00:29 · 1406 阅读 · 0 评论 -
【MongoDB】查看集合是否分片 及片健创建、删除
查看分片键MongoDB会把分片过的集合保存在config.collection集合中,若需要查看分片键,则需要根据该集合进行查找。官方的其他很多分片快捷命令也都处于config库三种方式去config库中查询这种办法可以查看分片键信息db.collections.find({$and: [ ...转载 2019-06-25 14:49:18 · 12881 阅读 · 1 评论 -
springboot-mongodb:日期插入和查询
插入时间不需要减8小时的方法(不建议这么搞,没有意义。)因为虽然视觉上插入的时间比实际少8小时,但是在java查询的时候,是能正常查出来的,所有插入字符串代替时间对象1. 插入当前时间 (如果不加8小时,当前时间插入后会比实际时间少8小时。)Calendar calendar = Calendar.getInstance();Date now = new Date();calendar.setTi...转载 2018-05-11 18:03:28 · 11264 阅读 · 0 评论 -
MongoDB oplog详解
在查mongo高cpu的问题,对每个分片启动加上了慢查询的配置,然后在记录慢查询的表中,查询到了很多oplog.rs消耗的时间很长。于是查了一下:1:oplog简介oplog是local库下的一个固定集合,Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog,记录这从主节点复制过来的信息,这样每个成员都可以作为同步源给其他节点。 Oplog 可以说...转载 2018-07-04 09:59:33 · 1495 阅读 · 0 评论 -
如何排查MongoDB CPU利用率高的问题
https://help.aliyun.com/document_detail/62224.html遇到这个问题,99.9999% 的可能性是「用户使用上不合理导致」,本文主要介绍从应用的角度如何排查 MongoDB CPU 利用率高的问题Step1: 分析数据库正在执行的请求用户可以通过 Mongo Shell 连接,并执行 db.currentOp() 命令,能看到数据库当前正在执行的操作,如...转载 2018-07-02 19:43:10 · 1206 阅读 · 0 评论 -
mongo 慢查询配置
我是分片部署,所以慢查询相关的配置是在启动片服务上。执行查询命令,是在share的primary 上。1. mongodb慢查询 配置慢查询数据主要存储在 local库的system.profile集合,该集合主要是一个capped collection。开启方式两种:第一种:片服务启动时加启动参数相关参数如下:#----------------------------------------...转载 2018-07-02 19:27:17 · 1346 阅读 · 0 评论 -
MongoDB查询
https://blog.csdn.net/congcong68/article/details/468410751. db.collection.find()查询数据 db.collection.find(query,projection) query document 可选. 使用查询操作符指定查询条件 ...转载 2018-05-19 13:50:29 · 239 阅读 · 0 评论 -
springboot mongodb 基本文档查询(Query、BasicQuery)
https://blog.csdn.net/congcong68/article/details/47183209本章关注查询指定返回值得部分query查询语句的实现的方式有两种:1.org.springframework.data.mongodb.core.query参考另一个博客 Query (Criteria criteria), Criteria是标准查询的接口,可以引用静态的Criter...转载 2018-05-19 13:21:04 · 2948 阅读 · 0 评论 -
springboot-mongo 查询语句写法
CriteriaMongodb说明Criteria and (String key)$and并且Criteria andOperator (Criteria… criteria)$and并且Criteria orOperator (Criteria… criteria)$or或者Criteria gt (Object o)$gt大于Criteria gte (Object o)$gte大于等于...转载 2018-05-13 14:01:15 · 2516 阅读 · 0 评论 -
mongodb 集群搭建:分片+副本集
https://blog.csdn.net/ilovemilk/article/details/79336951http://www.cnblogs.com/ityouknow/p/7566682.htmlhttps://www.cnblogs.com/ityouknow/p/7344005.html推荐看以上博客,以下存粘贴以上博客内容mongodb集群架构图:从图中可以.........转载 2018-05-18 17:54:01 · 1421 阅读 · 0 评论 -
mongodb 数据库操作--备份 还原 导出 导入
一,mongodump备份数据库1,常用命令格mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径如果没有用户谁,可以去掉-u和-p。如果导出本机的数据库,可以去掉-h。如果是默认端口,可以去掉--port。如果想导出所有数据库,可以去掉-d。-o 是路径,会在此路径下根据库的名称再生成一个文件夹存放数据2,导出所有数据库mongodump...原创 2018-05-18 11:52:28 · 317 阅读 · 0 评论 -
springboot-mongodb 翻页
两种方式:方式一:int currentPage = 10;int pageNum=20;int start = (currentPage -1)*pageNum; List ll = mongoTemplate.find(new Query(Criteria.where("bookId").is(bookId)).with(new Sort(Sort.Direction.DESC,"curren...转载 2018-05-11 18:28:55 · 656 阅读 · 0 评论 -
mongodb命令:日期时间的插入及查询
1. 命令的方式插入时间两种方式,推荐第二种方法一:db.zcy.insert({"time":now Date()})显示: ISODate("2018-05-11T05:58:51.122Z") 插入当前的时间,其实当前时间应该是2018-05-11:13:58.51 可见比实际少了8小时他的时间是utc的时间,和咱们中国时区少8个小时方法二:推荐 插入指定的时间db.zcy.insert(...原创 2018-05-11 13:31:45 · 41401 阅读 · 7 评论 -
SecureCRT进入linux下的mongo命令模式问题
SecureCRT->选项->会话选项->终端->仿真 中的VT100修改为Linux转载 2018-05-10 14:49:41 · 932 阅读 · 0 评论 -
springboot-mongodb 单数据源配置及基础增删改查
2、配置文件使用YAML的形式添加两条数据源,如下:mongodb: primary: host: 192.168.9.60 port: 20000 database: test secondary: host: 192.168.9.60 port: 20000 database: test13、配置两个库的数据源封装读取以mongodb开头...转载 2018-05-10 14:30:48 · 1120 阅读 · 0 评论 -
mongodb-用户名/密码
1. 不需要登录的方式启动mongodbmongod --dbpath=/data/mongod/data -logpath=/data/mongod/log//mongodb.log -logappend -port=27017 -fork 2. 查看当前的库linux>mongo >show dbs显示admin 和 local两个库3>建一个新的库 : zcyd...原创 2018-05-09 15:50:41 · 2755 阅读 · 0 评论 -
MongoDB 修改
https://blog.csdn.net/congcong68/article/details/467817771. 修改的语法db.collection.update( <query>, <update>, upsert:<boolean>, multi:<boolean> ) 参数...转载 2018-05-19 15:43:09 · 1091 阅读 · 0 评论