mongodb去重

 私受他 发布于 2022-10-26 10:02

现在的数据是使用爬虫抓取的。现在有些数据是重复的。
然后现在我想请教应该怎么做才能去重呢?
我想的是只要能查到相对应的name也是ok的
打个比方。我现在有个community_name字段。
我想查询一下,community_name重复次数超过1次的name列表
我应该怎么去查询。
谢谢。
文档格式:

{
    "_id" : ObjectId("5732e6f884e079abfa783703"),
    "buildings_num" : "4",
    "community_name" : "江和城",
    "address" : "新安江洋安新城,南临洋安大道、北临滨江路",
    "lat" : "29.511485",
    "building_year" : "2014年建成",
    "lng" : " 119.329673",
    "house_num" : 224,
    "id" : 84453,
    "category" : "建德商圈",
    "city" : "杭州",
    "lj_id" : "187467387072819",
    "area" : "建德",
    "average_price" : 8408,
    "property_cost" : "2 元/平米/月",
    "property_company" : "金管家",
    "volume_rate" : "1.98",
    "greening_rate" : 0.33,
    "developers" : "杭州和谐置业有限公司"
}
2 个回答
  • 如果理解正确的话,你可以直接用upsert:如果系统已经有了相同条件的纪录,只update,否则建立新的纪录。

    db.collection.update(query, update, {upsert: True, multi: <boolean>})

    而且你还可以修改多条纪录,如果设置multi为true。

    2022-10-27 00:39 回答
  • 看你的意思是想达到RDBMS中类似于

    SELECT community_name, COUNT(*)
    FROM table
    GROUP BY community_name
    HAVING COUNT(*) > 1
    

    不知道我理解对了没有。如果是这样的话,对应的方式应该是使用aggregation framework。

    db.coll.aggregate([
        {$group: {_id: "$community_name", count: {$sum: 1}}}, //统计community_name重复出现的次数
        {$match: {count: {$gt: 1}}} //从中找出重复多于1次的记录
    ]);
    

    这个查询在有以下索引的情况下可以更快得到结果:

    db.coll.createIndex({community_name: 1});
    

    但是即使这样,这个查询也会遍历所有记录,速度并不会太快。
    实际上每次都去统计所有记录是比较浪费的,最好在得到结果后做一定的缓存,如何缓存要取决于你统计出来的数据想要怎么用。
    更好的办法是插入前就做一下判断,如果已经存在同样的community_name则记录在案,比如

    db.community_name_stat.update({
        community_name: 'xxx'
    }, {
        '$set': {
            count: {'$inc': 1}
        },
        '$setOnInsert': {
            community_name: 'xxx',
            count: 1
        }
    }, {
        upsert: true
    });

    这样就可以直接得到一个community_name_stat集合得到每个community_name出现过多少次。当然最终的做法还是取决于你的需求。MongoDB是一个很灵活的东西,这也是它区别于关系型数据库的重要特点之一。了解它的各种功能,为你的需求定制一个性价比最高的解决方案,是使用MongoDB过程中最大的挑战之一。

    2022-10-27 00:39 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有