全世界一共有多少网站,多少注册域名?如何获得所有网站的域名? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
kenneth

全世界一共有多少网站,多少注册域名?如何获得所有网站的域名?

  •  
  •   kenneth Dec 18, 2012 7570 views
    This topic created in 4880 days ago, the information mentioned may be changed or developed.
    DNS服务器上,有所有网站域名->ip的数据库?全否?
    求高手释疑。
    21 replies    1970-01-01 08:00:00 +08:00
    iloahz
        1
    iloahz  
       Dec 18, 2012
    AFAIK,一般大家用的dns上都是没有数据的,只有缓存的一些结果。他们也是接到请求后,然后看看缓存,没有的话就去根服务器查询的,反正他们自己是没有什么数据的。dns协议里面也有一个是否支持递归查询,貌似叫RCODE什么的。

    感觉数据应该是在根服务器上。

    v2ex不是有dns么,求@livid 权威解答
    qiayue
        2
    qiayue  
    PRO
       Dec 18, 2012
    域名whois查询是可以查询到任何域名的是否注册信息的,所以你可以用以下方案:
    1、建立一个1位到63位的由字母、数字、中划线组成的字典(目测字典很大,具体多大我笨,算不出来);
    2、建立一个域名后缀字典,收录全球所有域名后缀以及对应的whois查询服务器;
    3、1字典x2字典=所有的域名组合(包括已注册的和未注册的);
    4、查询3组合的每一个域名,量很大,所以你要想办法。
    yeh
        3
    yeh  
       Dec 18, 2012   1
    明显不是。

    1.电信等的dns解析服务器,因为很多域名没人访问,所以不可能全。
    2.域名解析服务器例如dnspod这样的,这个服务器太多了,所以也不全。
    3. gtld国际域名数据库都是不同商家代维护的,加上cctld国家级别的,服务器太多了。
    4.很多网站不做解析的。

    域名分分秒秒在新增,也每天在过期注销,这个数字不可能准确。
    qiayue
        4
    qiayue  
    PRO
       Dec 18, 2012
    每一个域名都是有自己的whois查询服务器的,往这个服务器的指定端口发socket查询请求,会返回查询结果。
    iloahz
        5
    iloahz  
       Dec 18, 2012
    79bxh9b
        6
    79bxh9b  
       Dec 18, 2012
    所以说科学计数法让人失去了对数字的敏锐判断
    explayer
        7
    explayer  
       Dec 18, 2012
    mark
    jiangle
        8
    jiangle  
       Dec 18, 2012   1
    kenneth
        9
    kenneth  
    OP
       Dec 18, 2012
    @qiayue 的方法,估算的蛮准了。只是不知道如何用Python做这样的字典。如果太大了,内存也不够吧。
    cabbala
        10
    cabbala  
       Dec 18, 2012
    @kenneth “内存也不够”。。果然“科学计数法让人失去了对数字的敏锐判断”

    1PB ~ 10^15 @qiayue那个10^98人类想遍历一次估计到宇宙末日了
    cabbala
        11
    cabbala  
       Dec 18, 2012   2
    @kenneth

    来个估算,根据热力学第二定律,要使一bit数据从1变成0或者从0变成1,所需要的最小能量不小于kT,其中k是波尔兹曼常数,T是绝对温度。

    假如我们有一台在宇宙空间运行的超级计算机,T=3.2K。那么可以计算出太阳每年输出的能量最多只能使2.7 × 10^56 位数据发生变化。

    而如果人类建设一个戴森球拦截太阳发出的所有能量供该超级计算机使用,那么遍历6*10^98则需要2*10^42年,也就是大约10^32倍宇宙年龄

    [1] http://security.stackexchange.com/questions/25375/why-not-use-larger-cipher-keys
    goool
        12
    goool  
       Dec 18, 2012
    @cabbala 感谢,上了一课。
    kenneth
        14
    kenneth  
    OP
       Dec 18, 2012
    @qiayue 的思路不错
    @cabbala 感谢你的深入分析,确实需要考虑这个数字太大了也。
    @Livid 感谢Livid,这个也算蛮精确的第三方统计,可惜就是没有提供数据库供下载。
    cjjia
        15
    cjjia  
       Dec 18, 2012
    我昨晚在想,假如人类遭遇灭顶之灾需要迁移的话,备份整个互联网需要多大的硬盘。
    chuangbo
        16
    chuangbo  
       Dec 18, 2012
    com/net/org/info/asia 的 zonefile 是可以花钱下载到的,这几个后缀包括了绝大部分域名,可以得到粗略的统计结果。
    HowardMei
        17
    HowardMei  
       Dec 18, 2012   6
    http://www.dailychanges.com/

    @qiayue @yeh @iloahz @explayer @jiangle @cabbala @cjjia @chuangbo 大家都不知道这个网站吗?很诡异啊,公开发布数据N年了 =_=

    覆盖142,969,293全球通用主流域名,每当我注册一个新.com域名,必然出现在它的列表中,还很贴心地提供每天域名变动csv下载,连爬虫都不需要写,抢新鲜过期域名必备。

    财主们给俺补点铜币就行了 :)
    kenneth
        18
    kenneth  
    OP
       Dec 18, 2012
    @HowardMei 你提供的确实一个好网站,铜币已发。
    gtalk
        19
    gtalk  
       Dec 19, 2012
    @HowardMei Good
    yeh
        20
    yeh  
       Dec 19, 2012
    gange
        21
    gange  
       Dec 19, 2012
    竟然想到用爬虫手段,自己去分析,这些数据去域名管理机构就能查到
    About     Help     Advertise     Blog     API     FAQ     Solana     967 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 65ms UTC 20:08 PVG 04:08 LAX 13:08 JFK 16:08
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86