暗网市场档案

Dark Net Markets(DNM)是在线市场,通常作为Tor隐藏服务托管,提供在比特币或其他加密币交易的买卖双方之间的托管服务,通常用于毒品或其他非法/受管制商品; 最着名的DNM是丝绸之路1,它在2011年开创了商业模式。从2013年到2015年,我每周或每天都对所有现有的英语DNM进行刮擦/镜像,作为我对其使用生命周期/特征的研究的一部分。,和法律风险; 这些刮擦包括供应商页面,反馈,图像等。此外,我尽可能多地制作或获得了与DNM相关的许多其他数据集和文档的副本。这个独特的综合系列现已公开发布,作为50GB(约1.6TB未压缩)系列,涵盖89个DNM和37个以上相关论坛,代表<4,438个镜像,可用于任何研究。本页介绍了擦除背后的下载,内容,解释和技术方法。

我从2011年6月开始参与DNM,当时Adrian Chen发表了他着名的Gawker文章,证明丝绸之路1与我在2011年1月/ 2月宣布的假设相反,不是骗局,而是成为一个功能性药物市场,被称为暗网市场的新型(DNM); 着迷,我签了名,完成了我的第一个订单,并开始记录如何使用SR1,然后几个月后,开始记录第一个已知的SR1相关逮捕。监控DNM很容易,因为SR1占据绝对优势,BlackMarket Reloaded是一个遥远的第二位市场,有一些不相关的东西,如Deepbay或Sheep,然后华丽的亚特兰蒂斯。

这个田园诗般的时期结束于2013年10月袭击SR1,这引发了一个混乱的新时代,其中集中的市场争夺主导地位,可能的继任者丝绸之路2被逮捕瘫痪,变成了一个携带诈骗者的幽灵船,多元化的突破进行了乞讨。骚动让我清楚地知道,任何市场或论坛都不能指望持续到SR1,对DNM社区和市场的研究,甚至只是对其历史的记忆,都受到了bitrot的威胁:已经在2013年11月我看到普遍存在的神话传播到整个媒体–SR1有10亿美元的销售额,你可以购买儿童色情或服务,有多个Dread Pirate Roberts - 以及社区中的其他危险信仰(使用PGP)是偏执狂和不必要的,

所以,从SR1论坛开始,这个论坛没有被突袭删除(为了帮助鼹鼠?我当时想知道),我开始抓住所有新市场,每周一次,有时每天从2013年12月开始。这些都是结果。

下载

完整存档可从Internet Archive下载为torrent磁铁 ; 项目页面1。(如果下载没有开始,它可能是与Getright-webseeding-support相关Torrent客户端问题 ;如果torrent不起作用,所有文件都可以通过HTTP从IA项目页面正常下载,但如果可能的话,种子是建议用于减少带宽负担和错误检查。)

研究

可能的用途

以下是一些建议用途:

  • 提供跨市场供应商的信息,如PGP密钥和反馈评级
  • 识别被捕和翻转的卖家(例如Agora上的Weaponsguy sting)
  • 个人药物和类别的人气
  • 每日总销售额,以及随后的营业额和佣金估算; 与比特币或DNM相关的搜索流量,subreddit流量,比特币价格或数量等相关联
  • 卖家的生命周期,评级,随着时间的推移和销售的产品
  • DNM退出诈骗或卖家退出诈骗的损失
  • 对Onymous操作等外部冲击的反应
  • 生存分析和退出诈骗的预测因素(早期最终确定量;站点停机时间;新供应商等)
  • 论坛的主题建模
  • 评估纯度和安全性的实验室测试论坛帖子的汇编
  • 论坛发布的比特币地址汇编,用于检验市场转换器的有效性
  • 海报,特定场地工作人员的样式分析(员工流失情况如何?任何市场都会转手吗?)
  • 去匿名化和信息泄漏(例如元数据中的GPS坐标,在clearnet上重用的用户名,PGP公钥中的有效电子邮件)
  • 安全实践:使用PGP,个人密钥的生命周期,私人密钥而非公共密钥的意外帖子,格式错误或无法使用的公钥等
  • 从他们的所有卖家汇编的特定药物的真实世界照片集
  • 只需浏览旧的列表,记住好时光和坏时光,堕落和自由

使用此数据集工作

文件:

帖子或文章:

引用

请引用此资源:

  • Gwern Branwen,Nicolas Christin,DavidDécary-Hétu,Rasmus Munksgaard Andersen,StExo,El Presidente,Anonymous,Daryl Lau,Sohhlz,Delyan Kratunov,Vince Cakic,Van Buskirk,谁,Michael McKenna,Sigi Goode。黑暗网络市场档案,2011-2015,2015年7月12日。网站。[访问日期]https://www.gwern.net/DNM-archives

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    @misc{dnmArchives,
    author = {Gwern Branwen, Nicolas Christin, David Décary-Hétu, Rasmus Munksgaard Andersen, StExo,
    El Presidente, Anonymous, Daryl Lau, Sohhlz, Delyan Kratunov, Vince Cakic, Van Buskirk,
    Whom, Michael McKenna, Sigi Goode},
    title = {Dark Net Market archives, 2011-2015},
    howpublished= {\url{https://www.gwern.net/DNM-archives}},
    url = {https://www.gwern.net/DNM-archives},
    type = {dataset},
    year = {2015},
    month = {July},
    timestamp = {2015-07-12},
    note = {Accessed: DATE} }

捐赠

这样的数据集归功于多方:

  • 没有志愿者和非营利组织花钱来支付Tor网络使用的带宽,DNM就不可能存在; 这些擦除共同代表了数TB的消耗带宽。如果您想捐赠Tor服务器,您可以捐赠给Torservers.netTor项目本身
  • 互联网档案馆举办了无数惊人的资源,这是其中只有一个,而且是一个独特的互联网资源; 他们接受比特币
  • 由于需要解决CAPTCHA,每天或每周启动爬行,调试细微故障,解决站点防御,定期存档刮擦以使磁盘空间可用,因此整理和创建这些刮擦已吸收了大量的时间和精力。提供托管公开发布的一些擦除等(我的arbtt时间日志建议自2013年以来> 200小时); 我主要依靠捐款,我也接受比特币:1GWERNi49LgEb5LpvxxGFSuVYo2K3BDRdo

内容

有大约89个市场,> 37个论坛和~5个其他网站,代表<4,438个镜像> 43996,420个文件,大约49.4GB的163个压缩文件,打包到> 1548GB; 最大的单个存档解压缩到<250GB。(它可以刻录到3个25GB BD或2个50GB BD;如果是前者,可能值得产生额外的FEC。)

这些档案是xz压缩的tarball(使用sort-key技巧优化); 通常每个子文件夹都是YYYY-MM-DD使用wget进行的单个日期戳()抓取,使用默认目录/文件布局。大部分内容是HTML,CSS和图像(通常是项目列表的照片); 图像是空间密集型的,但我觉得图像对于浏览市场非常有用,并且作为研究材料本身可能非常有价值,所以我尝试在适用的地方收集图像。(儿童色情不是一个问题,因为所有DNM和DNM论坛都禁止该内容。)源自其他人的档案遵循他们自己的特定惯例。Mac和Windows用户可以使用内置的OS归档程序,7zip,Stuffit或WinRAR解压缩; PAR2错误检查可以使用par2,QuickPar,Par Buddy,MultiPar或其他人根据一个人的操作系统完成。

如果您不想解压缩所有特定存档,因为它们可能非常大,您可以尝试使用特定于存档的选项提取特定文件; 例如,针对特定旧论坛帖子的SR2F命令:

1
tar --verbose --extract --xz --file='silkroad2-forums.tar.xz' --no-anchored --wildcards '*topic=49187*'

整体覆盖范围

大多数材料的日期为2013年至2015年; 一些来自其他人的档案(在我开始爬行之前)可能是2011-2012。

特别:

  • 市场:
    • 1776
    • 卫矛尺
    • 爱德
    • 集市
    • 羊驼
    • AlphaBay
    • 亚马逊黑暗
    • Anarchia
    • 仙女星座
    • 51区
    • 军械库(不要与因缺乏销售而关闭的原始丝绸之路1武器网站混淆;这是一个更晚的独立网站,可能是一个骗局)
    • 亚特兰蒂斯
    • BlackBank市场
    • 黑妖精
    • BlackMarket重装上阵
    • 黑色服务市场
    • Bloomsfield
    • 蓝天市场
    • 绝命毒师
    • bungee54
    • 现在购买
    • 大麻路1号
    • 大麻路2号
    • 大麻路3号
    • 小酒吧
    • 云9
    • 加密市场/ Diabolus
    • DarkBay
    • Darklist
    • 暗网英雄
    • 愉景湾
    • Deepzon
    • 道格路
    • 梦幻市场
    • Drugslist
    • 东印度公司
    • 演化
    • FreeBay
    • 自由市场
    • 自由市场
    • GreyRoad
    • 哈瓦那/ Absolem
    • 避风港
    • 地平线
    • 水润
    • 铁甲舰
    • 中土
    • 尼斯先生2
    • Onionshop
    • 奥特洛市场
    • 万能药
    • 潘多拉
    • 鸽子
    • 海盗市场
    • 波塞冬
    • 项目黑旗
    • 丝绸之路1
    • 丝绸之路2
    • 丝绸之路重装上阵(I2P)
    • Silkstreet
    • 简单地承担
    • BlackBox市场
    • 雄伟的花园
    • 市场
    • 真正的交易
    • Tochka
    • TOM
    • Topix 2
    • 托贝
    • TorBazaar
    • TorEscrow
    • TorMarket
    • 托尔图加2
    • 地下市场
    • 乌托邦
    • Vault43
    • 白兔子
    • 桑给巴尔香料
  • 论坛:
    • Abraxas论坛
    • Agora论坛
    • 仙女座论坛
    • Black Market Reloaded论坛
    • BlackBank市场论坛
    • bungee54论坛
    • Cannabis Road 2论坛
    • Cannabis Road 3论坛
    • DarkBay论坛
    • Darknet英雄论坛
    • Diabolus论坛
    • Doge Road论坛
    • 进化论坛
    • Gobotal
    • GreyRoad论坛
    • 哈瓦那/ Absolem论坛
    • 九头蛇论坛
    • 王国论坛
    • 亲吻论坛
    • Mr. Nice Guy 1论坛
    • Nucleus论坛
    • 奥特洛市场论坛
    • 万能药论坛
    • 潘多拉论坛
    • 鸽子论坛
    • 项目黑旗论坛
    • 左轮手枪论坛
    • 丝绸之路1论坛
    • 丝绸之路2论坛
    • TOM论坛
    • 山洞
    • Hub论坛
    • 雄伟的花园论坛
    • RealDeal论坛
    • TorEscrow论坛
    • TorBazaar论坛
    • Tortuga 1论坛
    • 地下市场论坛
    • 联科
    • 乌托邦论坛
  • 杂:
    • 暗杀市场
    • Cryuserv
    • DNM相关文件(主要是Ross Ulbricht试验证据展示)
    • DNStats
    • Pedofunding
    • SR2doug的漏洞

缺失或高度不完整:

  • BMR
  • SR1
  • 蓝天
  • TorMarket
  • Deepbay
  • 红太阳市场
  • 疗养院市场
  • EXXTACY
  • 尼斯盖伊先生2

口译和分析

Scrapes可能难以分析。它们庞大,复杂,冗余且容易出错。他们不能以面值来对待。

无论投入多少工作,人们都无法在特定时刻获得市场的精确快照:列表会随着人们的爬行而上升或下降,供应商将被禁止,他们的整个个人资料和列表以及所有反馈都会立即消失,Tor连接错误将导致非常重要的页面请求百分比失败,站点本身将关闭(尤其是Agora),并且Internet连接不完善。Scrapes可能陷入无关页面的死水中,花费所有时间下载按需生成的页面,用户登录过期或被网站管理员禁止等等。如果页面存在于刮擦中,那么它可能在某个时候存在; 但是如果页面不存在,那么它可能不存在或存在但是由于各种原因而没有下载。最好,

因此,任何分析都必须认真对待每次爬行的不完整性以及存在很多并且总是会丢失大量数据的事实,并且做一些事情,例如关注可以从随机推断的内容通过使用市场的类别计数列表来抽样或明确地模拟不完整性。(例如,如果您下载的市场声称拥有1.3k项目,但类别的声明列表总计为13k项目,则您的下载可能非常不完整并且偏向某些类别。)存在许多微妙的偏见:例如市场平均审查评级会有上行偏见,因为被骗的卖家会在被禁止时从市场消失中消失,他们的客户很少会回去修改他们的评级; 类似地,如果诈骗者集中在特定的类别中,那么使用单个快照将导致偏差结果,因为诈骗者已被移除,而无争议的卖家持续更长时间(这可能导致,例如,

内容也不能以面值取得。一些供应商使用shills进行审查填充。类别之类的元数据可能是错误的,操纵的或误导性的(标有乐器的类别可能包含处方药列表 - β受体阻滞剂 - 或莫达非尼或Adderall可能同时列入处方药和兴奋剂类别)。在论坛上说的很多东西都是谎言或虚张声势或诈骗。市场经营者可能故意欺骗用户(Ross Ulbricht声称已售出SR1,SR2团队参与了psyops)或隐藏信息(SR1的黑客攻击;第二次SR2攻击)或攻击他们的用户(Sheep Marketplace和Pandora)。不同的市场有不同的特点:Pandora的佣金率在被黑客攻击后单方面提高(导致销量下降); SR2是一个臭名昭着的骗子避难所,因为工作人员不活跃或不堪重负,缺乏工作托管机制; 这里没有替代领域知识。

了解这一点,分析应该有一些策略来处理缺失。有几个大头钉:

  • 试图利用基本事实明确地模拟和应对不同程度的缺失; 泄露的卖方数据(截图和数据),数据库(泄露,被黑客入侵),官方声明(例如FBI引用的关于丝绸之路1的总销售额,账户数量,数量)的数据有许多基本事实可用。交易等)
  • 假设随意丢失并使用对此不敏感的分析,重点关注比率等事情
  • 按原样处理数据,写出结果,使偏差和下限明确并强调

个人档案

一些档案很不寻常,需要更详细地描述。

ALDRIDGE&DÉCARY-HÉTUSR1

9月SR1爬网是处理存储在SPSS .sav数据文件中的数据。有多种库可用于读取此格式(在R中,使用foreign类似的库library(foreign); sellers <- read.spss("Sellers -- 2013-09-15.sav", to.data.frame=TRUE)。)

ALPHABAY 2017(MCKENNA&GOODE)

2017年1月26日至28日AlphaBay的爬行以及Michael McKenna和Sigi Goode提供的数据提取(使用Python脚本)。除了通常的实时/活跃列表之外,他们还尝试抓取AB的历史不活跃列表,并覆盖其中许多列表。

由于IA上传问题,目前托管在Mega.nz上

DNSTATS

DNStats是一项定期ping隐藏服务并记录响应和延迟的服务,生成正常运行时间图并允许用户查看市场停滞多久以及错误是否可能是短暂的。截至2017年3月25日,所有者为我提供了ping数据库的三个SQL导出; 这个数据库可用于比较各个市场的停机时间,检查DoS攻击的影响,或者比较比特币汇率等事情的停机时间(大概是如果市场仍然推动比特币经济的微不足道,最大市场的停机时间)或市场死亡应该预测汇率下降)。

例如,要绘制每天站点正常运行时间的平均值并将其突出显示为外部事件Operation Onymous,R代码将如下所示:

1
2
3
4
5
6
7
8
9
10
dnmUptime <- read.delim("dnstats-20150712.sql", na.strings="NULL",
nrows=6000000, colClasses=c("factor", "factor", "factor", "integer",
"factor", "numeric", "numeric", "POSIXct"))
markets <- dnmUptime[dnmUptime$type==1,] # type 1 = markets
dnmUptime <- NULL # save RAM due to dataset size
markets$Date <- as.Date(markets$timestamp)
markets$Up <- markets$httpcode == 200
daily <- aggregate(Up ~ Date + sitename, markets, mean)
library(ggplot2)
qplot(Date, sitename, color=Up, data=daily) + geom_vline(xintercept=as.Date("2014-11-05"), color="red")

这项服务非常实用,可以接受捐款:1DNstATs59JANuXjbpS5ngWHqvApAhYHBS

Gramssubreddit)是一项主要专注于搜索市场列表的服务; 他们可以通过拉动市场(演进,CLOUD9,中土,Bungee54,奥特洛),它从原料药出口列表,或者他们可以使用自己定制的爬网(其余)。他们慷慨地给了我清单的当前状态几乎每天CSV出口他们的搜索引擎,从2014年6月9日至2015年7月12日为第一个归档和2015年7月14日至2016年4月17日第二个。克报道:

  1. 第一:
    • 1776
    • 卫矛尺
    • ADM
    • 集市
    • 羊驼
    • AlphaBay
    • BlackBank
    • Bungee54
    • 云9
    • 演化
    • 避风港
    • 中土
    • NK
    • 取缔
    • 潘多拉
    • Silkkitie
    • 丝绸之路2
    • TOM
    • TPM
  2. 第二档案:
    • 卫矛尺
    • 集市
    • AlphaBay
    • 梦幻市场
    • 汉莎
    • 中土
    • 绿洲
    • RealDeal
    • Silkkitie
    • Tochka
    • 瓦尔哈拉

Grams档案有三个优点:

  1. 虽然它没有任何原始数据,但CSV很容易使用。例如,要读入所有Grams SR2抓取,然后在R中按天计算和绘制总列表:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    DIR <- "blackmarket-mirrors/archive/grams"
    # Grams's SR2 crawls are named like "grams/2014-06-13/SilkRoad.csv"
    gramsFiles <- list.files(path=DIR, pattern="SilkRoad.csv", all.files=TRUE, full.names=TRUE, recursive=TRUE)
    # schema of SR2 crawls eg:
    ## "hash","market_name","item_link","vendor_name","price","name","description","image_link","add_time", \
    ## "ship_from",
    ## "2-11922","Silk Road 2","http://silkroad6ownowfk.onion/items/220-fe-only-tw-x-mb","$220for28grams", \
    ## "0.34349900", "220 FE Only TW X MB","1oz of the same tw x mb as my other listing FE only. Not shipped \
    ## until finalized. Price is higher for non FE listing.","","1404258628","United States",...
    # read in each CSV, note what day it is from, and combine into a single data-frame:
    grams <- data.frame()
    for (i in 1:length(gramsFiles)) {
    log <- read.csv(gramsFiles[i], header=TRUE)
    log$Date <- as.Date(gsub("/SilkRoad.csv", "", gsub(paste0(DIR,"/"), "", gramsFiles[i])))
    grams <- rbind(grams,log)
    }
    totalCounts <- aggregate(hash ~ Date, length, data=grams)
    summary(totalCounts)
    # Date hash
    # Min. :2014-06-09 Min. : 2846.00
    # 1st Qu.:2014-07-05 1st Qu.: 9584.25
    # Median :2014-08-26 Median :10527.50
    # Mean :2014-08-21 Mean : 9651.44
    # 3rd Qu.:2014-09-29 3rd Qu.:11165.00
    # Max. :2014-11-07 Max. :19686.00
    library(ggplot2)
    qplot(Date, hash, data=totalCounts)
    # https://i.imgur.com/ucPMvJQ.png

    其他包含结构化格式的数据集可能更容易处理原型:Aldridge&Décary-Hétu2013SR1爬行; SR1销售电子表格(原件是PDF,但我创建了一个可用的CSV); BMR反馈转储是在SQL中,DNStats和Christin等人2013年的公共数据也是如此(但请注意,最后一个是如此严格编辑和匿名,以支持少数分析); 而Daryl Lau的SR2作品可能采用结构化格式。

  2. 爬行是独立于其他爬行进行的,它们可以用来互相检查

  3. 来自API的市场数据可以被认为接近100%完整和准确,这是罕见的

主要缺点是:

  • 最大的市场可以分成多个CSV(例如EVO.csvEVO2.csv),使得在某种程度上读取数据变得复杂

  • 导出每次都是当前列表,这意味着如果Grams之间没有成功抓取,则不同的天数可以重复相同的爬行数据

  • 出口不是每天都有,而且有些差距很大。2015-01-09至2015-02-21的差距是由于在此期间Grams出口损坏,我发现问题并要求修复; 其他差距可能是由于cron作业的暂时性错误:

    1
    2
    3
    @daily ping -q -c 5 google.com && torify wget --quiet --continue
    "http://grams7enufi7jmdl.onion/gwernapi/$SECRETKEY"
    -O ~/blackmarket-mirrors/grams/`date '+\%Y-\%m-\%d'`.zip

    因此,如果我的互联网出现故障,或者Grams出现故障,或者下载中途已损坏,那么那天就什么都没有了。

信息泄漏

DIABOLUS /加密市场

Diabolus / Crypto Market是由同一个团队运营的两个市场,显然是同一台服务器。加密市场有一个信息泄露,任何以现有用户身份登录的企图都会显示该Diabolus账户的状态栏,列出他们当前的订单数量,PM数量和比特币余额,从而可以获得对地面实况的估计。市场营业额和收入。使用我的Diabolus抓取来获取供应商列表,我设置了一个脚本,每天自动下载泄漏,直到最终关闭该漏洞。

简单地承担

在推出时,Just Bear市场出现业余错误,无法禁用默认的Apache /server-status页面,该页面显示有关服务器的信息,例如正在浏览的HTML页面和连接的IP。作为Tor隐藏服务,大多数IP都是来自守护进程的本地主机连接,但是我注意到管理员从本地IP(192.168.1.x范围)登录并且好奇我是否可以对他进行去匿名化,我设置了一个脚本来进行/server-status每分钟轮询左右,随着时间的推移增加间隔。两三天后,还没有出现裸露的IP,我杀了剧本。

真正的交易

RedDeal 在2015年6月下旬在Reddit上报告有一个信息泄漏,任何登录用户都可以浏览所有用户的六分之一订单详细信息页面(可预测的递增整数格式)而无需任何其他身份验证,产生比特币金额,列表以及该订单的所有比特币多重地址。TRD否认这是任何问题,所以我收集了大约一周的订单信息。

莫达非尼

作为我对兴奋剂莫达非尼感兴趣的一部分,我每月都会通过手工刮擦DNM中所有modafinil / armodafinil / adrafinil列表; modafinil存档包含2013-05-28至2015-07-03的MHT或MAFF格式的已保存文件。抽样市场包括:

  • 卫矛尺
  • 集市
  • 羊驼
  • AlphaBay
  • 仙女星座
  • 黑银行
  • 蓝天
  • 九霄云外
  • 加密/ Diabolus
  • Diabolus
  • 梦想
  • 东印度公司
  • 演化
  • 避风港
  • 水润
  • 中土
  • 取缔
  • 潘多拉
  • SR2
  • TOM

PEDOFUNDING

一个集资的儿童色情内容,网站Pedofunding,于2014年11月推出。这似乎可能是一个新的DNM商业模式的诞生,所以我设置了一个退出的刮痕来存档它的开头(没有任何图像),从2014-11-13到2014-12-02收集了20个刮痕,之后它关闭,显然没有发现牵引力。(2015年的后续尝试使用某种Dash / Darkcoin挖掘模型;目前还不清楚他们为什么不简单地使用Darkleaks。)

丝绸之路1号(SR41)

资料来源:

SR1F

丝绸之路1论坛的这个档案由3部分组成,所有部分都是在丝绸之路1关闭之后于2013年10月创建的,但在丝绸之路1论坛几个月后才下线:

  1. StExo的档案,匿名发布

    这不包括卖方圆桌会议(VRT)子论坛,并且据信在各方面都受到审查,例如删除许多StExo自己的帖子。

  2. 胡子的存档页面

    未知来源,可能基于StExo档案

  3. 巩固的wget蜘蛛

    在SR1破产和StExo的归档之后,我开始镜像SR1F wget,以供应商登录供应商圆桌会议登录; 不幸的是由于我对论坛软件Simple Machines缺乏经验,我不知道有可能撤销你自己的子论坛访问权限,wget并且未能将撤销URL列入黑名单。因此,VRT未完全存档。我将各种档案合并为一个版本。

    同时,qwertyoruiop使用常规用户帐户和自定义Node.js脚本存档SR1F。我将他的蜘蛛与我的版本结合起来制作了一个合理覆盖论坛的最终版本(大概是所有人开始删除和审查过去帖子后剩下的3/4)。

SR2

资料来源:

SR2DOUG

2015年,一名声称是SR2程序员的假名使用Darkleaks协议进行销售,他声称是用户名/密码转储和SR2源代码。Darkleaks协议要求提供加密数据,然后提供随机部分。此存档是我能够整理的所有加密数据,解密密钥和显示的用户名。(拍卖似乎不顺利,因为透露的数据不是一个令人信服的证据,目前还不清楚他是否是真正的文章。)

版权

网站抓取的版权状况,特别是从事非法活动的网站,尚不清楚。

(我要求用户尊重此存档的精神,并向公众发布他们自己的源代码和派生数据集,但我不会合法地要求它。)

以前的版本

其中一些档案以前已经公开发布,现在被这个洪流淘汰了:

验证

归档文件的完整性可以使用验证PAR2par2verify ecc.par2最多文件损坏的10%/损失可使用用于供给PAR2文件进行修复FECpar2repair; 有关详细信息,请参见手册页。

签名的SHA-256哈希档案:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA512

8b05d5fcba36db6889af4fe23d1117a48c39b0808332d32919f9d7c835380721 1776.tar.xz
cc6f54d5818e13fb585b14d6c414fcdbf4d20a4e1ab3aa398f5ce05287a1d1b0 2015-sr2doug-claimedsr2leaks.tar.xz
6e082846f83dc9e06950fc29095491d303f5b336d65bbe6760db2c03d969cf02 abraxas-forums.tar.xz
3dcb6ba24bc3e4f75e13827bb1e2f0632ed269b10e6158bdb554cc50983f1204 abraxas.tar.xz
4231b81aa12d529f4502129683f8d5f1e0ef1f813d252d6edcce9d3b75eecdd2 agape.tar.xz
4838969a87610fe80678ae72a3d631ab2aaa5a6b219cd67226f528d96c4fc958 agora-forums-20140421-whom-astorposts.tar.xz
f6afe2df9238ce5cecea6dac70fd7c4b67a444824eccf07667ca46b15a167734 agora-forums-2014093020141016-rasmusandersen.tar.xz
5730cc4e7e34138aeee934985b937ba8a2ae78f23580ba9a666348fb04fb3583 agora-forums.tar.xz
4e7d5d4f63be66956037d4c27f3b97c0b980addd3ed5029b24904ab69f705c9d agora.tar.xz
ab9fc0d2324ddbd03fcf5a9e8b9213fc6c650fcb1f7e99f9d3b7a63cd67923af alpaca.tar.xz
1bbb33eda2094f662d982cad045033541a5fb22e850359883fa3decb5a0d81d2 alphabay.tar.xz
7a61ae8945322455f9b6d0afdad2751847f9a294b951920ea6cccaa8f3b06d86 amazondark.tar.xz
19e634813d8038474460d72e0c5311a7d97a9a2e9e9089eab32a719cf4a0c377 anarchia.tar.xz
8da899bae2e51384afa8d4f839a45371a1b1c5b22a52685f698aced1dba5adbd andromeda-forums.tar.xz
0c95881e291bde995dc33ae8ee516ca7c8b200cb8dd3b967f8dc62ec5a36b6b2 andromeda.tar.xz
3466f8f9637aab4f2d74ef9c242be7aeff08d5adfadcffe7ca69ce58392a62a9 area51.tar.xz
d9f4f00dba4a44cc7bb45b19d9967046be56b83328c0149697cdf44862438ef2 armory.tar.xz
d9e887e1370f690724e9a178287baf5c85e5e8a900e9e9dae019b795e2afdb6e assassinationmarket.tar.xz
c959b430f7aef932d26fe389498c6f4d3d7d02421e9d05c204803b009317869b atlantis-20130921-christin.tar.xz
e1539816b1318badf183152960783697f234ce6c972e90ed2830b119d620313a blackbankmarket-forums.tar.xz
c9e4940b16078ad2982a55c4c1221054ad3b6a2cac99517d55fc24063a71efdd blackbankmarket.tar.xz
cbb17ccd867d242ce571ea692a4672474c8330679d3a41e2fff7ebaa511ffd58 blackgoblin.tar.xz
f68f7bb73b47161d8d0499eb062ddd8b4f7b267cad9b2c9179b3a6d309ac9d2b blackmarketreloaded-20131017-userlist.sql.xz
eed272069f2f057dc6894bbb078041c4bf64db3936a1218cf9f9db9c42518839 blackmarketreloaded-20131225-feedback-wousd.sql.xz
6b0a07ea3cbf67cd60c743a52cdf0427a3e4e587655e3950a75c48fad2f57085 blackmarketreloaded-elpresidente.tar.xz
63d95bc6baa947842247084f0332e8e5ccc465ad112df2fe4d88e1a024aeb5fc blackmarketreloaded-forums.tar.xz
84598eccbc428ce0325327618f2d7566e55ab799f46e030a1c5b8295e0397fd0 blackservicesmarket.tar.xz
9d0f068823a37eb405b2bf6014ba3051a6cddfb78997111ae1a0c7507c60dd3e bloomsfield.tar.xz
a4477cf586ff6b18df649e5bfb47d825f2c604c3913b934c235eafa514d0025b bluesky.tar.xz
8e9b225be42d4f3cff9f835e7f24ba414a6d72e3131d77655f3fc7d05c3b6208 breakingbad.tar.xz
9bb37c2f8b68730b02d38ddf3be04154384f2c79a70505a3324fb8b973e4553c bungee54-forums.tar.xz
78f5599807f5adc1a068cb86f8a8c7ad194d67d28ef5f451076a40a8587f1776 bungee54.tar.xz
9afedc1135e8a96a61974fb663eaaabef2476bafbc4193dc9f6744402573c98c buyitnow.tar.xz
f9559a82359cc33f9e9b093d5aa7a6d8b4deebb39aa13841c2fb91ea6f6fdac5 cannabisroad2-forums.tar.xz
db133bef60e5c338757af23809175a8f64a9b4ca1dbebcbf3d8930af590a924a cannabisroad2.tar.xz
9fca953f118c80f6e61264b513872404ab67b51e06e544bba35284b1fcf8defd cannabisroad3-forums.tar.xz
173d4f60232941b18a5cdef0c04d45a678fd1f9c4ff0a4a1158266cd1f15c4fa cannabisroad3.tar.xz
5feeb4f56b4b2c0ab058e45d82543588ec09386f50a3663af53109abb72d66c6 cannabisroad.tar.xz
e0b5355ac6fc07b53dd6ae6767783462173d0e5a62f77b3ca23b699d5f59ce25 cantina.tar.xz
a2db7e54af153958d9d0bac0bf4088ff371e28c7e5510e5fae6b850af88dda8f cloudnine.tar.xz
9010bcfd779f01508075d341e278dbd412c2350d9fba41bb96a1345494956b40 cryptomarket.tar.xz
66d0236a256059df1ae4f0c6da5e7ded59f83f4534e2293c576575ad0191262e cryuserv.tar.xz
1dd482381d3a4ff8b30c4750696f1de1fbceb19ce29061ad39f5ce33092239f3 darkbay-forums.tar.xz
366e30bdb6d84e6cbe5d54909d2f49a7f95e0f232ecd886ea53e729f479104e0 darkbay.tar.xz
d7f666e3fd244c299621c6fb7beb20111690e4e7c8786161f1534c23c7836d51 darklist.tar.xz
c6d2478c2a0f860c4b1e8507a5925f699ee39edf8dead1df2cec5d0d94b51af2 darknetheroes-forums.tar.xz
1197eae4c7cb83ed97aa5374365a26b67beea75bf053a9927b2e8948393fe58d darknetheroes.tar.xz
623ff7d3509727be5936f27ab95cd2b40432f25b0f07e20df7062e5e2cd55217 darknetnation.tar.xz
23e4932551b2a56c12d151d2f14140d5c9a7c25407b766b34d48456c5dbab589 dbay.tar.xz
f8b3cd5c861e7c32147ad720538728f113bcda0f41760ef7475ffbaf26037490 deepzon.tar.xz
2199f5062ad587d355ed683b894ada4dd1529ec50c5f5761b523cdaff9c20b5c diabolus-cminfoleak-20150220-20150311.tar.xz
f1f6df5855287def19443db64082aa1c7df507991a6968dca6f5f097b024e253 diabolus-forums.tar.xz
42d1a476d9eb6b9b4807789ba08c5791054d41f3d6b9e7506a78a309603bad78 diabolus.tar.xz
ddeed8ce25ef813814522bffe2224f390c84dcdca4dcd0c3023b49d0a63a8b5a dnstats-20150712.sql.xz
649e311c427398006bf390f7827fe3534026c730a905766cb9f3e78bad82b520 documents.tar.xz
2f2523f4125e64acaa86ebacb8fe2f08fc640608aabc95d747e9319bf9446e12 dogeroad-forums.tar.xz
78079f03495ba405a04860fb546421780f9bc1cdcf06025e7abd29033f77c450 dogeroad.tar.xz
768482dd0aae12fab023497cda437fd290657ac1e9df29a6b65f1b142d1ce8af dreammarket.tar.xz
229373106b35aa6d72a71f7dc48e90d1da47647cc58348ee0cb768a3926294c4 drugslist.tar.xz
f8a324d215858918d781436a09d51bfaa88c2b9bd59ef6af4a75f52c81891a6c eastindiacompany.tar.xz
23449de611a42899bcb27db8186d194f7b805ee7e55034ec5ab17adee226aecd evolution-forums-2014093020141016-rasmusandersen.tar.xz
109eb980c11ed37b29321f6403cb5e95614f3c44525a549164d95d0a52eb94cf evolution-forums.tar.xz
a6a0ccd588635903f1e914390f36bb9a56f562d37b9e92d6e58dac6364b35b8a evolution.tar.xz
0b2e5eac28bad63ca832aeeebb8a759dec21bbf2b52eb5f816dc010ab5a825f3 freebay.tar.xz
336c43eb0794174bb8c58cb8b018a8e019a4dd1719a298051b0c0e4ba04a7109 freedommarketplace.tar.xz
61f2037e6245d2e0a23f87df142ff53c0736da26844a3a3f7d869fdd1b835202 freemarket.tar.xz
af4dd8003b015519677c802cc3c19f0910cb79541876be0be719e0c176fe7f5e galaxy.tar.xz
0d963a63009ef5b581ce705555a608997cfc7220971a26236d8f12b6268c224c gobotal-20140818-20141102.tar.xz
0cecd5e78416328caf06614ee6a8fabee0d91b8aecddd9ca2d67f059ff7497d6 grams.tar.xz
2dccb3df553b89dfceb5ba4930269ffff4fcd39dc6c876ca6cfc9e85c98bda9a grandtrunk.tar.xz
2fe55a93c6c7b69b40a5bfe1c1dcd7c0cc4601045696870f1b4dad460c93ea70 greyroad-forums.tar.xz
419e97c0c28784e6077f296746bf2ae5b4899cc0fef2756108c3b5c3d5ed9b13 greyroad.tar.xz
d7624f290f63642d3d875d0b94baf84af89cd63e2abab57c1889bf8d18883596 havanaabsolem-forums.tar.xz
94bafe76779807cdf7cc86d0534da64155b22e40db79f1bb801e865becd44fc6 havanaabsolem.tar.xz
32475d62c6ff9cce00063b6473576782a2941bf1dc2e05a0f9a6bc9880ed91c3 haven.tar.xz
b69715d148fa02e87af8143d36152f4deda57b39f85fe4da47e8090e5e93c348 horizon.tar.xz
b06b7f272934b661920eae5ba9cc3ac8480c8e94ca86d7ab039988cdbf348f2a hydra-forums.tar.xz
0cf4eda89b71d17a9a539599053e06f4fed4322c0ea306edb6e30c950ab0d16b hydra.tar.xz
cebec4d92f705475a61ab0fe66c905d509c737139276e96c4c8826539bdd2e07 ironclad.tar.xz
deb71f9e282bbc477c16c922ea8731ecc8817244808619fe881c22467df1d213 kingdom-forums.tar.xz
466772600b49a37d6f5078c1534d889f0b3d3d7ccb165228292e1121217395fd kiss-forums.tar.xz
74436c0b38dab5007ad212e5c8bb7f1d67708fbdfbbaf6488a80ea637cdcd912 kiss.tar.xz
73ed19cbc40d0d313cf91ed68c7c8f931438238605076bea95c6db7e41a382bd middleearth.tar.xz
69e783616806f90715b3a63b8f8623ca7ea83f81a48b71e0fadbfa85dfca214f modafinil.tar.xz
fc29a84ba388a0bf7aa7c27437ea2e53462bfdb527f00c45958b2d15a43237ef mrniceguy2.tar.xz
796fa38de4eae84797ce07c30a158123b61224dffdb6e94dfd5be39f8a96a187 mrniceguy-forums.tar.xz
146f2ae90fd4fa25932f43596e621065204a07ca5b8149d4e6af142abea32597 mtgox-2011-usernamepasswordleak.csv.xz
0d4136f8e59a4cedfbfac30da33a846d42ed1c9e6e1af8ed030be8ac42e42522 mtgox-20140309-leak.tar.xz
e22b5c83f04ac244e4e77bad4e91588642373a371b3b5606c311a5021bd2eba2 nucleus-forums.tar.xz
87fb7a67bfd55f25f882fbf10e10c82bf2872721109f47728192b5be0e830252 nucleus.tar.xz
ff975d6dc3c91c5b2fd42a86c54acecfed17616dcd80ba5a320ff4b4df2e89fd onionshop.tar.xz
1b95c06289b081c1dc674dc5d4e055f61fd1609b8a75d5a65a51134407639c11 outlawmarket-forums.tar.xz
4d7d1c24197c89252d515e35ef1bc3c80543180e952ed3e6aae821eb48d17d4c outlawmarket.tar.xz
11327c8c1915e802cd6083e590217e8e93b19767c9453fc62291e24b96a0a420 oxygen.tar.xz
5355211f6e1b8a338115ef10b2c8498af3b4ee494405b51147f1ffe27645d7b5 panacea-forums.tar.xz
58a76cba9c7ca06c4d92ce03bb39bddf24f15dabeee508f2004f0158bf1aca70 panacea.tar.xz
ed17677aa7269d725cdd81fc1832655a76b3ab701a0ca356b1182443622bedd7 pandora-elpresidente.tar.xz
9f9de82834b46973a5712a6b1dcabe3cb2af1b3c42348d3f2ab4534b59f64dc6 pandora-forums-20140421-whom-astorposts.tar.xz
29bb6c5add500b077b3545559871eda0515887f8847380f1024072ce6cc785aa pandora-forums.tar.xz
d6e00fb115cecb5739e72c994243edf3199a7b2c9524ebe1e55983bcd2dbc894 pandora.tar.xz
0dfcfdac5d359b508efae9c50cb861f5403924e047de00831db758841a469bfa pedofunding.tar.xz
427bc78c1e466a7bdc7f0b667d125aced3de76da7bfd8fed5fce564f44421372 pigeon-forums.tar.xz
6fe6fd24b0b604ec70b9e56610743f3bdf91683d24e6ade3a149ecd61b7b787f pigeon.tar.xz
bd634bf2b2943fb1d01c548f1d731d86c8344d319b799a03a9197874e8e01772 piratemarket.tar.xz
f8dbee89392ebced3a529a972e19c5146aaa3cfe8ce9d25005f538d41b47c2ed poseidon.tar.xz
71b44fc678bebb8122ddfdba02e2ef80335f72eaf49b4f11ef3204ee7f29ec35 projectblackflag-20131103-anonymous-logsdump.tar.xz
0000462319ea6467b0a25f070f659124966518da3adce1a0fa92d81a84a24e59 projectblackflag-forums.tar.xz
b2ec62fbe54b8148f7e6e7738b84d0d7d45c6b7a91b951494a9a8ab20769e24b revolver-forums.tar.xz
4f8573bded758c065f86c1eae189d69c1ad622fb6558d10d4aef780e699e09c2 sheep-elpresidente.tar.xz
073829fc8ae4fe9e6920b2c3232bc253ebe6c877b29264a569651e5d76c3b191 sheep.tar.xz
4099f3d49d74d8828b12d8ff532979531c5ca31092985457e93f5f5e9fafbdc1 silkroad1-20111103-delyankratunov.tar.xz
57b641200c30bf6a801fe2faf462d507fcc99c678567943f25af9d0c51970879 silkroad1-20120722-vanbuskirk.docx
59e72f95201726cc46d9680f97a53f44c45f242b57a96567916c4cb76a863d5e silkroad1-20120723-christin-censored.tar.xz
da8726427d1b13f850a9647a34757ee95be000c036a5ec370e8f43b01fde6609 silkroad1-20130703-anonymous.tar.xz
a3fe8ec72186e7ec02fe206f92616688fae07b756f06a555bd8f306a92b0451b silkroad1-20130915-aldridgehetu.tar.xz
12876b0783fb928a9c982dff048155fae331b174e08847e66a3100a9f74c9369 silkroad1-forums-20130703-anonymous.tar.xz
5533a90285c0d072d62ebf681cfe717987dfe595f13b96e1e8dc9ae1ed7274ab silkroad1-forums-20131103-gwernrasmusandersen.tar.xz
3a28097c243843cc69d365b1c6456075679bfa09cd3a50daa6105a0c7f4df837 silkroad1-forums-anonymous.tar.xz
37db1b2eab69923e22cb0d2ee65426152cb11ab09d92d1d6013a2fe7f20aa7d0 silkroad1-forums-stexo.tar.xz
eac0013182b996b4a77f446a28ffabd74f23ea0fa32eeaa6f3bc499081c372c8 silkroad1-forums.tar.xz
ab1ffac3b85b9cbb2d7ff80ed28a1899561f945758196ba3976dbb2e5b8b4c21 silkroad1-vendorprofiles-stexo.tar.xz
2df744013fedfdacfd349472e05981316dbf392ccb56e627ff6d6f09b4ad7a8a silkroad1-wiki.tar.xz
1c8e643eade9750b39485c5e101f65d2c12ec977cb7b681cd8df064eccf4c0e7 silkroad2-20140129-sohhlz-vendors.tar.xz
3381cd4305c4cd909aa86cf218a1022e6be5ed227d6eb728603c41b9956c7a28 silkroad2-20140927-daryllau.tar.xz
7367dc56f15f61212d8567033a4d3a9468622e05f86d38607a70d5686164648a silkroad2-forums-20140419-whom-astorposts.tar.xz
0900093d7100b4faf983707b4b1e0ec1fae3c4b18270eaa8eedfe4f8b69a6e23 silkroad2-forums-2014093020141016-rasmusandersen.tar.xz
a473132cb8eec64aea2066628a24628a0c1eb38c195c9945c700dd19f1f972f2 silkroad2-forums.tar.xz
2abc793c7fdfce31d375db11307b66aa69cb91f4c684408840d546bf4e61e41b silkroad2.tar.xz
3384789112185d81544dcad5bc69967cd44b097b7a772da48f5a1226b43155de silkroadreloaded.tar.xz
ed9d47ecc9afce0f541386471da9894c436833b89da06663ffbc5ab6de2beacf silkstreet.tar.xz
7e254452405543c27ee47c0bf6a455fe34443a6fa335a904e086fef61cf6f330 simplybear.tar.xz
80c759f67a5eac57b6345417dff1181690a80ecb965a14ce812ab79d315f2f2d tcf.tar.xz
6f0775201cb379bb0845c60fde22e66b8aa7d5319d6046987202cdc9065b0591 theblackboxmarket.tar.xz
c25c1f2b35d1cf1f38f1f009b40d559f5a0aaf484248d98aed7b9942fade20a8 thecave.tar.xz
078cc6e61cb37c56f671b6d87ca243e885c2a37a17645d73d26c01e56b28afe4 thehub-forums-20140420-whom-astorposts.tar.xz
5620dae0fac58b30bff4efbf116ce9674d071c3d43fe7cef2f5f84c2950b4182 thehub-forums.tar.xz
c542fed2541d059c466d0b9dc402465952a778b1ef584a3af73e7ad34d953f7e themajesticgarden-forums.tar.xz
a8a57924768c5f7ad4062fe0b6931722a078caab91b65a515b554817b2e4c1dc themajesticgarden.tar.xz
8deee8650c55fbd4cfb8366a4f8b5e8a5370b525f676769de34f81a8864e92d2 themarketplace.tar.xz
420889ca017ac87c92a0ff774d21dc79c3abc1958c8dee0dcc11e1af59fd680d therealdeal-forums.tar.xz
b1ee23d727b30c486c3d197212ac91ac16f18b78b30ba5346854bedf81e6b821 therealdeal.tar.xz
70cf9c9a75815e9a514d4a5eb69aef77df862f3c8e36aff19feed8dae7c1e1cc tochka.tar.xz
32acbc1289525785c12f179a7da9ce76a838e5a13a4dbaa6fb16c3f1870f9d98 tom-forums.tar.xz
3f62941a988c166ebcec9c788069de1d30a3c365f0b1da1921d342c8a4df3a35 tom.tar.xz
6c50bd480914e0c257b6e85a3e22a087e0e058614d465f7269e2ebd1f867a35a topix2.tar.xz
fee6a7cd032648bebaae7752045bcd64c0a069c0abd311c53686323103fe7ede torbay.tar.xz
76fdc6da85a4d697e2e5ed5b9c3d608c5d1ac33a0831fd0701cfd0c6c922e9db torbazaar-forums.tar.xz
5b9b457c2e541fc618461b69c14511b03fff886daed25ba1e0cb49a89c5b749c torbazaar.tar.xz
0f3c3a34496feeb44f258e07ee46704a38f856e975e394bcf689e03a18d263ca torescrow-forums.tar.xz
7e4bf1ef60826367375ab419b068ce1b61daf231cda407594f595ec3bffc6d50 torescrow.tar.xz
1b911a07423900ee4ef9ff71e9d1f4752bfa89ad9c473b760263314f56c7a021 tormarket-20131213-dpr2-dbdump.mht
e229859ffa92bb7c142d2d54317d4b571e48dcc030d412fc93489a3f5aaa9faa tormarket-elpresidente.tar.xz
55b50e6e9283df50e68d1843db0d07360cc0e6c7d2d032dc00de2c04a00cd489 tormarket.tar.xz
f81a11e6dd8779a4bf077f9bc833740536ed202d2dca106ab5122d758784bf74 tortuga1-forums.tar.xz
15c7d2ad0b525a9f3ae417dc63a670698204ac755a28bd98f104b0b240f3a4fd tortuga2.tar.xz
0bb2324c424faa0481a3ca5b4004e57493eacfb7a521a7018edb40c3b467037b undergroundmarket-forums.tar.xz
2153d48e75b60942cb7287a06b93c43b2968fb175af7b4f82fff59577674e9f6 undergroundmarket.tar.xz
13bb5eda0762a41aecc74caf3f3a527035b0015ea71019ba4d2d2363aeaf86d3 unitech.tar.xz
2811a120a4db56907498b2758b0b5d8b2d43c2167a40b2bf0c6e432ba383ff55 utopia-forums.tar.xz
c64666bf5ea4218f7b69d366243ce13a1c8fc21a68d4e24a6ac8c7c3d8bf6908 utopia.tar.xz
9278f2ed7191642cf736bc4dc88c2ccbe7c0b1af6cc6e6ffcb283263a4aef729 vault43.tar.xz
8087f7b4a7781ffc634d0baa2ac4a7cec7b7b1bd5a619f89cb43d49faae002b7 whiterabbit.tar.xz
dc64656700ad46505bd02412d7af5a04d60aba138c713720a00d80cc4bd20000 zanzibarspice.tar.xz
-----BEGIN PGP SIGNATURE-----

iQIcBAEBCgAGBQJVoq+QAAoJEH3Oo4eJxYjM52IP/3ZMzulM6TuwKfkcsGDrFe4Q
X3gQL4Ru2N80jWWcUj3hA/SxEyhs5gWA/xnLZr1HFPPEOXZQRMZb5G3tVQ7clhxL
dH2q7YPl+1L151iqtZHATYMcK8kSB7gbs8S33JU5SkS+y7R0tOXI9fpVuhnaD6HN
q3nGEKrSXI0CaC2o4bBxmUh/1WsimTySiNbcErdj0jMns10MKeYwTq98E+6yc+XQ
ItsMqS9gfSVlGN0yLRedc+kI+Y3M4ujLzY5aHC7PDv2RnpZhRMV68cSbsTc4FD7m
A7AOFKHukUhDPBqp1d3BEU/IiNqY4YhfIkmDMIQ8y2ioYG+rkk0SMojb3OYXgv0p
ioO0QuHNsJSomXYe9OkNoF9y2Tb99nJr7Wr6TFyJ4Geeow9B9p0j2LWFwfrpD3oq
eevXcIQruyi1AG4sK3/F6UG+GAZ3ZgsvcECoRc0+zytXNF0sn14WNcnyqGmtyfo1
/Y0KcDA0RCiWyvUTyAHWjjv0xOxVGDij8r9aqDM+8UgTsECIL6tlTo/Ifhm/k4a6
qF0adhyCpeFPAhmW2kz7BYsmtM0TzWDV/eD3h3mrpo8bn0ILgZr4MpEpLn3WPjY/
D+ZepCz12epZSURHV+6SWFteO6PM44fU895ezBq/iU5ZIRK8uvTShR6KEtPivJFp
fYrFFbOhBc6KRQbNJ8o2
=U0bP
-----END PGP SIGNATURE-----

如何抓住市场

大部分爬行都是我自己的工作,通常都以类似的方式创建。

我的设置是安装了TorPrivoxyPolipo的Debian测试Linux系统。为了浏览,我使用了Iceweasel; 有用的FF扩展包括LastPassFlashblockNoScriptLive HTTP标头Mozilla存档格式用户代理切换器switchproxytype以及RECAP。请参阅Tor指南

  1. 当一个新的市场开放时,我通常会从Reddit或The Hub中了解它,并在配置为代理的Firefox中浏览它127.0.0.1:8123(Polipo)

  2. 创建一个新账户

    用户名/密码并不是特别重要,但使用

    密码管理器

    为一次性帐户创建和存储强密码的优点是可以更轻松地在以后验证任何黑客或数据库转储。(鉴于许多市场的安全记录不佳,不应该说你不应该使用自己的用户名或任何其他地方使用的密码。)

  3. 我找到了各种操作 URL:登录,注销,报告供应商,设置,下订单,发送消息,并添加URL前缀(有时它们需要是regexps)/etc/privoxy/user.action; Privoxy(一个运行的过滤代理)127.0.0.1:8118将阻止任何下载与这些前缀/正则表达式匹配的URL的尝试

    一个好的黑名单对于避免记录自己并立即结束爬行至关重要,但同样重要的是避免触发任何可能导致您的帐户被禁止的现场操作或提示操作员采取您可能具有的反爬行措施努力工作。黑名单对于避免下载多个页面(如同一类别页面,按15种不同的方式排序)也是非常宝贵的; Tor是高延迟的,你不能在冗余或无意义的页面上浪费请求,这些页面可能有很多。简单机器论坛在这方面特别危险,要求至少有39个URL被列入黑名单以获得高效爬行,并将许多操作实现为爬虫将浏览的简单HTTP链接(例如,如果您已设法访问私有子论坛在SMF上,你会的

如果您只是像wget或

HTTrack那样

松开一个爬虫,我就会删除您对它的访问权限

  1. 在可能的情况下,配置站点以简化爬网:在每个页面上请求尽可能多的列表,隐藏混乱,禁用可能妨碍的任何选项等。

    论坛通常默认在页面上显示20个帖子,但选项可能会让您显示100个帖子; 如果您将其设置为尽可能多地显示(每页的最大帖子数,列出的子论坛等),则爬网将更快,节省磁盘空间

    并且

    更可靠,因为爬网不太可能遭受停机。因此,最好进入SMF论坛设置并为您的帐户进行自定义。

  2. 在Firefox中,我cookies.txt使用FF扩展导出Cookie。(我还建议NoScript避免JavaScript恶作剧,Live HTTP Headers通过显示HTTP标头和FF实际发送到市场的请求来协助调试,以及用户代理切换器将您的FF锁定为显示一致的TorBrowser 用户代理

  3. 如果在cookies.txt一个正确的黑名单设置中有一个有效的cookie,现在可以使用wget创建镜像,使用如下命令:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    alias today="date '+%Y-%m-%d'" # prints out current date like "2015-07-05"
    cat ~/blackmarket-mirrors/user-agent.txt
    ## Mozilla/5.0 (Windows NT 6.1; rv:31.0) Gecko/20100101 Firefox/30.0

    cd ~/blackmarket-mirrors/cryptomarket/
    fgrep --no-filename '.onion' ~/cookies.txt ~/`today`/cookies.txt > ./cookies.txt
    http_proxy="localhost:8118" wget --mirror
    --tries=5 --retry-connrefused --waitretry=1 --read-timeout=20 --timeout=15 --tries=10
    --load-cookies=cookies.txt --keep-session-cookies
    --max-redirect=1
    --referer="http://cryptomktgxdn2zd.onion"
    --user-agent="$(cat ~/blackmarket-mirrors/user-agent.txt)"
    --append-output=log.txt --server-response
    'http://cryptomktgxdn2zd.onion/category.php?id=Weed'
    mv ./cryptomktgxdn2zd.onion/ `today`
    mv log.txt ./`today`/
    rm cookies.txt

    要解压缩命令:

    • fgrep调用最小化本地cookie.txt的尺寸,并有助于防止全cookie.txt的意外释放,同时收拾档案,并与其他人分享他们
    • wget的:
      • 我们指示它只通过Privoxy下载,以便从黑名单中受益。警告:wget的有一个黑名单选项,但它并没有工作,因为它是在一个奇怪的方式在那里下载黑名单网址,然后删除其实施;(!)这是wget中一个已知的> 12岁的bug。对于其他爬虫,应该仔细检查这种行为,这样您就不会无意中将自己从市场中剔除并下载数十亿字节的无用页面。
      • 我们提出了许多选项来鼓励wget忽略连接失败并重试; 隐藏的服务器很慢且不可靠
      • 我们加载带有市场认证的cookie文件,特别是,我们需要--keep-session-cookies保留市场可能给我们的所有cookie,特别是每个页面加载时改变的cookie。
      • --max-redirect=1有助于处理令人讨厌的市场行为,当一个人的cookie过期时,他们会安静地将所有后续页面请求重定向到登录页面,而不会出现错误或警告。当然,登录页面也应该在黑名单中,但这是额外的保险,可以节省一次往返的时间,这将加起来。(这并不总是一种治疗方法,因为市场可能会在没有任何重定向或错误代码的情况下提供所请求的页面,但内容将是一个被转换的登录页面;这显然发生在我的一些爬行中,例如Black Bank Market。没有太多除了某种下载后的regexp检查或类似的后处理步骤外,可以做到这一点。)
      • 一些市场似乎窥探了HTTP请求的引用部分,指明了你的来源; 投入市场页面似乎有所帮助
      • 如上所述,用户代理应该完全匹配但是一个登录,因为一些市场记录并且如果用户代理不完全匹配则阻止访问。将当前用户代理放入集中文本文件有助于避免脚本过期并指定旧的用户代理
    • 记录请求,特别是错误很重要; --server-response打印出标题,并将--append-output它们存储到日志文件中。大多数抓取工具都没有保留错误日志,但这有必要允许调查不完整性并观察爬网中的错误(可能是您错过了将页面列入黑名单); 例如,评估Tor网络上的毒品贩运:丝绸之路2,续集,Dolliver 2015,未能记录SR2的少数HTTrack爬行中的错误,因此完全不完整的爬行结果导致无意义的结论,例如1-2%的SR2销售是毒品。(我推测HTTrack爬行卡在电子书部分,它总是被垃圾邮件阻塞,然后SR2停机一两个小时,导致HTTrack的默认行为快速错误并完成爬行;但缺乏日志记录意味着我们可能永远不知道出了什么问题。)
  4. 一旦wget抓取完成,我们就在它终止的任何一天命名,我们将日志存储在镜像中,并清理可能已经过期的cookie,并检查是否有任何异常问题。

这种方法允许大约18个不同DNM或论坛的同时爬行,然后开始冒险使用Privoxy抛出有太多连接的错误。Privoxy错误也可能导致每个请求都存储大量日志。在这两个问题之间,我发现每天读取一个cron作业是有帮助的,rm -rf /var/log/privoxy/*; /etc/init.d/privoxy restart这样可以控制日志文件的混乱,偶尔会启动一个新的Privoxy。

通过将下载的大小与过去的下载进行比较,可以快速检查爬网。市场通常不会在一周内增长或收缩超过10%,论坛的下载规模应该单调增加。(顺便说一句,这意味着归档市场比论坛更重要。)如果爬行不再有效,可以检查问题:

  • 您的用户代理是否已不再同步?
  • 在特定页面上抓取错误?
  • wget显示的标题是否与使用Live HTTP标头在常规浏览器中看到的标题相匹配?
  • 是否已重命名目标网址?
  • 黑名单中的URL是否与网站的URL匹配,或者您是否使用正确的URL登录?(例如,黑名单www.abraxas …洋葱是从不同的Abraxas …洋葱 ;而如果你在与洋葱登录www.前缀,饼干可能是无效的无前缀洋葱)
  • 服务器只是在爬行时干了几个小时?然后,您只需重新启动并合并爬网即可。
  • 您的帐户被禁止了吗?如果注册过程特别容易,那么每次注册一个新帐户可能最简单。

尽管如此,并非所有市场都可以被抓取或出现其他困难:

  • 蓝天市场用HTTP标题做了一些事情,这打败了我抓取它的所有尝试; 它在第一次请求时拒绝了我的所有wget尝试,甚至在下载任何内容之前,但是我从来没有能够确切地知道wget HTTP头在任何方面与(工作)Firefox请求有什么不同
  • Nice Guy 2先生通过返回gzip编码的所有页面来打破HTTP标准,无论客户端是否表示它可以接受gzip编码的HTML; 碰巧,wget无法读取gzip编码的HTML并解析页面以便下载其他URL,因此镜像中断
  • 在2015年中期的DoS攻击期间,AlphaBay开始对其HTTP响应做了一些奇怪的事情,这使得Polipo出错了; 切换到Privoxy后必须浏览AlphaBay; 波塞冬也曾做过类似的事情
  • 中间地球速率限制每次会话爬行,限制可以下载多少而无需投入大量时间或在CAPTCHA中断服务
  • Abraxas导致wget特别高的RAM使用率,这可能导致OOM杀手过早地结束爬行

另见2015年Soska和Christin 在线匿名市场生态系统纵向演变中的爬行评论。

履带式的愿望清单

回想起来,如果我知道我将要在这么多站点上拼三年,我可能会编写一个自定义爬虫。自定义爬虫可以简化黑名单部分并允许其他一些理想的功能(按重要性降序排列):

  • CAPTCHA库:如果CAPTCHA可以自动解决,那么每个爬网都可以自行安排和运行。

    缺点是需要偶尔手动登记以确保之前提到的任何可能的问题都没有发生,因为人们不会立即注意到手动爬行可疑地快速完成(例如像SR2这样的大型网站或者Evolution或Agora应该至少一天进行单线程正常爬行,如果下载图像则需要几天;如果爬行在几个小时内完成,则出现问题)。

  • 支持在站点上使用多个帐户进行并行爬网

  • 优化树遍历:理想情况下,首先要在市场上下载所有类别页面,以最大限度地从初始爬行中获取信息并允许完整性估计,然后随机抽样项目或优先考虑与先前爬行相比新/更改的项目; 这将比通用抓取工具的深度或广度优先默认值更好

  • 删除连接到隐藏服务的初始跃点,加速它并减少延迟(在Tor守护进程中似乎不是一个配置选项,但我被告知这样的事情在Tor2web中完成)

  • 下载后检查:市场可能没有明显错误,但开始返回登录页面或警告。如果可以检测到这些,则自定义爬网程序可以重新登录(特别是使用CAPTCHA解决)或至少提醒用户该问题,以便他们可以决定是否重新登录,创建新帐户,减慢爬行,拆分多个帐户等

其他数据集

一个公开可用的数据集是:

  • Sarah Jamie Lewis 2016,Dark Web Data Dumps(瓦尔哈拉市场刮擦,截至2016年12月11日)

已知存在许多其他数据集但不可用,包括:

外部链接


  1. 对于那些试图将大型数据集或衍生品上传到IA的人来说可能有用的东西:它的种子大多数没有记录的~25GB大小限制。过去,后台进程将不再更新torrent以覆盖其他文件,并且一个将被传递有效但不完整的种子。如果没有IA支持人员干预以消除限制,那么整套文件将只能通过HTTP下载,而不能通过torrent下载。

    以上内容为机器翻译内容,详细内容请查看原文

    原文:http://www.gwern.net/DNM-archives

来了,老弟
-------------    本文结束  感谢您的阅读    -------------
0%