社工库使用ELK架构，记录一下社工库搭建过程中的一些未解决的问题及可能的解决方案。还有最重要的，去哪收集数据。
问题
遇到的问题主要有以下几个：
1.导入数据过慢
2.库内有大量重复数据
可能的解决方案
1.砸钱上NAS（导入数据慢）
2.每个文件建立新索引，建立索引的主机与查询主机分开（导入数据慢）
3.建立索引时与现有索引数据进行对比，重复数据超过阈值后不建立索引（有重复数据）
泄露数据共享网站
https://nuclearleaks.com/random/ （提供下载）
https://ghostproject.fr/ （仅查询）
https://leaksify.com/dashboard/（查询、下载，需要注册）
https://cdn.databases.today/ （下载，目前貌似仅提供收费的查询服务）
https://hacked-emails.com/ （仅发布泄露的数据来源，不提供查询、下载服务）
https://weleakinfo.com/ （仅查询）
https://ashley.cynic.al/ （仅查询）
https://data.occrp.org/ （仅查询）
https://dehashed.com/ （仅查询）
https://haveibeenpwned.com/ （仅查询）
https://scatteredsecrets.com/ （仅查询）
有可能会发布泄露数据的地方
http://www.pastebin.com/ （ pastebin ）
https://psbdmp.ws/ （pastebin搜索）