野生动物走私被认为是全球最广泛的非法贸易之一,相关活动与生物多样性丧失、有组织犯罪及公共卫生风险相伴。随着交易场景从实体市场转向线上,动物及其制品开始与普通消费品一起出现在大型电商平台的商品广告中。研究人员指出,这一变化在增加执法难度的同时,也带来了可供追踪的数字化线索。
在线商品广告通常会留下文本描述、价格、图片、卖家信息和时间戳等数据。若能对这些信息进行大规模收集与分析,研究人员可更系统地理解网络环境下野生动物走私的运作方式。不过,线上市场商品列表数量庞大,且以动物名称检索往往会返回大量与走私无关的结果,例如玩具、艺术品或纪念品,使得人工识别与自动化处理都面临挑战。
计算机科学研究所教授Juliana Freire团队为此构建了一套可扩展系统,用于自动抓取并筛选与野生动物相关的线上广告。该系统旨在实现跨多个平台、地区和语言的监测,而非仅聚焦单一物种或单一网站。相关成果已发表于《ACM数据管理学报》。

该项目为多学科合作,参与者包括约翰杰伊刑事司法学院刑事司法教授Gohar Petrossian、迈阿密大学环境科学与政策教授Jennifer Jacquet,以及印第安纳大学数据科学教授Sunandan Chakraborty。
在数据收集环节,研究人员首先使用网络爬虫生成并访问搜索链接:将濒危物种名称与主要电商网站的搜索结构结合,形成数万个搜索URL;爬虫跟踪链接下载商品页面,并通过限制请求频率避免对服务器造成过载。团队称,在34天内系统共检索超过1100万条广告。
随后进入信息提取阶段。由于不同网站页面结构差异较大且不一致,研究流程结合HTML解析工具与自动化抓取程序,从页面中提取标题、描述、价格、图片与卖家信息等关键字段,并以结构化格式存储,以便后续开展大规模分析。

筛选环节被研究团队视为关键步骤。团队指出,传统机器学习分类器虽可用于识别疑似非法广告,但为不同采集任务分别训练专用分类器成本较高,且需要专家为每个任务制作训练数据。为降低成本并扩大规模,Freire团队提出一种方法:利用大型语言模型对数据进行标注,再基于标注数据自动生成专用分类器,从而实现更大规模的数据分拣。
在应用层面,研究团队基于该流程开展了多项分析。其中,对eBay上约1.4万条爬行动物皮革制品列表的研究显示,鳄鱼、短吻鳄和蟒蛇皮革制品占据主导。研究还发现,约10种动物制品组合(如“鳄鱼包”“短吻鳄包”“短吻鳄手表”)占全部列表约72%,显示交易集中于少数奢侈品类别。
对相关网站全部列表的进一步分析显示,小型皮革制品来自65个国家,但其中93%来自10个国家;美国、英国和澳大利亚合计占据超过四分之三的市场份额。

另一项基于eBay数据的研究聚焦鲨鱼和鳐鱼战利品。研究人员表示,尽管平台已出台政策限制受威胁或濒危物种交易,但相关衍生品仍在平台上广泛流通。数据显示,虎鲨战利品约占此类列表的五分之一,标价最高达3000美元;超过85%的列表与美国卖家相关,研究据此提出深海商业捕鱼船只与美国战利品贸易之间可能存在供应链关联。
在执法与治理策略层面,研究人员称,针对关键卖家能够产生显著效果;同时,针对关键产品类型(例如“短吻鳄手表”)也可有效削弱爬行动物皮革制品市场,并且更易于大规模实施。
研究团队强调,该系统是起点而非终点。其流程设计强调可扩展性,便于未来引入更优分类器、基于图像的分析方法或新的数据来源。团队通过公开代码,希望推动更广泛的合作。
研究人员表示,随着野生动物贸易持续向线上迁移,对其数字足迹的理解将愈发重要。可扩展的数据收集与筛选工具为将分散的线上商品列表转化为可操作信息提供了路径。
