相关介绍
- 鉴于淘宝商家对一些淘宝商品数据有很大的需求,如商品标题,价格,库存,图片及其他一些的信息,从而达到一些监控的目的
- 基于Ecshop,EcMall,ShopNc等系统的采集
- 这篇文章是这几天的工作的一些记录
基本架构
- 整个应用基于传统的C/S结构:采集核心业务放在服务器端,对外提供相应的接口,客户端根据不同的用户提出不同的需求,后台采集后用相应的json串传递到前端,前端进行相应的解析
- Client端和Server端基于WebService服务的概念,前后端基于Json格式数据传输,所以对于编程语言并不要求前后端一致,还是不错的
- 基于第二点,先谈Server端,Server提供采集的核心任务, 因为动态语音在解析方面有得天独厚的优势,所以整个系统尽量采用动态语言,但是像Js这种语言又有一些局限性,所以后台我们采用了一种C#/Js的互相支持的的模式,下面会有一些介绍这两种语言的调用方式
- Client端,因为是一种WebService模式,前端可以根据用户的不同需求使用不同的合适的语言,如果监控系统,可以使用WinForm(后面会说一种),而如EcShop,EcMall这种Web系统插件,就直接使用php语言
- Client端发来的请求可以看做一个个不同的任务,使用消息队列实现异步,至于消息队列的好处,请戳这里
最近因为实习培训的事情,这部分博客暂时搁在这,后面再写