新颖音讯身手的飞速开展，为代价统计观察使命带来了全新的时机和挑拨。代价统计因网上电子商务运动的振作开展有了更为丰饶的数据源，也因爬虫身手等的涌现有了新的数据收集权谋。本文首要基于当局统计部分构造展开的住户消费代价观察，以网上飞机票代价收集为范例案例，切磋怎样将爬虫身手所获取网上代价数据更好地行使于住户消费代价观察（以下简称“CPI”观察）和住户消费代价指数（CPI）编造中，并试验造成一套行之有用的手法，为促进新景色下代价统计立异开展供应有益模仿。

　　跟着新颖音讯身手速捷开展，住户消费形式产生远大蜕变，线上消费振作开展。据国度统计局数据显示，2017-2020年，寰宇网上零售额年均增进19.3%。网上交往范围的不绝扩张爆发了大方的交往数据，这些数据服从必定的机闭和陈列形式被生存下来，造成了远大的数据资源。跟着网上交往的接续增进和身手的不绝发展，将网上交往代价数据纳入CPI指数编造成为更周至、科学地响应代价改换趋向的势必条件。目前，我国住户消费代价观察虽已将个别商品的网上交往代价纳入统计中，但首要采用人为采价的形式，与雄伟的网上交往代价数据比拟，观察的规格品不敷多，对现少见据资源运用率还不高。于是，正在现行的代价统计轨造下，怎样符合收集经济开展更好地运用网上交往代价数据，进一步普及住户消费代价观察的效能及科学性，成为当局代价统计亟须治理的题目。

　　运用网上数据关于代价统计使命拥有紧急意旨。一是网上交往代价数据拥有可获取、音讯量大等特质，有帮于得当推广代价观察实质和普及采价效能，进而普及观察的精准性。同时，网上交往代价因电子商务运动特点颠簸屡次，人为鉴别剔除非代价要素较为繁难，直接将其行使于CPI指数编造也面对必定的挑拨。讨论造成一套将网上交往代价数据科学纳入CPI编造的手法和使命流程拥有较为紧急的表面意旨。二是近年来爬虫身手急速开展，为高效获取和运用网上交往代价数据供应了身手撑持。与人为采价比拟，以爬虫身手获取的网上代价数据做为CPI编造的数据由来，可以节减人为网采偏差，丰饶数据由来，擢升统计效能，对增进当局代价统计进一步美满开展有着紧急施行意旨。

　　本个别以飞机票为讨论案例，采用定性认识与定量认知趣纠合的手法张开。一是采用文件认识法和定性讨论手法，通过对国内国际闭连材料的认识，对相闭飞机票筹办公司举办调研，梳理现有讨论成绩，为本讨论确定讨论对象、讨论途径和手法等供应有益的模仿。二是采用实证讨论、比拟认识等手法，认识爬虫身手获取的网上飞机票代价数据特质和次序，纠合本质从操作层面切磋爬虫身手获取的网上交往代价数据正在CPI统计观察中的行使手法。

　　飞机票的订价机造分为当局辅导价和市集医治价。当局辅导价依照《民航国内航空运输代价改进计划》及一系列调度代价计划同意，航空运输企业正在境表里贩卖国内航路客票时，将以均匀每人每公里0.75元行动国内各航路%、下浮不设限根蒂上自行订价。市集医治价由航空公司依照市集和逐鹿环境自行同意，但需报备民航局，民航局对每个航季可调度的市集医治价航路条数和调度幅度均有仔细规则。航空公司正在同意国内机票代价时实行多品级票价打点，通过收益打点中的舱位怒放，最终决断市集上的售卖代价，即正在全票价根蒂上每个舱位界说分歧的票价扣头。

　　飞机票贩卖形式分为直销和分销。直销是航空公司通过自筑渠道直接贩卖。包罗官网、旗舰店、APP、呼唤核心和柜台；分销是通过第三方渠道贩卖，包罗各家OAT、差旅打点公司、批发商、通常署理人等。有关于直销形式，各大分销公司不单供应了优惠的代价和跨航空公司的比价拔取，还推出观光套餐和团购任职，广受消费者的青睐，市集份额也一度抵达90%。“提直降代”战略出台后，很大水准上局限了机票分销形式范围，目前直销和分销的占比贴近4:6（国内票）。

　　影响飞机票代价的首要要素为供需干系。以供需干系为根蒂，区别航路、时节、工夫、任职等，举办区别、动态调度舱位怒放，显露正在市集上统一航路同天分歧工夫、同月分歧日期、同年分歧月份，贩卖代价分歧。

　　影响供求干系的是非期要素认识。长远看，市集上的运力参加、人丁总量及经济要素是影响机票代价改换的首要要素；短期看，各航空公司正在运力参加根基坚固条件下，高铁、公途等代替品代价、消费者偏好及预期等要素是影响飞机票代价改换的首要要素。此中，消费者需求可分为因公和因私，因公消费特质显露为购票期比力邻近开拔日期，短航路 天内，长航路天内，对代价不敏锐，首要闭怀工夫、任职，对航空公司老实度较高。于是，正在因公客源充斥的京沪等干线天内的代价明显普及。而从周期上看，周六因公客源少，为全民航代价凹地。因私消费特质显露为购票期相对开拔日期较远，但疫情后因私客源的购票期较疫情前也更为邻近，代价敏锐，对航空公司老实度低，节假日出行荟萃，于是春运、国庆、五一等节前、节末顶峰都涌现一票难求景象，机票代价居高不下，而节中错峰出行则可购到优惠票价。

　　归纳以上对飞机票代价特质的认识，可得出飞机票代价表示为长弘远振幅和短期高频率的特点。一是机票代价拥有高度的岁月敏锐性。购票提前量对机票代价影响较大，凡是来说，购票日期隔断开拔日期越远，代价就越低；邻近腾飞日期，机票代价会大幅上涨，这种价差有时能抵达数倍。二是机票代价拥有较强的需求敏锐性。因为机票属于高固定本钱、低边际本钱商品，且短期（或简单班次）需要弹性简直为零，当需求量处于低位时，航空公司只可大幅低重代价，以确保足够的上座率来收回航班的本钱；当需求推广，奇特是遭遇观光旺季和紧急节假日时，航空公司会大幅擢升代价，以赚取更多的利润。三是机票代价拥有踊跃的竞价敏锐性。因为机票市集的高度音讯化和透后化，搭客很容易举办比价，从而“用脚投票”，这导致各航空公司关于逐鹿敌手的代价调度分表敏锐。以逐鹿为导向的订价手法有随行就市订价法、分歧订价法等，固然战略分歧，但都邑用很速的速率做出调价反响。

　　消费者对飞机票的置备活动凡是为提前一段岁月，于是正在爬取飞机票代价数据时需提前一段岁月适宜客观本质。隔断腾飞日期岁月遐迩分歧，飞机票代价将涌现分歧。于是，正在讨论飞机票代价改换次序时必需将消费者置备机票的提前岁月行动限造条款。其它，依照第三方公司反应，正在爬取飞机票代价数据时受到任职器等资源的局限，耗时较长，收集一次数据以至要用一天的岁月。为节减任职器资源占用，擢升统计效能，需通过对飞机票代价运转特点的讨论，从全面大数据当选定个别数据来代表全面数据的运转特点。实证认识的首要方针，是寻找相宜的数据爬取提前岁月和相对经济高效的数据量，从而最大节造响应全面数据音讯。

　　数据获取形式为运用爬虫身手从收集爬取。数据爬取岁月段为从2021年5月15日起，每5天爬取从北京开拔全体航班的飞机票经济舱代价相闭数据。共爬取了10次，共计近25.4万条数据。爬取的数据机闭为幼圭表页面显示的飞机票全体特点字段，包罗航班号、航空公司、开拔地和方针地、开拔机场和方针地机场、腾飞岁月和抵达岁月、经济舱代价、供应商等音讯。

　　源委开端统计，以6月份为例，每天从北京开拔航班数正在956-1288个之间，每天从北京开拔航班抵达的方针地数目正在109-123个之间。5月15日-5月30日收集的航班数目相差较幼，注明正在收集岁月段必定的条件下，提前多少天采价对收集到的数据量影响较幼。航空公司数目相对固定，不会跟着收集的岁月段缩短而节减，注明无数航空公司正在无出格环境下均会平常运转。经济舱均价暴露“降-升-降”特点。

　　源委定性认识发明，大个别消费者会正在提前一周足下以至更长的岁月置备机票，而且依照目前CPI中飞机票采价手法（即每月5日、15日和25日收集下一旬代价），可确定运用抓取的全面数据讨论分袂提前15天、10天和5天时，飞机票月、旬和周均价蜕变。目前CPI的指数编造手法以月均价为根蒂阴谋编造环比、同比和累计指数，于是可通过比拟分歧收集形式的全月均价来确定经济高效的代价数据爬取形式。

　　月均价环境。提前15天、10天和5天收集下个月全面航班经济舱机票代价，即5月15日、5月20日、5月25日和5月30日分袂收集6月份全面数据，分袂阴谋月均价。

　　旬均价环境。从抓取的全面数据平分袂提前5天、10天和15天拣选6月1日-6月10、6月11日-6月20日、6月21日-6月30日每旬的数据，阴谋飞机票旬均价，运用旬均价阴谋全月均价。

　　周均价环境。因为每个月的天数刚巧分成完善的周岁月段，于是从抓取的全面数据平分袂提前15天、10天和5天拣选5月31日-6月6日、6月7日-6月13日、6月14日-6月20日、6月21日-6月27日、6月28日-7月4日每周的数据，阴谋飞机票周均价，运用周均价阴谋全月均价。

　　对分歧数据爬取形式获取的月均价举办比拟。将提前分歧岁月爬取的月均价、三旬均匀的月均价、五周均匀的月均价比拟，结果显示：提前15天爬取数据阴谋出的机票月均价较高且三种形式数据差异较大，提前10天和5天爬取数据阴谋出的机票月均价三种形式差异较幼，提前5天爬取数据阴谋出的月均价相对较低，此中，分袂提前5天爬取每旬代价数据然后阴谋出的月均价最低且每旬之间代价颠簸相对安定。另一方面，正在普通使命中，琢磨使命轻易操作和效能题目，爬取每周的代价操作相对丰富，并且月初和月末周很难割裂成完善的一周，每月收集的数据会存正在偏向；提前5天爬取一个月的数据时月初和月末数据提前岁月分歧较大且月末的数据不适宜消费者购票风气。于是，可确定机票数据爬取形式为分袂提前5天爬取每旬的数据，而且与现行轨造条件相联合。

　　从爬取数据的本质经过来看，全面数据的爬取形式存正在占用任职器资源多、效能低、数据打点丰富等题目，倒霉于长远高频数据爬取。目前正在数据爬取形式确定后，上中下旬爬取的数据量分袂为9886条、10403条和10357条，下一步依照机票特点寻找既代表性强又经济高效的爬取数据参数和数目。试验通过以旬均价走势和月均价为参考变量，观测正在分歧的航空公司、方针地数目下旬均价走势和月均价，并与全面数据旬均价走势和月均价比拟，确定纳入爬取圭表的航空公司和方针地。

　　分歧航空公司数目下旬均价走势和月均价。正在固定了收集岁月后（提前5天收集数据），以得出的总体数据旬均价走势和月均价为轨范，依照航空公司范围巨细、航路数目渐渐剔除数据。如正在数据剔除后，与全面数据旬均价走势和月均价维系相仿，即能够为所剩航空公司及其航路数据能够代表总体。分分歧航空公司阴谋旬均价，拣选上中下三旬均存正在的航空公司，剔除了上旬的重庆航空（20条数据）和中旬的多彩航空（15条数据），经剔除后航空公司每旬有27个，占比力大的有18个，占总数据量正在95%以上。

　　从结果看，占比前3位和前18位的航空公司旬均价及走势与全面航空公司走势相仿、代价秤谌相差较幼。但假如只收集3家航空公司的代价，数据颠簸不妨过大，代表性也不敷强。为了防御航空公司太少惹起数据颠簸大，需得当推广航空公司，于是可确定收集占比前18位的航空公司机票代价。

　　航空公司固定后分歧方针地数目下旬均价走势和月均价。正在确定了拔取占比前18位的航空公司后，上中下旬的数据量分袂为9768条、10233条和10033条。接着依照方针地再剔除个别数据，假如与确定的18个航空公司的旬均价走势和月均价根基贴近，注明数据代表性较高。结果显示，爬取的数据量占比前30位的方针地与确定的18个航空公司机票代价走势相仿，代价秤谌相差较幼。占比前30位方针地上中下旬的数据量分袂为7409、7047和7013条。

　　综上所述，依照住户置备飞机票的提前岁月量、航空公司数目和方针地数目，可确定运用爬虫身手获取飞机票数据的形式为，提前5天收集下一旬数据，收集数据量排名前18位的航空公司中排名前30名的方针地的数据，每旬爬取的数据量正在7000条足下。与现有采价航空公司和航班数目比拟，有了极大的擢升。

　　通过前述基于爬虫身手获取网上飞机票代价数据的定性和实证认识，住户消费代价观察中行使网上爬虫数据能够进一步普及收集频率和代表性，有利于加倍精准地响应某些种别商品和任职的代价改换音讯，但同时也面对着缺乏专业身手撑持和数据打点难度大等繁难。琢磨到以上题目，能够现有观察轨造为根蒂，依照分歧种别商品和任职特质同意分歧的行使计划，渐渐促进爬虫身手所获取网上交往数据正在CPI观察与指数编造中的行使。

　　目前CPI普通观察中，多个根基分类涉及网上数据，如家用电器、飞机票、住宿等，但多以人为正在固定岁月收集网上交往代价。因为人为网采的使命效能较低，网上采价所涉及的规格品数目、品种、收集频率等方面都有必定的局限。相较而言，运用爬虫身手获取网上交往数据的形式，正在收集频率、数据音讯的丰饶水准以及数据质料上有着彰彰的身手上风。

　　网上交往数据依照营业两边的交往环境及时更新，数据更新蜕变屡次。正在现有的人力条款下，依照代表规格品分歧种别人为采价每月收集频率为1-3次，收集频率相对较低，难以响应多变的网上商品代价。爬虫身手获取网上交往数据是通过阴谋机圭表正在网上主动举办数据爬取，能够做到按日收集数据且不受岁月和空间的局限，可以加倍实时、体例地跟踪商品音讯的蜕变。爬虫身手主动收集数据的同时能够及时存储数据，关于互联网多源异构数据，能够针对性采用文本文献、干系型数据库和非干系型数据库举办数据存储，能够将非机闭化数据转换成机闭化的数据，便于数据收集后的认识。与人为采价比拟，代价收集频率和效能可大幅普及。

　　互联网时期，住户的消费活动、企业筹办运动、当局行政活动等爆发的海量数据都被纪录下来。为更好地响应消费形式的蜕变，普及CPI代表性，网上交往代价仍然行使于CPI中，但首要采用人为采价的形式，获取的数据量较幼，商品音讯比力简单。而运用爬虫身手获取网上交往数据时获得的数据量远大、商品音讯丰饶。运用爬虫身手能够获取网上商品的多维音讯，包罗商品的代价、名称、参数、上市岁月、贩卖地、消费人数等；还能够获取非机闭化数据，包罗商批评议等文本音讯、图片音讯、视频音讯等。这些音讯可以更好的辅帮代价观察拣选和更换规格品，并实时剔除网页更调等非代价改换要素。

　　目前获取网上交往数据的途径首要有人为收集和企业报送。人为收集数据时必要将每一笔数据手动纪录，易产生纪录失误；当规格品缺失时，采价职员正在网上找到相宜的更换规格品费时费劲且主观认识较强。运用爬虫身手获取的网上交往数据可主动存储，并且能够依照消费量、商品特点等举办排序，更为便捷的找到相宜的代替规格品，节减主观判定的影响，普及数据确凿性。企业报送数据易受到多种主观要素影响，涌现拒报、迟报、漏报等环境，而爬虫身手可运用圭表主动获取数据，数据可获取性大幅普及。

　　运用爬虫身手获取网上交往数据时，必要打点和存储分歧网站、实质丰饶的大方音讯，既包罗代价数据，还需获取商品的名称、产地、销量等辅帮音讯，以便于后期数据打点和操纵，这就必要参加专业的人力资源和任职器等设置资源。目前获取网上交往数据首要有两种形式，一种是基于成熟圭表措辞的抓取即运用阴谋机成熟的编程效力，编写抓取的圭表代码完成对指定网页或指定实质的抓取；一种是运用现有爬虫软件获取。关于下层统计部分而言，身手力气相对软弱，即使操纵现有的爬虫软件，涌现题目时也很难速即治理，往往花费更多岁月，推广了数据可获取的难度，也很难保证数据的相连性。

　　一是解析网页链接容易导致数据缺失。电商凡是通过打算实质丰饶多彩且极为别致的收集页面来吸引消费者，而云云的页面机闭主意丰富，不行纯洁解析。正在逐级解析网页抓取数据时每每涌现因解析不具备而损失数据的景象。二是网页屡次更替导致数据纷乱。收集贩卖形式轻巧多样，贩卖页面也时常产生蜕变，奇特是正在节假日、促销日等出格功夫，为更好地吸引顾客，网页版面时常会依照专场贩卖改版，这就给依托商品链接抓取数据的爬虫使命带来了挑拨。三是收集本质成交价繁难。CPI收集的是商品的本质成交价，但网上贩卖运动形势多样，包罗秒杀、促销、团购、提前预付定金等贩卖形式司空见惯，并且优惠链接页面机闭丰富。正在运用爬虫身手抓取网上交往代价数据时，很难通过身手主动识别商家运动并抓取最终的本质成交价。

　　纠合爬虫身手获取网上交往数据的上风以及难点，本文试验提出一套将运用爬虫身手获取的网上交往数据行使于CPI观察的使命构念，从而普及统计效能和确凿性、低重观察本钱。

　　最先，确定行使爬虫身手的商品和任职种别。住户消费代价观察要观察的商品和任职包罗8个大类、268个根基分类，跟着网上消费的开展，简直全体种别商品和任职均可完成网上置备。但就CPI观察而言，并不是全体种别商品和任职均有需要通过爬虫身手收集网上代价。比方，个别商品网上消费占比不高，袋装醋、散装食物等仍以线下消费为主，烟等商品不正在网上贩卖。又如，水、电等由当局订价的资源型大多产物改换不屡次，人为采价反而加倍简单。于是，需纠合本质环境，依照住户消费风气、消费量、商品代价特点等，科学选定操纵爬虫身手采价的商种类别。其次，确定爬取数据的根基准则。运用爬虫身手获取网上交往数据时仍旧要保持CPI采价的“三定”准则。即由指定的专业身手职员和CPI统计职员正在固定的岁月段接续爬取统一网站的数据。结果是身手帮帮条款。目前爬虫身手的开展仍然较为成熟，可使费用很高，不管是编造圭表仍旧运用现有的软件，都有很多可供参考的案例。爬虫身手获取网上交往数据存储形势多种多样，首要包罗文本文献，如 TXT、JSON、CSV 等；数据库文献，如干系型数据库SQLite、My SQL、Oracle、SQLSever、DB2等，非干系型数据库Mongo DB、Redis等。

　　计划确定后，由专业身手职员编写圭表或者运用现有的爬虫器材举办数据爬取，阴谋机主动爬取经过中需准时查看治理分表题目，遭遇圭表中缀、数据未实时生存等环境时，需实时更新圭表治理身手困难。正在数据爬取中涌现网页更调、商品音讯改换、商品缺失等出格环境时，必要由专业统计职员依照国度统计局同意的《收集交往代价收集操作举措》举办表率打点。比方，正在商品缺货时需讯断该商品是短促缺货、时节性缺货或者是永远缺货，并依照采价准则确定沿用代价仍旧更换规格品；正在收集的网站（即线上采价点）闭塞时确定新的采价点等。分歧种别商品和任职的采价和规格品更换条件、更调采价点的条件等都有完全轨造规则。这些需由专业的代价统计职员依照条件举办打点，并纪录留存。

　　爬虫身手获取的网上交往数据量远大且商品音讯维度多，必要依照CPI观察轨造条件，琢磨人力和物力等本钱要素，对数据举办洗涤、认识和长远开采，并针对分歧种别商品和任职的代价运转特质，最终确定网上交往数据行使于CPI编造。比方，目前CPI中飞机票代价每月收集3次，每次收集他日10天的代价，而爬虫身手能够做到每天收集固定岁月间隔数据，纠合影响飞机票代价的购票岁月、航班、航空公司以及采价本钱等要素，对网上代价数据举办长远开采，索求出较现行采价频次更高、规格品数目更多的采价形式，从而将其纳入CPI编造中。

　　爬虫身手获取的网上交往数据另有帮于告竣代表规格品和采价点的拣选和更换使命。服从爬取的规格品数据的分歧参数举办排序，能够加倍轻易地找到贩卖量大、代表性强的规格品，正在规格品缺失时可较速找到同质可比的规格品举办更换。其它，爬虫身手效能高，可得当推广网上采价点的数目和类型，既能够普及采价点的代表性又能够正在采价点闭塞时更好地代替原采价点。

　　立异点：一是切磋采用爬虫身手获取飞机票等某一完全种别商品和任职的网上交往代价数据并行使到CPI观察中的手法，索求运用网上交往代价数据相对美满的使命手法和流程，为扩展到CPI其他种别商品和任职供应手法撑持；二是从观察形式、数据源和本钱等方面切磋操纵爬虫身手获取网上代价数据的上风和不敷。

　　不敷：一是数据岁月段较短。受到爬取效能的限造，本次只爬取了10次历时一个多月的数据，数据量较大但涵盖的岁月较短，讨论中仅操纵了一个月的数据，数据不妨涌现必定的偏向。二是依托第三方获取数据。本次讨论借帮于第三方公司来抓取数据，统计体例内职员还未有过自行抓取数据的试验和施行，数据由来存正在不坚固要素。

　　目前，爬虫身手获取的网上交往数据正在CPI中的行使尚处于索求阶段，必要进一步总结经历并实时加以批改。CPI包蕴的商品和任职根基分类多，分歧种别商品和任职代价观察使命存正在分歧，也存正在相通之处。可从某一商品或任职种别入手，索求造成一整套行之有用的使命流程和手法，并渐渐实行到其他种别，扩展行使领域，从而普及统计效能，低重观察本钱。