読者です 読者をやめる 読者になる 読者になる

CHUNITHMの設置店舗スクレイピング

設置店舗トップページのURLは以下。
http://chunithm.sega.jp/player/location-tokyo.html

ウィンドウ左側に地方単位でのドロップダウンメニューが出ますが、それぞれ都道府県単位で静的なファイルに(URLの観点からは)見えます。

http://chunithm.sega.jp/player/location-${prefectureName}.html

この${prefectureName}部分が、都道府県名をローマ字表記したもので置き換わる。

hokkaido, aomori, iwate, akita, miyagi, yamagata, fukushima, gunma, tochigi, ibaraki, saitama, chiba, tokyo, kanagawa, yamanashi, niigata, nagano, toyama, ishikawa, fukui, shizuoka, aichi, gifu, mie, shiga, kyoto, nara, osaka, wakayama, hyougo, tottori, okayama, hiroshima, shimane, yamaguchi, tokushima, kagawa, ehime, kochi, fukuoka, oita, saga, nagasaki, miyazaki, kumamoto, kagoshima, okinawa

京都はkyotoなのに、兵庫はhyougoだったりするのは、(maimaiも同様なので)こういうものなのでしょう。

たとえば静岡 location-shizuoka.html を見てみると、

      <!-- メイン -->
      <div id="main_contents">
        <!-- InstanceBeginEditable name="main_contents" -->
        <h2><span class="shizuoka"></span></h2>
        <div id="second_contents">
<div id="location_contents">
            <div class="location_detail">
              <div class="name">■  セガワールド サントムーン  </div>
              <div class="address">  静岡県駿東郡清水町玉川61-2  </div>
  </div>
</div>
<div id="location_contents">
            <div class="location_detail">
              <div class="name">■  楽市楽座サンストリート浜北店  </div>
              <div class="address">  静岡県浜松市浜北区平口2861サンストリート浜北  </div>
  </div>
</div>


        </div>
        <!-- InstanceEndEditable -->
      </div>

<div class="location_detail">要素1つが1店舗で、<div class="name">が店舗名、 <div class="address">が店舗住所です。

HTTP ResponseのLast-Modified:を見ると、当日に稼働開始した店舗情報を21時くらいに整理しているようなスケジューラかもしれません。