上海中古住宅取引データモニタリング

 1import requests
 2from flask import Flask
 3from prometheus_client import Gauge, generate_latest, CollectorRegistry
 4
 5app = Flask(__name__)
 6registry = CollectorRegistry()
 7# 中古住宅販売データを格納するためのGaugeメトリックを定義
 8sell_count_gauge = Gauge('shanghai_second_hand_house_sell_count',
 9'上海の中古住宅Sell Count', registry=registry)
10
11@app.route('/metrics')
12def metrics():
13try:
14# Cookie管理用のセッションオブジェクトを作成
15session = requests.Session()
16
17# 初期Cookieを取得するために、まずメインページにアクセス
18main_url = 'https://www.fangdi.com.cn/old_house/old_house.html'
19main_headers = {
20'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36'
21
22session.get(main_url, headers=main_headers)
23
24# リクエストURLを定義
25api_url = 'https://www.fangdi.com.cn/oldhouse/getSHYesterdaySell.action'
26
27# リクエストヘッダーを設定
28headers = {
29'Accept': 'application/json, text/javascript, */*; q=0.01',
30'Accept-Language': 'en-US,en;q=0.9',
31'Connection': 'keep-alive',
32'Content-Type': 'application/x-www-form-urlencoded; charset=utf-8',
33'Origin': 'https://www.fangdi.com.cn',
34'Referer': 'https://www.fangdi.com.cn/old_house/old_house.html',
35'Sec-Fetch-Dest': 'empty',
36'Sec-Fetch-Mode': 'cors',
37'Sec-Fetch-Site': 'same-origin',
38'User-Agent': 'Mozilla/5.0 (X11; Linux) x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36',
39'X-Requested-With': 'XMLHttpRequest',
40'sec-ch-ua': '"Not:A-Brand";v="24", "Chromium";v="134"', 'sec-ch-ua-mobile': '?0',
41'sec-ch-ua-platform': '"Linux"'
42}
43
44# セッションオブジェクトを使用してPOSTリクエストを送信します
45response = session.post(api_url, headers=headers, data="")
46response.raise_for_status()
47
48# JSONレスポンスを解析します
49data = response.json()
50sell_count = data.get('sellcount')
51
52sell_countがNoneでない場合:
53# Gaugeメトリックを設定しますvalue
54sell_count_gauge.set(sell_count)
55# Prometheus形式でメトリクスデータを生成
56metrics_data = generate_latest(registry).decode('utf-8')
57return metrics_data, 200, {'Content-Type': 'text/plain; version=0.0.4; charset=utf-8'}
58else:
59return "取引数量情報が見つかりません", 500
60except requests.RequestException as e:
61return f"リクエストエラー: {e}", 500
62except ValueError:
63return "レスポンスJSONデータを解析できません", 500
64
65if __name__ == '__main__':
66app.run(host='0.0.0.0', port=8000)

 1➜ ershoufang sudo supervisorctl status shanghai
 2[sudo] mephistoのパスワード:
 3shanghai RUNNING pid 781, uptime 2:12:17
 4➜ ershoufang cat /etc/supervisor.d/shanghai.ini
 5[program:shanghai]
 6command=/home/mephisto/github/ershoufang/.venv/bin/python shanghai.py # Flaskプログラムの実際のパスに置き換えてください
 7directory=/home/mephisto/github/ershoufang # Flaskプログラムのパスに置き換えてください プログラムディレクトリ
 8autostart=true
 9autorestart=true
10stderr_logfile=/var/log/app.err.log
11stdout_logfile=/var/log/app.out.log

1➜ ershoufang sudo ss -lntp | grep -E "python|prometheus"
2LISTEN 0 128 0.0.0.0:8000 0.0.0.0:* users:(("python",pid=781,fd=3))
3LISTEN 0 4096 *:9090 *:* users:(("prometheus",pid=796,fd=6))

 1➜ ershoufang sudo cat /etc/prometheus/prometheus.yml
 2# my global設定
 3グローバル:
 4scrape_interval: 30m # スクレイピング間隔を15秒ごとに設定します。デフォルトは1分ごとです。
 5evaluation_interval: 15s # ルールを15秒ごとに評価します。デフォルトは1分ごとです。
 6# scrape_timeout はグローバルのデフォルト（10秒）に設定されています。
 7
 8#Alertmanager の設定
 9alerting:
10alertmanagers:
11- static_configs:
12- targets:
13# - alertmanager:9093
14
15# ルールを一度読み込み、グローバルの 'evaluation_interval' に従って定期的に評価します。
16rule_files:
17# - "first_rules.yml"
18# - "second_rules.yml"
19
20# スクレイピングするエンドポイントを1つだけ含むスクレイピング設定:
21# ここでは Prometheus 自身です。
22scrape_configs:
23# この設定からスクレイピングされるすべての時系列データには、ジョブ名がラベル `job=<job_name>` として追加されます。
24- job_name: "prometheus"
25
26# metrics_path のデフォルトは '/metrics'
27# scheme のデフォルトは 'http'
28
29static_configs:
30- target: ["localhost:9090"]
31
32- job_name: 'shanghai_second_hand_house'
33scrape_interval: 1h
34static_configs:
35- target: ['localhost:8000']