為什麼需要 MLOps：模型會過期（實驗場）

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22%E7%82%BA%E4%BB%80%E9%BA%BC%E9%9C%80%E8%A6%81%20MLOps%EF%BC%9A%E6%A8%A1%E5%9E%8B%E6%9C%83%E9%81%8E%E6%9C%9F%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%A7%AA%20%E7%82%BA%E4%BB%80%E9%BA%BC%E9%9C%80%E8%A6%81%20MLOps%EF%BC%9A%E6%A8%A1%E5%9E%8B%E6%9C%83%E9%81%8E%E6%9C%9F%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%9C%AC%E8%AA%B2%E7%9A%84**%E5%AF%A6%E9%A9%97%E5%A0%B4**%E3%80%82%E6%95%99%E5%AD%B8%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%AE%B5%E9%83%BD%E6%9C%89**%E6%BB%91%E6%A1%BF**%E5%8F%AF%E4%BB%A5%E6%8B%89%EF%BC%8C%E6%8B%89%E5%AE%8C%E7%AB%8B%E5%88%BB%E9%87%8D%E8%B7%91%E6%95%B4%E5%80%8B%2024%20%E5%80%8B%E6%9C%88%E7%9A%84%E6%A8%A1%E6%93%AC%EF%BC%8C%E5%9C%96%E8%A1%A8%E7%95%B6%E5%A0%B4%E9%87%8D%E7%95%AB%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E8%A3%A1%E6%B2%92%E6%9C%89%E4%BB%BB%E4%BD%95%E7%B6%B2%E8%B7%AF%E5%91%BC%E5%8F%AB%EF%BC%8C%E4%B9%9F%E6%B2%92%E6%9C%89%E9%A0%90%E9%8C%84%E7%9A%84%E7%95%AB%E9%9D%A2%EF%BC%9A%E6%AF%8F%E5%80%8B%E6%9C%88%E7%9A%84%E8%B3%87%E6%96%99%E6%98%AF%E7%95%B6%E5%A0%B4%E7%94%9F%E6%88%90%E7%9A%84%E3%80%81%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%AC%A1%E9%87%8D%E8%A8%93%E9%83%BD%E6%98%AF%E7%9C%9F%E7%9A%84%E8%A8%93%E7%B7%B4%E4%B8%80%E9%A1%86%20logistic%20regression%E3%80%81%E6%AF%8F%E4%B8%80%E5%80%8B%E6%BA%96%E7%A2%BA%E7%8E%87%E9%83%BD%E6%98%AF%E7%95%B6%E5%A0%B4%E7%AE%97%E5%87%BA%E4%BE%86%E7%9A%84%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E7%A7%91%E5%AD%B8%E5%A5%97%E4%BB%B6%E9%9B%86%E4%B8%AD%E5%9C%A8%E9%80%99%E6%A0%BC%20import%EF%BC%8C%E5%9B%9E%E5%82%B3%E7%B5%A6%E5%85%A8%20notebook%20%E7%94%A8%0A%20%20%20%20from%20functools%20import%20lru_cache%0A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20sklearn.linear_model%20import%20LogisticRegression%0A%0A%20%20%20%20return%20LogisticRegression%2C%20lru_cache%2C%20np%2C%20plt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20%E6%A8%A1%E5%9E%8B%E4%B8%8A%E7%B7%9A%E9%82%A3%E5%A4%A9%EF%BC%8C%E5%B0%B1%E9%96%8B%E5%A7%8B%E9%81%8E%E6%9C%9F%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E4%B8%80%E9%96%93%E5%85%AC%E5%8F%B8%E7%9A%84%2024%20%E5%80%8B%E6%9C%88%E3%80%82%E7%AC%AC%200%20%E5%80%8B%E6%9C%88%E8%A8%93%E7%B7%B4%E5%A5%BD%E4%B8%80%E9%A1%86%E6%A8%A1%E5%9E%8B%EF%BC%88%E5%88%A4%E6%96%B7%E5%AE%A2%E6%88%B6%E6%9C%83%E4%B8%8D%E6%9C%83%E6%B5%81%E5%A4%B1%EF%BC%89%E3%80%81%E4%B8%8A%E7%B7%9A%EF%BC%8C%0A%20%20%20%20**%E7%84%B6%E5%BE%8C%E5%86%8D%E4%B9%9F%E6%B2%92%E6%9C%89%E5%8B%95%E9%81%8E%E5%AE%83**%E3%80%82%E6%AF%8F%E5%80%8B%E6%9C%88%E6%9C%89%20300%20%E4%BD%8D%E6%96%B0%E5%AE%A2%E6%88%B6%E9%80%B2%E4%BE%86%EF%BC%8C%E6%A8%A1%E5%9E%8B%E9%80%90%E4%B8%80%E5%88%A4%E6%96%B7%EF%BC%8C%E6%9C%88%E5%BA%95%E5%B0%8D%E7%AD%94%E6%A1%88%EF%BC%8C%0A%20%20%20%20%E7%AE%97%E5%87%BA%E9%82%A3%E5%80%8B%E6%9C%88%E7%9A%84%E6%BA%96%E7%A2%BA%E7%8E%87%E3%80%82%0A%0A%20%20%20%20%E6%A8%A1%E5%9E%8B%E5%AE%8C%E5%85%A8%E6%B2%92%E6%9C%89%E8%AE%8A%E3%80%82%E8%AE%8A%E7%9A%84%E6%98%AF**%E4%B8%96%E7%95%8C**%E2%80%94%E2%80%94%E5%AE%A2%E6%88%B6%E7%9A%84%E7%B5%84%E6%88%90%E3%80%81%E5%B8%82%E5%A0%B4%E7%9A%84%E8%A6%8F%E5%89%87%E3%80%81%E4%BB%80%E9%BA%BC%E6%A8%A3%E7%9A%84%E4%BA%BA%E6%9C%83%E6%B5%81%E5%A4%B1%EF%BC%8C%0A%20%20%20%20%E9%83%BD%E5%9C%A8%E6%85%A2%E6%85%A2%E7%A7%BB%E5%8B%95%E3%80%82%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A2%9D%E7%B7%9A%E5%B0%B1%E6%98%AF%E5%AE%83%E7%9A%84%E4%B8%8B%E5%A0%B4%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(LogisticRegression%2C%20lru_cache%2C%20np)%3A%0A%20%20%20%20MONTHS%20%3D%2024%20%20%20%20%20%23%20%E6%A8%A1%E6%93%AC%2024%20%E5%80%8B%E6%9C%88%0A%20%20%20%20N%20%3D%20300%20%20%20%20%20%20%20%20%20%23%20%E6%AF%8F%E5%80%8B%E6%9C%88%E9%80%B2%E4%BE%86%20300%20%E4%BD%8D%E5%AE%A2%E6%88%B6%0A%20%20%20%20D%20%3D%206%20%20%20%20%20%20%20%20%20%20%20%23%20%E6%AF%8F%E4%BD%8D%E5%AE%A2%E6%88%B6%206%20%E5%80%8B%E7%89%B9%E5%BE%B5%0A%0A%20%20%20%20%23%20%E8%AA%9E%E7%BE%A9%E8%89%B2%EF%BC%9A%E7%B4%85%EF%BC%9D%E4%B8%8D%E9%87%8D%E8%A8%93%E3%80%81%E8%97%8D%EF%BC%9D%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%E3%80%81%E7%B6%A0%EF%BC%9D%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E3%80%81%E6%A9%98%EF%BC%9D%E6%A8%99%E7%B1%A4%E9%81%B2%E5%88%B0%E3%80%81%E7%B4%AB%EF%BC%9D%E8%B3%87%E6%96%99%E6%BC%82%E7%A7%BB%0A%20%20%20%20C_NONE%2C%20C_PER%2C%20C_MON%2C%20C_LATE%20%3D%20%22%23C44E52%22%2C%20%22%234C72B0%22%2C%20%22%2355A868%22%2C%20%22%23DD8452%22%0A%20%20%20%20C_FLAT%2C%20C_DATA%20%3D%20%22%239A9A9A%22%2C%20%22%238172B3%22%0A%0A%20%20%20%20%40lru_cache(maxsize%3D64)%0A%20%20%20%20def%20world(drift%3D0.12%2C%20shift%3D0.0%2C%20seed%3D0)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E7%94%9F%E4%B8%80%E5%80%8B%2024%20%E5%80%8B%E6%9C%88%E7%9A%84%E4%B8%96%E7%95%8C%E3%80%82%0A%0A%20%20%20%20%20%20%20%20drift%EF%BC%9A%E6%A6%82%E5%BF%B5%E6%BC%82%E7%A7%BB%E2%80%94%E2%80%94%E6%B1%BA%E5%AE%9A%E3%80%8C%E6%9C%83%E4%B8%8D%E6%9C%83%E6%B5%81%E5%A4%B1%E3%80%8D%E7%9A%84%E6%AC%8A%E9%87%8D%E5%90%91%E9%87%8F%E6%AF%8F%E5%80%8B%E6%9C%88%E6%97%8B%E8%BD%89%E4%B8%80%E9%BB%9E%E9%BB%9E%EF%BC%8C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%A6%8F%E5%89%87%E6%9C%AC%E8%BA%AB%E5%9C%A8%E8%AE%8A%EF%BC%88%E7%AD%94%E6%A1%88%E6%94%B9%E4%BA%86%EF%BC%89%EF%BC%8C%E4%BD%86%E9%80%B2%E4%BE%86%E7%9A%84%E5%AE%A2%E6%88%B6%E9%95%B7%E7%9B%B8%E6%B2%92%E8%AE%8A%E3%80%82%0A%20%20%20%20%20%20%20%20shift%EF%BC%9A%E8%B3%87%E6%96%99%E6%BC%82%E7%A7%BB%E2%80%94%E2%80%94%E5%AE%A2%E6%88%B6%E7%9A%84%E7%89%B9%E5%BE%B5%E6%95%B4%E9%AB%94%E5%B9%B3%E7%A7%BB%EF%BC%8C%E9%80%B2%E4%BE%86%E7%9A%84%E4%BA%BA%E8%AE%8A%E4%BA%86%EF%BC%8C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E4%BD%86%E3%80%8C%E4%BB%80%E9%BA%BC%E6%A8%A3%E7%9A%84%E4%BA%BA%E6%9C%83%E6%B5%81%E5%A4%B1%E3%80%8D%E9%80%99%E6%A2%9D%E8%A6%8F%E5%89%87%E6%B2%92%E8%AE%8A%E3%80%82%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20months%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20m%20in%20range(MONTHS)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20theta%20%3D%20drift%20*%20m%0A%20%20%20%20%20%20%20%20%20%20%20%20w%20%3D%20np.array(%5Bnp.cos(theta)%2C%20np.sin(theta)%2C%200.5%2C%20-0.5%2C%200.3%2C%200.0%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20X%20%3D%20rng.normal(0%2C%201%2C%20(N%2C%20D))%20%2B%20shift%20*%20m%20%2F%20MONTHS%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20((X%20%40%20w%20%2B%200.3%20*%20rng.normal(0%2C%201%2C%20N))%20%3E%200).astype(int)%0A%20%20%20%20%20%20%20%20%20%20%20%20months.append((X%2C%20y))%0A%20%20%20%20%20%20%20%20return%20months%0A%0A%20%20%20%20def%20train(month_data)%3A%0A%20%20%20%20%20%20%20%20return%20LogisticRegression().fit(*month_data)%0A%0A%20%20%20%20%40lru_cache(maxsize%3D256)%0A%20%20%20%20def%20run(strategy%3D%22none%22%2C%20drift%3D0.12%2C%20k%3D3%2C%20thr%3D0.85%2C%20delay%3D0%2C%20shift%3D0.0)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E8%B7%91%E5%AE%8C%2024%20%E5%80%8B%E6%9C%88%EF%BC%8C%E5%9B%9E%E5%82%B3%EF%BC%88%E6%AF%8F%E5%80%8B%E6%9C%88%E7%9A%84%E6%BA%96%E7%A2%BA%E7%8E%87%2C%20%E9%87%8D%E8%A8%93%E7%99%BC%E7%94%9F%E5%9C%A8%E5%93%AA%E5%B9%BE%E5%80%8B%E6%9C%88%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%20%20%20%20strategy%EF%BC%9Anone%EF%BC%9D%E4%B8%8D%E9%87%8D%E8%A8%93%EF%BC%8Fperiodic%EF%BC%9D%E6%AF%8F%20k%20%E5%80%8B%E6%9C%88%E9%87%8D%E8%A8%93%EF%BC%8Fmonitor%EF%BC%9D%E6%BA%96%E7%A2%BA%E7%8E%87%E4%BD%8E%E6%96%BC%20thr%20%E6%89%8D%E9%87%8D%E8%A8%93%0A%20%20%20%20%20%20%20%20delay%EF%BC%9A%E6%A8%99%E7%B1%A4%E6%99%9A%E5%B9%BE%E5%80%8B%E6%9C%88%E6%89%8D%E5%88%B0%E2%80%94%E2%80%94%E7%AC%AC%20m%20%E5%80%8B%E6%9C%88%E5%8F%AA%E7%9F%A5%E9%81%93%E7%AC%AC%20m-delay%20%E5%80%8B%E6%9C%88%E7%9A%84%E6%BA%96%E7%A2%BA%E7%8E%87%EF%BC%8C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%80%8C%E4%B8%94%E8%A6%81%E9%87%8D%E8%A8%93%E4%B9%9F%E5%8F%AA%E6%9C%89%E7%AC%AC%20m-delay%20%E5%80%8B%E6%9C%88%E7%9A%84%E8%B3%87%E6%96%99%E6%9C%89%E6%A8%99%E7%B1%A4%E5%8F%AF%E4%BB%A5%E7%94%A8%E3%80%82%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20months%20%3D%20world(drift%2C%20shift)%0A%20%20%20%20%20%20%20%20model%20%3D%20train(months%5B0%5D)%0A%20%20%20%20%20%20%20%20accs%2C%20retrains%20%3D%20%5B%5D%2C%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20m%20in%20range(1%2C%20MONTHS)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20X%2C%20y%20%3D%20months%5Bm%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20accs.append(model.score(X%2C%20y))%20%20%20%20%20%20%20%20%20%20%23%20%E9%80%99%E5%80%8B%E6%9C%88%E6%9C%8D%E5%BD%B9%E4%B8%AD%E7%9A%84%E6%A8%A1%E5%9E%8B%E8%A1%A8%E7%8F%BE%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20strategy%20%3D%3D%20%22periodic%22%20and%20m%20%25%20k%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20train(months%5Bm%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20retrains.append(m)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20strategy%20%3D%3D%20%22monitor%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20seen%20%3D%20m%20-%20delay%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E7%9B%AE%E5%89%8D%E7%9C%8B%E5%BE%97%E5%88%B0%E7%9A%84%E6%9C%80%E6%96%B0%E6%9C%88%E4%BB%BD%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20seen%20%3E%3D%201%20and%20accs%5Bseen%20-%201%5D%20%3C%20thr%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20train(months%5Bseen%5D)%20%20%20%20%20%20%23%20%E5%8F%AA%E6%9C%89%E9%80%99%E5%80%8B%E6%9C%88%E7%9A%84%E8%B3%87%E6%96%99%E6%9C%89%E6%A8%99%E7%B1%A4%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20retrains.append(m)%0A%20%20%20%20%20%20%20%20return%20tuple(accs)%2C%20tuple(retrains)%0A%0A%20%20%20%20%40lru_cache(maxsize%3D8)%0A%20%20%20%20def%20delay_table(drift%3D0.12%2C%20thr%3D0.85%2C%20span%3D7)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E6%A8%99%E7%B1%A4%E5%BB%B6%E9%81%B2%200%E2%80%A6span-1%20%E5%80%8B%E6%9C%88%E5%90%84%E8%B7%91%E4%B8%80%E6%AC%A1%EF%BC%8C%E5%9B%9E%E5%82%B3%EF%BC%88%E5%BB%B6%E9%81%B2%2C%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%2C%20%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%EF%BC%89%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20d%20in%20range(span)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20accs%2C%20retrains%20%3D%20run(%22monitor%22%2C%20drift%3Ddrift%2C%20thr%3Dthr%2C%20delay%3Dd)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append((d%2C%20float(np.mean(accs))%2C%20len(retrains)))%0A%20%20%20%20%20%20%20%20return%20tuple(rows)%0A%0A%20%20%20%20XM%20%3D%20np.arange(1%2C%20MONTHS)%20%20%20%23%20%E5%9C%96%E8%A1%A8%E7%9A%84%20x%20%E8%BB%B8%EF%BC%9A%E4%B8%8A%E7%B7%9A%E5%BE%8C%E7%AC%AC%201%E2%80%A623%20%E5%80%8B%E6%9C%88%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20C_DATA%2C%0A%20%20%20%20%20%20%20%20C_FLAT%2C%0A%20%20%20%20%20%20%20%20C_LATE%2C%0A%20%20%20%20%20%20%20%20C_MON%2C%0A%20%20%20%20%20%20%20%20C_NONE%2C%0A%20%20%20%20%20%20%20%20C_PER%2C%0A%20%20%20%20%20%20%20%20MONTHS%2C%0A%20%20%20%20%20%20%20%20XM%2C%0A%20%20%20%20%20%20%20%20delay_table%2C%0A%20%20%20%20%20%20%20%20run%2C%0A%20%20%20%20%20%20%20%20world%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(C_NONE%2C%20XM%2C%20np%2C%20plt%2C%20run)%3A%0A%20%20%20%20none_accs%20%3D%20np.array(run(%22none%22)%5B0%5D)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(6.4%2C%203.7))%0A%20%20%20%20_ax.plot(XM%2C%20none_accs%2C%20%22o-%22%2C%20color%3DC_NONE%2C%20lw%3D2.2%2C%20ms%3D4.5%2C%20label%3D%22never%20retrained%22)%0A%20%20%20%20_ax.axhline(0.85%2C%20ls%3D%22--%22%2C%20lw%3D1.2%2C%20color%3D%22%238C8C8C%22)%0A%20%20%20%20_ax.text(1.0%2C%200.862%2C%20%22acceptable%20level%200.85%22%2C%20fontsize%3D8.5%2C%20color%3D%22%236B6B6B%22)%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20f%22month%201%3A%20%7Bnone_accs%5B0%5D%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20xy%3D(1%2C%20none_accs%5B0%5D)%2C%20xytext%3D(2.2%2C%200.98)%2C%20fontsize%3D9%2C%0A%20%20%20%20%20%20%20%20arrowprops%3D%7B%22arrowstyle%22%3A%20%22-%3E%22%2C%20%22color%22%3A%20%22%236B6B6B%22%2C%20%22lw%22%3A%201%7D%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20f%22month%2023%3A%20%7Bnone_accs%5B-1%5D%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20xy%3D(23%2C%20none_accs%5B-1%5D)%2C%20xytext%3D(15.5%2C%200.40)%2C%20fontsize%3D9%2C%0A%20%20%20%20%20%20%20%20arrowprops%3D%7B%22arrowstyle%22%3A%20%22-%3E%22%2C%20%22color%22%3A%20%22%236B6B6B%22%2C%20%22lw%22%3A%201%7D%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.set_xlabel(%22months%20after%20launch%22)%0A%20%20%20%20_ax.set_ylabel(%22accuracy%20of%20that%20month%22)%0A%20%20%20%20_ax.set_title(%22Same%20model%2C%20changing%20world%22)%0A%20%20%20%20_ax.set_ylim(0.33%2C%201.03)%0A%20%20%20%20_ax.set_xticks(%5B1%2C%204%2C%208%2C%2012%2C%2016%2C%2020%2C%2023%5D)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20(none_accs%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20none_accs)%3A%0A%20%20%20%20_pick%20%3D%20%5B1%2C%206%2C%2012%2C%2018%2C%2023%5D%0A%20%20%20%20_rows%20%3D%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20f%22%20%20%20%20%7C%20%E7%AC%AC%20%7B_m%7D%20%E5%80%8B%E6%9C%88%20%7C%20%7Bnone_accs%5B_m%20-%201%5D%3A.2f%7D%20%7C%22%20for%20_m%20in%20_pick%0A%20%20%20%20)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%20%20%20%20%7C%20%E4%B8%8A%E7%B7%9A%E5%BE%8C%20%7C%20%E9%82%A3%E5%80%8B%E6%9C%88%E7%9A%84%E6%BA%96%E7%A2%BA%E7%8E%87%20%7C%0A%20%20%20%20%20%20%20%20%7C---%7C---%3A%7C%0A%20%20%20%20%7B_rows%7D%0A%0A%20%20%20%20%20%20%20%20%E7%AC%AC%201%20%E5%80%8B%E6%9C%88%20**%7Bnone_accs%5B0%5D%3A.2f%7D**%EF%BC%8C%E7%AC%AC%2023%20%E5%80%8B%E6%9C%88%20**%7Bnone_accs%5B-1%5D%3A.2f%7D**%EF%BC%8C%0A%20%20%20%20%20%20%20%2024%20%E5%80%8B%E6%9C%88%E7%9A%84%E5%B9%B3%E5%9D%87%E6%98%AF%20**%7Bnone_accs.mean()%3A.3f%7D**%E2%80%94%E2%80%94%E4%B8%80%E5%80%8B%E4%B8%9F%E9%8A%85%E6%9D%BF%E7%9A%84%E6%A8%A1%E5%9E%8B%E6%98%AF%200.50%E3%80%82%0A%0A%20%20%20%20%20%20%20%20%E6%B3%A8%E6%84%8F%E9%80%99%E6%AE%B5%E6%9C%9F%E9%96%93%E7%99%BC%E7%94%9F%E4%BA%86%E4%BB%80%E9%BA%BC%E4%BA%8B%EF%BC%9A**%E6%B2%92%E6%9C%89**%E3%80%82%E6%B2%92%E6%9C%89%E7%95%B6%E6%A9%9F%E3%80%81%E6%B2%92%E6%9C%89%E5%99%B4%E9%8C%AF%E8%AA%A4%E3%80%81%E6%B2%92%E6%9C%89%E5%8D%8A%E5%A4%9C%E7%9A%84%E5%91%8A%E8%AD%A6%E7%B0%A1%E8%A8%8A%E3%80%82%0A%20%20%20%20%20%20%20%20%E5%AE%83%E6%AF%8F%E5%A4%A9%E9%83%BD%E6%B4%BB%E8%91%97%E3%80%81%E6%AF%8F%E5%A4%A9%E7%85%A7%E5%B8%B8%E5%9B%9E%E7%AD%94%EF%BC%8C%E5%8F%AA%E6%98%AF%E7%AD%94%E6%A1%88%E8%B6%8A%E4%BE%86%E8%B6%8A%E5%B8%B8%E6%98%AF%E9%8C%AF%E7%9A%84%E3%80%82%0A%20%20%20%20%20%20%20%20%E9%80%99%E6%98%AF%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%E7%B3%BB%E7%B5%B1%E6%9C%80%E5%8D%B1%E9%9A%AA%E7%9A%84%E5%A4%B1%E6%95%97%E6%96%B9%E5%BC%8F%EF%BC%9A**%E5%AE%83%E6%9C%83%E5%AE%89%E9%9D%9C%E5%9C%B0%E7%88%9B%E6%8E%89**%E3%80%82%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20%E4%B8%96%E7%95%8C%E6%80%8E%E9%BA%BC%E8%AE%8A%EF%BC%9A%E5%85%A9%E7%A8%AE%E6%BC%82%E7%A7%BB%0A%0A%20%20%20%20%E3%80%8C%E4%B8%96%E7%95%8C%E8%AE%8A%E4%BA%86%E3%80%8D%E6%9C%89%E5%85%A9%E7%A8%AE%E5%AE%8C%E5%85%A8%E4%B8%8D%E5%90%8C%E7%9A%84%E8%AE%8A%E6%B3%95%EF%BC%8C%E5%88%86%E6%B8%85%E6%A5%9A%E5%AE%83%E5%80%91%EF%BC%8C%E4%BD%A0%E6%89%8D%E7%9F%A5%E9%81%93%E8%A6%81%E7%9B%A3%E6%8E%A7%E4%BB%80%E9%BA%BC%EF%BC%9A%0A%0A%20%20%20%20-%20**%E8%B3%87%E6%96%99%E6%BC%82%E7%A7%BB**%EF%BC%9A%E9%80%B2%E4%BE%86%E7%9A%84**%E8%B3%87%E6%96%99**%E8%AE%8A%E4%BA%86%EF%BC%8C%E4%BD%86%E3%80%8C%E4%BB%80%E9%BA%BC%E7%AD%94%E6%A1%88%E6%89%8D%E5%B0%8D%E3%80%8D%E7%9A%84%E8%A6%8F%E5%89%87%E6%B2%92%E8%AE%8A%E3%80%82%0A%20%20%20%20%20%20%E5%83%8F%E6%98%AF%E8%80%83%E5%8D%B7%E7%9A%84%E9%A1%8C%E5%9E%8B%E5%88%86%E4%BD%88%E8%AE%8A%E4%BA%86%EF%BC%88%E4%BB%A5%E5%89%8D%E4%B8%80%E5%8D%8A%E4%BB%A3%E6%95%B8%E4%B8%80%E5%8D%8A%E5%B9%BE%E4%BD%95%EF%BC%8C%E7%8F%BE%E5%9C%A8%E4%B9%9D%E6%88%90%E5%B9%BE%E4%BD%95%EF%BC%89%EF%BC%8C%E8%A7%A3%E9%A1%8C%E6%96%B9%E6%B3%95%E9%82%84%E6%98%AF%E5%90%8C%E4%B8%80%E5%A5%97%E3%80%82%0A%20%20%20%20-%20**%E6%A6%82%E5%BF%B5%E6%BC%82%E7%A7%BB**%EF%BC%9A**%E8%A6%8F%E5%89%87%E6%9C%AC%E8%BA%AB**%E8%AE%8A%E4%BA%86%E3%80%82%E5%90%8C%E4%B8%80%E5%BC%B5%E8%80%83%E5%8D%B7%E3%80%81%E5%90%8C%E4%B8%80%E9%A1%8C%EF%BC%8C%E6%A8%99%E6%BA%96%E7%AD%94%E6%A1%88%E6%94%B9%E4%BA%86%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E4%B8%89%E5%80%8B%E4%B8%96%E7%95%8C%E8%B7%91%E5%90%8C%E4%B8%80%E4%BB%B6%E4%BA%8B%E2%80%94%E2%80%94%E8%A8%93%E7%B7%B4%E4%B8%80%E6%AC%A1%E3%80%81%E4%B9%8B%E5%BE%8C%E4%B8%8D%E9%87%8D%E8%A8%93%E2%80%94%E2%80%94%E5%B7%AE%E5%88%A5%E5%8F%AA%E5%9C%A8%E4%B8%96%E7%95%8C%E6%80%8E%E9%BA%BC%E8%AE%8A%E3%80%82%0A%20%20%20%20%E4%B8%8A%E5%8D%8A%E5%BC%B5%E5%9C%96%E6%98%AF%E6%AF%8F%E5%80%8B%E6%9C%88%E7%9A%84%E6%BA%96%E7%A2%BA%E7%8E%87%EF%BC%8C%E4%B8%8B%E5%8D%8A%E5%BC%B5%E5%9C%96%E6%98%AF**%E9%80%B2%E4%BE%86%E7%9A%84%E8%B3%87%E6%96%99%E6%9C%AC%E8%BA%AB**%EF%BC%88%E7%AC%AC%E4%B8%80%E5%80%8B%E7%89%B9%E5%BE%B5%E7%9A%84%E6%9C%88%E5%B9%B3%E5%9D%87%EF%BC%89%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(C_DATA%2C%20C_FLAT%2C%20C_NONE%2C%20MONTHS%2C%20XM%2C%20np%2C%20plt%2C%20run%2C%20world)%3A%0A%20%20%20%20_worlds%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22world%20does%20not%20change%22%2C%20%7B%22drift%22%3A%200.0%7D%2C%20C_FLAT%2C%20%22-%22)%2C%0A%20%20%20%20%20%20%20%20(%22data%20drift%20only%22%2C%20%7B%22drift%22%3A%200.0%2C%20%22shift%22%3A%201.5%7D%2C%20C_DATA%2C%20%22-%22)%2C%0A%20%20%20%20%20%20%20%20(%22concept%20drift%22%2C%20%7B%22drift%22%3A%200.12%7D%2C%20C_NONE%2C%20%22-%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20drift_stats%20%3D%20%7B%7D%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(2%2C%201%2C%20figsize%3D(6.4%2C%206.4))%0A%20%20%20%20for%20_name%2C%20_kw%2C%20_color%2C%20_ls%20in%20_worlds%3A%0A%20%20%20%20%20%20%20%20_accs%20%3D%20np.array(run(%22none%22%2C%20**_kw)%5B0%5D)%0A%20%20%20%20%20%20%20%20_months%20%3D%20world(_kw.get(%22drift%22%2C%200.0)%2C%20_kw.get(%22shift%22%2C%200.0))%0A%20%20%20%20%20%20%20%20_f0%20%3D%20%5Bfloat(_months%5B_m%5D%5B0%5D%5B%3A%2C%200%5D.mean())%20for%20_m%20in%20range(MONTHS)%5D%0A%20%20%20%20%20%20%20%20_pos%20%3D%20%5Bfloat(_months%5B_m%5D%5B1%5D.mean())%20for%20_m%20in%20range(MONTHS)%5D%0A%20%20%20%20%20%20%20%20drift_stats%5B_name%5D%20%3D%20(_accs.mean()%2C%20_accs%5B-1%5D%2C%20_f0%5B0%5D%2C%20_f0%5B-1%5D%2C%20_pos%5B0%5D%2C%20_pos%5B-1%5D)%0A%20%20%20%20%20%20%20%20_lw%2C%20_alpha%20%3D%20(4.0%2C%200.45)%20if%20_color%20%3D%3D%20C_FLAT%20else%20(2.2%2C%201.0)%0A%20%20%20%20%20%20%20%20_axes%5B0%5D.plot(XM%2C%20_accs%2C%20%22-%22%2C%20color%3D_color%2C%20lw%3D_lw%2C%20alpha%3D_alpha%2C%20label%3D_name)%0A%20%20%20%20%20%20%20%20_axes%5B1%5D.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.arange(MONTHS)%2C%20_f0%2C%20%22-%22%2C%20color%3D_color%2C%20lw%3D_lw%2C%20alpha%3D_alpha%2C%20label%3D_name%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_axes%5B0%5D.set_xlabel(%22months%20after%20launch%22)%0A%20%20%20%20_axes%5B0%5D.set_ylabel(%22accuracy%22)%0A%20%20%20%20_axes%5B0%5D.set_title(%22Accuracy%3A%20only%20concept%20drift%20hurts%22)%0A%20%20%20%20_axes%5B0%5D.set_ylim(0.33%2C%201.03)%0A%20%20%20%20_axes%5B0%5D.legend(fontsize%3D8.5%2C%20loc%3D%22lower%20left%22)%0A%20%20%20%20_axes%5B0%5D.grid(alpha%3D0.3)%0A%20%20%20%20_axes%5B1%5D.set_xlabel(%22month%22)%0A%20%20%20%20_axes%5B1%5D.set_ylabel(%22mean%20of%20feature%201%22)%0A%20%20%20%20_axes%5B1%5D.set_title(%22The%20incoming%20data%3A%20only%20data%20drift%20is%20visible%20here%22)%0A%20%20%20%20_axes%5B1%5D.legend(fontsize%3D8.5%2C%20loc%3D%22upper%20left%22)%0A%20%20%20%20_axes%5B1%5D.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20(drift_stats%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(drift_stats%2C%20mo)%3A%0A%20%20%20%20_n%20%3D%20drift_stats%5B%22world%20does%20not%20change%22%5D%0A%20%20%20%20_d%20%3D%20drift_stats%5B%22data%20drift%20only%22%5D%0A%20%20%20%20_c%20%3D%20drift_stats%5B%22concept%20drift%22%5D%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%7C%20%E4%B8%96%E7%95%8C%20%7C%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%20%7C%20%E9%80%B2%E4%BE%86%E7%9A%84%E8%B3%87%E6%96%99%E6%9C%89%E6%B2%92%E6%9C%89%E8%AE%8A%20%7C%0A%20%20%20%20%7C---%7C---%3A%7C---%7C%0A%20%20%20%20%7C%20%E5%AE%8C%E5%85%A8%E4%B8%8D%E8%AE%8A%20%7C%20%7B_n%5B0%5D%3A.3f%7D%20%7C%20%E6%B2%92%E6%9C%89%EF%BC%88%E7%89%B9%E5%BE%B5%E5%9D%87%E5%80%BC%20%7B_n%5B2%5D%3A%2B.2f%7D%20%E2%86%92%20%7B_n%5B3%5D%3A%2B.2f%7D%EF%BC%89%20%7C%0A%20%20%20%20%7C%20**%E5%8F%AA%E6%9C%89%E8%B3%87%E6%96%99%E6%BC%82%E7%A7%BB**%20%7C%20**%7B_d%5B0%5D%3A.3f%7D**%20%7C%20%E8%AE%8A%E5%BE%88%E5%A4%9A%EF%BC%88%E7%89%B9%E5%BE%B5%E5%9D%87%E5%80%BC%20%7B_d%5B2%5D%3A%2B.2f%7D%20%E2%86%92%20%7B_d%5B3%5D%3A%2B.2f%7D%EF%BC%8C%E6%B5%81%E5%A4%B1%E6%AF%94%E4%BE%8B%20%7B_d%5B4%5D%3A.0%25%7D%20%E2%86%92%20%7B_d%5B5%5D%3A.0%25%7D%EF%BC%89%20%7C%0A%20%20%20%20%7C%20**%E6%A6%82%E5%BF%B5%E6%BC%82%E7%A7%BB**%20%7C%20**%7B_c%5B0%5D%3A.3f%7D**%20%7C%20%E5%B9%BE%E4%B9%8E%E6%B2%92%E8%AE%8A%EF%BC%88%E7%89%B9%E5%BE%B5%E5%9D%87%E5%80%BC%20%7B_c%5B2%5D%3A%2B.2f%7D%20%E2%86%92%20%7B_c%5B3%5D%3A%2B.2f%7D%EF%BC%89%20%7C%0A%0A%20%20%20%20%E5%85%A9%E5%80%8B%E5%BE%88%E9%81%95%E5%8F%8D%E7%9B%B4%E8%A6%BA%E3%80%81%E4%BD%86%E4%BD%A0%E4%B8%80%E5%AE%9A%E8%A6%81%E8%A8%98%E4%BD%8F%E7%9A%84%E7%B5%90%E6%9E%9C%EF%BC%9A%0A%0A%20%20%20%20**%E4%B8%80%E3%80%81%E5%8F%AA%E6%9C%89%E8%B3%87%E6%96%99%E6%BC%82%E7%A7%BB%E6%99%82%EF%BC%8C%E6%BA%96%E7%A2%BA%E7%8E%87%E6%B2%92%E6%8E%89**%EF%BC%88%7B_d%5B0%5D%3A.3f%7D%EF%BC%8C%E7%94%9A%E8%87%B3%E6%AF%94%E4%B8%96%E7%95%8C%E5%AE%8C%E5%85%A8%E4%B8%8D%E8%AE%8A%E7%9A%84%20%7B_n%5B0%5D%3A.3f%7D%20%E9%82%84%E9%AB%98%E4%B8%80%E9%BB%9E%EF%BC%89%E3%80%82%0A%20%20%20%20%E5%9B%A0%E7%82%BA%E8%A6%8F%E5%89%87%E6%B2%92%E8%AE%8A%EF%BC%8C%E6%A8%A1%E5%9E%8B%E5%AD%B8%E5%88%B0%E7%9A%84%E9%82%A3%E6%A2%9D%E7%B7%9A%E9%82%84%E6%98%AF%E5%B0%8D%E7%9A%84%EF%BC%8C%E5%8F%AA%E6%98%AF%E9%80%B2%E4%BE%86%E7%9A%84%E4%BA%BA%E6%95%B4%E6%89%B9%E7%A7%BB%E5%88%B0%E4%BA%86%E5%AE%83%E7%9A%84%E4%B8%80%E5%81%B4%E3%80%82%0A%20%20%20%20**%E6%BA%96%E7%A2%BA%E7%8E%87%E6%B2%92%E6%8E%89%EF%BC%8C%E4%B8%8D%E4%BB%A3%E8%A1%A8%E6%B2%92%E4%BA%8B**%E2%80%94%E2%80%94%E9%80%99%E5%80%8B%E6%A8%A1%E5%9E%8B%E6%AD%A3%E5%9C%A8%E6%9C%8D%E5%8B%99%E4%B8%80%E7%BE%A4%E8%B7%9F%E8%A8%93%E7%B7%B4%E6%99%82%E5%AE%8C%E5%85%A8%E4%B8%8D%E4%B8%80%E6%A8%A3%E7%9A%84%E5%AE%A2%E6%88%B6%EF%BC%8C%0A%20%20%20%20%E8%80%8C%E5%AE%83%E5%BE%9E%E6%B2%92%E8%A2%AB%E6%AA%A2%E6%9F%A5%E9%81%8E%E5%9C%A8%E9%80%99%E7%BE%A4%E4%BA%BA%E8%BA%AB%E4%B8%8A%E6%BA%96%E4%B8%8D%E6%BA%96%E3%80%82%0A%0A%20%20%20%20**%E4%BA%8C%E3%80%81%E6%A6%82%E5%BF%B5%E6%BC%82%E7%A7%BB%E6%99%82%EF%BC%8C%E8%B3%87%E6%96%99%E7%9C%8B%E8%B5%B7%E4%BE%86%E4%B8%80%E5%88%87%E6%AD%A3%E5%B8%B8%E3%80%82**%E4%B8%8B%E5%8D%8A%E5%BC%B5%E5%9C%96%E7%9A%84%E7%B4%85%E7%B7%9A%E5%B9%BE%E4%B9%8E%E6%98%AF%E5%B9%B3%E7%9A%84%E2%80%94%E2%80%94%0A%20%20%20%20%E4%BD%A0%E7%9B%AF%E8%91%97%E8%BC%B8%E5%85%A5%E8%B3%87%E6%96%99%E7%9C%8B%E5%88%B0%E5%A4%A9%E4%BA%AE%E4%B9%9F%E7%9C%8B%E4%B8%8D%E5%87%BA%E7%95%B0%E7%8B%80%EF%BC%8C%E6%BA%96%E7%A2%BA%E7%8E%87%E5%8D%BB%E5%B7%B2%E7%B6%93%E8%85%B0%E6%96%AC%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E5%85%A9%E4%BB%B6%E4%BA%8B%E5%90%88%E8%B5%B7%E4%BE%86%EF%BC%8C%E6%B1%BA%E5%AE%9A%E4%BA%86%E4%BD%A0%E8%A6%81%E7%9B%A3%E6%8E%A7%E4%BB%80%E9%BA%BC%EF%BC%9A%0A%0A%20%20%20%20-%20%E8%B3%87%E6%96%99%E6%BC%82%E7%A7%BB**%E4%B8%8D%E9%9C%80%E8%A6%81%E6%A8%99%E7%B1%A4**%E5%B0%B1%E7%9C%8B%E5%BE%97%E8%A6%8B%EF%BC%88%E6%AF%94%E5%B0%8D%E8%BC%B8%E5%85%A5%E5%88%86%E4%BD%88%EF%BC%8C%E4%BB%8A%E5%A4%A9%E5%B0%B1%E8%83%BD%E7%AE%97%EF%BC%89%E2%80%94%E2%80%94%E5%AE%83%E6%98%AF%E6%97%A9%E6%9C%9F%E8%AD%A6%E8%A8%8A%E3%80%82%0A%20%20%20%20-%20%E6%A6%82%E5%BF%B5%E6%BC%82%E7%A7%BB**%E5%8F%AA%E6%9C%89%E6%8B%BF%E5%88%B0%E6%A8%99%E7%B1%A4%E3%80%81%E7%AE%97%E5%87%BA%E6%BA%96%E7%A2%BA%E7%8E%87**%E6%89%8D%E6%9C%83%E7%8F%BE%E5%BD%A2%E2%80%94%E2%80%94%E6%89%80%E4%BB%A5%E4%BD%A0%E5%BF%85%E9%A0%88%E6%9C%89%E5%9C%B0%E6%96%B9**%E6%8C%81%E7%BA%8C%E8%A8%98%E9%8C%84%E6%AF%8F%E5%80%8B%E6%9C%88%E7%9A%84%E6%BA%96%E7%A2%BA%E7%8E%87**%E3%80%82%0A%0A%20%20%20%20%E7%AC%AC%E4%BA%8C%E9%BB%9E%E5%B0%B1%E6%98%AF%E9%80%99%E5%80%8B%E7%B3%BB%E5%88%97%E7%AC%AC%201%20%E8%AA%B2%E8%A6%81%E8%A7%A3%E6%B1%BA%E7%9A%84%E4%BA%8B%E3%80%82%E5%85%88%E7%9C%8B%E6%B2%92%E6%9C%89%E5%AE%83%E6%9C%83%E6%80%8E%E6%A8%A3%EF%BC%9A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20%E4%B8%89%E7%A8%AE%E7%AD%96%E7%95%A5%EF%BC%9A%E4%B8%8D%E9%87%8D%E8%A8%93%EF%BC%8F%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%EF%BC%8F%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%0A%0A%20%20%20%20%E7%9F%A5%E9%81%93%E6%A8%A1%E5%9E%8B%E6%9C%83%E9%81%8E%E6%9C%9F%E4%B9%8B%E5%BE%8C%EF%BC%8C%E5%8F%AA%E5%89%A9%E4%B8%80%E5%80%8B%E5%95%8F%E9%A1%8C%EF%BC%9A**%E4%BB%80%E9%BA%BC%E6%99%82%E5%80%99%E9%87%8D%E8%A8%93%EF%BC%9F**%20%E4%B8%89%E7%A8%AE%E5%81%9A%E6%B3%95%EF%BC%9A%0A%0A%20%20%20%20%7C%20%E7%AD%96%E7%95%A5%20%7C%20%E5%81%9A%E6%B3%95%20%7C%20%E7%99%BD%E8%A9%B1%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20**%E4%B8%8D%E9%87%8D%E8%A8%93**%20%7C%20%E8%A8%93%E7%B7%B4%E4%B8%80%E6%AC%A1%EF%BC%8C%E6%B0%B8%E9%81%A0%E4%B8%8D%E5%8B%95%20%7C%20%E3%80%8C%E5%AE%83%E4%B8%8A%E7%B7%9A%E7%9A%84%E6%99%82%E5%80%99%E5%BE%88%E6%BA%96%E5%95%8A%E3%80%8D%20%7C%0A%20%20%20%20%7C%20**%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93**%20%7C%20%E6%AF%8F%20k%20%E5%80%8B%E6%9C%88%E9%87%8D%E8%A8%93%E4%B8%80%E6%AC%A1%EF%BC%8C%E4%B8%8D%E7%AE%A1%E6%BA%96%E4%B8%8D%E6%BA%96%20%7C%20%E3%80%8C%E6%AF%8F%E5%AD%A3%E5%9B%BA%E5%AE%9A%E8%B7%91%E4%B8%80%E6%AC%A1%E3%80%8D%20%7C%0A%20%20%20%20%7C%20**%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC**%20%7C%20%E6%BA%96%E7%A2%BA%E7%8E%87%E6%8E%89%E5%88%B0%E9%96%80%E6%AA%BB%E4%BB%A5%E4%B8%8B%E6%89%8D%E9%87%8D%E8%A8%93%20%7C%20%E3%80%8C%E6%8E%89%E4%BA%86%E5%86%8D%E8%AA%AA%E3%80%8D%20%7C%0A%0A%20%20%20%20%E4%B8%89%E6%A0%B9%E6%BB%91%E6%A1%BF%EF%BC%9A**%E4%B8%96%E7%95%8C%E8%AE%8A%E5%BE%97%E5%A4%9A%E5%BF%AB**%EF%BC%88%E6%A6%82%E5%BF%B5%E6%BC%82%E7%A7%BB%E7%9A%84%E9%80%9F%E5%BA%A6%EF%BC%89%E3%80%81**%E5%A4%9A%E4%B9%85%E9%87%8D%E8%A8%93%E4%B8%80%E6%AC%A1**%E3%80%81**%E6%BA%96%E7%A2%BA%E7%8E%87%E9%96%80%E6%AA%BB**%E3%80%82%0A%20%20%20%20%E6%8B%89%E5%8B%95%E4%BB%BB%E4%BD%95%E4%B8%80%E6%A0%B9%EF%BC%8C%E4%B8%89%E6%A2%9D%E6%9B%B2%E7%B7%9A%E8%88%87%E4%B8%8B%E9%9D%A2%E7%9A%84%E8%A1%A8%E6%A0%BC%E6%9C%83%E6%95%B4%E7%B5%84%E9%87%8D%E7%AE%97%E3%80%82%E4%B8%89%E8%A7%92%E5%BD%A2%E6%A8%99%E8%A8%98%EF%BC%9D%E9%82%A3%E5%80%8B%E6%9C%88%E5%81%9A%E4%BA%86%E4%B8%80%E6%AC%A1%E9%87%8D%E8%A8%93%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20drift_s%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D0.13%2C%20step%3D0.01%2C%20value%3D0.12%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E4%B8%96%E7%95%8C%E8%AE%8A%E5%BE%97%E5%A4%9A%E5%BF%AB%EF%BC%88%E6%A6%82%E5%BF%B5%E6%BC%82%E7%A7%BB%E9%80%9F%E5%BA%A6%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20k_s%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D12%2C%20step%3D1%2C%20value%3D3%2C%20label%3D%22%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%EF%BC%9A%E6%AF%8F%E5%B9%BE%E5%80%8B%E6%9C%88%E4%B8%80%E6%AC%A1%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20thr_s%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.70%2C%20stop%3D0.95%2C%20step%3D0.05%2C%20value%3D0.85%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%EF%BC%9A%E6%BA%96%E7%A2%BA%E7%8E%87%E9%96%80%E6%AA%BB%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bdrift_s%2C%20mo.hstack(%5Bk_s%2C%20thr_s%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%5D)%0A%20%20%20%20return%20drift_s%2C%20k_s%2C%20thr_s%0A%0A%0A%40app.cell%0Adef%20_(C_MON%2C%20C_NONE%2C%20C_PER%2C%20XM%2C%20drift_s%2C%20k_s%2C%20plt%2C%20run%2C%20thr_s)%3A%0A%20%20%20%20cmp_drift%20%3D%20round(drift_s.value%2C%202)%0A%20%20%20%20cmp_k%20%3D%20int(k_s.value)%0A%20%20%20%20cmp_thr%20%3D%20round(thr_s.value%2C%202)%0A%20%20%20%20cmp_runs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22none%22%3A%20run(%22none%22%2C%20drift%3Dcmp_drift)%2C%0A%20%20%20%20%20%20%20%20%22periodic%22%3A%20run(%22periodic%22%2C%20drift%3Dcmp_drift%2C%20k%3Dcmp_k)%2C%0A%20%20%20%20%20%20%20%20%22monitor%22%3A%20run(%22monitor%22%2C%20drift%3Dcmp_drift%2C%20thr%3Dcmp_thr)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(6.4%2C%204.2))%0A%20%20%20%20for%20_key%2C%20_color%2C%20_label%20in%20%5B%0A%20%20%20%20%20%20%20%20(%22none%22%2C%20C_NONE%2C%20%22never%20retrained%22)%2C%0A%20%20%20%20%20%20%20%20(%22periodic%22%2C%20C_PER%2C%20f%22every%20%7Bcmp_k%7D%20months%22)%2C%0A%20%20%20%20%20%20%20%20(%22monitor%22%2C%20C_MON%2C%20f%22retrain%20when%20acc%20%3C%20%7Bcmp_thr%3A.2f%7D%22)%2C%0A%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20_accs%2C%20_retrains%20%3D%20cmp_runs%5B_key%5D%0A%20%20%20%20%20%20%20%20_ax.plot(XM%2C%20_accs%2C%20%22-%22%2C%20color%3D_color%2C%20lw%3D2.2%2C%20label%3D_label)%0A%20%20%20%20%20%20%20%20if%20_retrains%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20list(_retrains)%2C%20%5B1.005%5D%20*%20len(_retrains)%2C%20%22v%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D_color%2C%20ms%3D6.5%2C%20clip_on%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax.axhline(cmp_thr%2C%20ls%3D%22--%22%2C%20lw%3D1.1%2C%20color%3DC_MON%2C%20alpha%3D0.6)%0A%20%20%20%20_ax.set_xlabel(%22months%20after%20launch%22)%0A%20%20%20%20_ax.set_ylabel(%22accuracy%20of%20that%20month%22)%0A%20%20%20%20_ax.set_title(%22Three%20strategies%2C%20same%20world%20(triangles%20%3D%20a%20retrain)%22)%0A%20%20%20%20_ax.set_ylim(0.33%2C%201.03)%0A%20%20%20%20_ax.set_xticks(%5B1%2C%204%2C%208%2C%2012%2C%2016%2C%2020%2C%2023%5D)%0A%20%20%20%20_ax.legend(fontsize%3D8.5%2C%20loc%3D%22lower%20left%22)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20cmp_drift%2C%20cmp_k%2C%20cmp_runs%2C%20cmp_thr%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(cmp_drift%2C%20cmp_k%2C%20cmp_runs%2C%20cmp_thr%2C%20mo%2C%20np)%3A%0A%20%20%20%20_labels%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22none%22%3A%20%22%E4%B8%8D%E9%87%8D%E8%A8%93%22%2C%0A%20%20%20%20%20%20%20%20%22periodic%22%3A%20f%22%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%EF%BC%88%E6%AF%8F%20%7Bcmp_k%7D%20%E5%80%8B%E6%9C%88%EF%BC%89%22%2C%0A%20%20%20%20%20%20%20%20%22monitor%22%3A%20f%22%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%EF%BC%88%E9%96%80%E6%AA%BB%20%7Bcmp_thr%3A.2f%7D%EF%BC%89%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_base%20%3D%20float(np.mean(cmp_runs%5B%22none%22%5D%5B0%5D))%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_key%20in%20%5B%22none%22%2C%20%22periodic%22%2C%20%22monitor%22%5D%3A%0A%20%20%20%20%20%20%20%20_accs%2C%20_retrains%20%3D%20cmp_runs%5B_key%5D%0A%20%20%20%20%20%20%20%20_mean%20%3D%20float(np.mean(_accs))%0A%20%20%20%20%20%20%20%20_gain%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B(_mean%20-%20_base)%20%2F%20len(_retrains)%20*%20100%3A%2B.1f%7D%20%E5%80%8B%E7%99%BE%E5%88%86%E9%BB%9E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_retrains%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%E2%80%94%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%20%20%20%7C%20%7B_labels%5B_key%5D%7D%20%7C%20%7B_mean%3A.3f%7D%20%7C%20%7Bmin(_accs)%3A.3f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Blen(_retrains)%7D%20%E6%AC%A1%20%7C%20%7B_gain%7D%20%7C%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_table%20%3D%20%22%5Cn%22.join(_rows)%0A%20%20%20%20_mon_mean%20%3D%20float(np.mean(cmp_runs%5B%22monitor%22%5D%5B0%5D))%0A%20%20%20%20_per_mean%20%3D%20float(np.mean(cmp_runs%5B%22periodic%22%5D%5B0%5D))%0A%20%20%20%20_mon_n%20%3D%20len(cmp_runs%5B%22monitor%22%5D%5B1%5D)%0A%20%20%20%20_per_n%20%3D%20len(cmp_runs%5B%22periodic%22%5D%5B1%5D)%0A%20%20%20%20_verdict%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22%E7%9B%AE%E5%89%8D%E9%80%99%E7%B5%84%E8%A8%AD%E5%AE%9A%E4%B8%8B%EF%BC%8C**%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E7%94%A8%20%7B_mon_n%7D%20%E6%AC%A1%E9%87%8D%E8%A8%93%E6%8B%BF%E5%88%B0%20%7B_mon_mean%3A.3f%7D**%EF%BC%8C%22%0A%20%20%20%20%20%20%20%20f%22%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%E7%94%A8%20%7B_per_n%7D%20%E6%AC%A1%E6%8B%BF%E5%88%B0%20%7B_per_mean%3A.3f%7D%E3%80%82%22%0A%20%20%20%20%20%20%20%20if%20_mon_n%20%3C%3D%20_per_n%0A%20%20%20%20%20%20%20%20else%20f%22%E7%9B%AE%E5%89%8D%E9%80%99%E7%B5%84%E8%A8%AD%E5%AE%9A%E4%B8%8B%EF%BC%8C**%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E5%8F%8D%E8%80%8C%E5%81%9A%E4%BA%86%20%7B_mon_n%7D%20%E6%AC%A1%E9%87%8D%E8%A8%93**%EF%BC%88%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%E5%8F%AA%E5%81%9A%20%7B_per_n%7D%20%E6%AC%A1%EF%BC%89%22%0A%20%20%20%20%20%20%20%20f%22%E2%80%94%E2%80%94%E9%96%80%E6%AA%BB%E6%8B%89%E5%A4%AA%E9%AB%98%EF%BC%8C%E7%AD%89%E6%96%BC%E6%AF%8F%E5%80%8B%E6%9C%88%E9%83%BD%E5%9C%A8%E9%87%8D%E8%A8%93%E3%80%82%22%0A%20%20%20%20)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%20%20%20%20%E4%B8%96%E7%95%8C%E8%AE%8A%E5%8C%96%E9%80%9F%E5%BA%A6%20%7Bcmp_drift%3A.2f%7D%EF%BC%9A%0A%0A%20%20%20%20%20%20%20%20%7C%20%E7%AD%96%E7%95%A5%20%7C%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%20%7C%20%E6%9C%80%E4%BD%8E%E7%9A%84%E4%B8%80%E5%80%8B%E6%9C%88%20%7C%20%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%20%7C%20%E6%AF%8F%E6%AC%A1%E9%87%8D%E8%A8%93%E5%B9%B3%E5%9D%87%E8%B2%B7%E5%88%B0%20%7C%0A%20%20%20%20%20%20%20%20%7C---%7C---%3A%7C---%3A%7C---%3A%7C---%3A%7C%0A%20%20%20%20%7B_table%7D%0A%0A%20%20%20%20%20%20%20%20%7B_verdict%7D%0A%0A%20%20%20%20%20%20%20%20**%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%E5%B0%B1%E6%98%AF%E6%88%90%E6%9C%AC**%E2%80%94%E2%80%94%E7%AE%97%E5%8A%9B%E3%80%81%E5%B7%A5%E7%A8%8B%E5%B8%AB%E7%9A%84%E6%99%82%E9%96%93%E3%80%81%E6%AF%8F%E4%B8%80%E6%AC%A1%E4%B8%8A%E7%B7%9A%E7%9A%84%E9%A2%A8%E9%9A%AA%E3%80%82%0A%20%20%20%20%20%20%20%20%E6%89%80%E4%BB%A5%E9%80%99%E5%BC%B5%E8%A1%A8%E8%A6%81%E4%B8%80%E8%B5%B7%E7%9C%8B%E5%85%A9%E6%AC%84%EF%BC%9A%E6%8B%BF%E5%88%B0%E5%A4%9A%E5%B0%91%E6%BA%96%E7%A2%BA%E7%8E%87%EF%BC%8C%E4%BB%98%E5%87%BA%E5%A4%9A%E5%B0%91%E6%AC%A1%E9%87%8D%E8%A8%93%E3%80%82%0A%20%20%20%20%20%20%20%20%E6%8A%8A%E9%96%80%E6%AA%BB%E6%8B%89%E5%88%B0%200.95%20%E8%A9%A6%E8%A9%A6%EF%BC%8C%E4%BD%A0%E6%9C%83%E7%9C%8B%E5%88%B0%E5%AE%83%E8%AE%8A%E6%88%90%E3%80%8C%E6%AF%8F%E5%80%8B%E6%9C%88%E9%83%BD%E9%87%8D%E8%A8%93%E3%80%8D%EF%BC%9B%0A%20%20%20%20%20%20%20%20%E6%8B%89%E5%88%B0%200.70%EF%BC%8C%E5%AE%83%E5%B9%BE%E4%B9%8E%E4%B8%8D%E5%8B%95%EF%BC%8C%E4%BD%86%E5%B9%B3%E5%9D%87%E6%8E%89%E5%BE%97%E5%BE%88%E9%9B%A3%E7%9C%8B%E3%80%82%0A%20%20%20%20%20%20%20%20**%E9%96%80%E6%AA%BB%E5%A4%AA%E9%AB%98%EF%BC%9D%E5%A4%A9%E5%A4%A9%E9%87%8D%E8%A8%93%EF%BC%8C%E5%A4%AA%E4%BD%8E%EF%BC%9D%E6%8E%89%E5%88%B0%E5%BE%88%E6%85%98%E6%89%8D%E6%95%91**%E2%80%94%E2%80%94%E4%B8%AD%E9%96%93%E9%82%A3%E5%80%8B%E7%94%9C%E8%9C%9C%E9%BB%9E%E5%9C%A8%E4%BD%A0%E8%87%AA%E5%B7%B1%E7%9A%84%E6%88%90%E6%9C%AC%E7%B5%90%E6%A7%8B%E8%A3%A1%E3%80%82%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20%E6%A8%99%E7%B1%A4%E7%B8%BD%E6%98%AF%E9%81%B2%E5%88%B0%0A%0A%20%20%20%20%E4%B8%8A%E4%B8%80%E6%AE%B5%E7%9A%84%E3%80%8C%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E3%80%8D%E5%81%B7%E8%97%8F%E4%BA%86%E4%B8%80%E5%80%8B%E5%BE%88%E7%94%9C%E7%9A%84%E5%81%87%E8%A8%AD%EF%BC%9A**%E9%80%99%E5%80%8B%E6%9C%88%E6%BA%96%E4%B8%8D%E6%BA%96%EF%BC%8C%E9%80%99%E5%80%8B%E6%9C%88%E6%9C%88%E5%BA%95%E5%B0%B1%E7%9F%A5%E9%81%93**%E3%80%82%0A%0A%20%20%20%20%E7%9C%9F%E5%AF%A6%E4%B8%96%E7%95%8C%E5%BE%88%E5%B0%91%E9%80%99%E6%A8%A3%E3%80%82%E4%BD%A0%E8%A6%81%E7%AD%89%E5%AE%A2%E6%88%B6%E7%9C%9F%E7%9A%84%E8%A7%A3%E7%B4%84%E3%80%81%E7%AD%89%E5%B8%B3%E5%96%AE%E7%9C%9F%E7%9A%84%E9%80%BE%E6%9C%9F%E3%80%81%E7%AD%89%E7%97%85%E4%BA%BA%E7%9C%9F%E7%9A%84%E5%9B%9E%E8%A8%BA%EF%BC%8C%0A%20%20%20%20%E7%AD%94%E6%A1%88%E6%89%8D%E6%9C%83%E6%8F%AD%E6%9B%89%E2%80%94%E2%80%94%E6%A8%99%E7%B1%A4%E6%99%9A%E5%B9%BE%E5%80%8B%E6%9C%88%E6%98%AF%E5%B8%B8%E6%85%8B%E3%80%82%E8%80%8C%E6%A8%99%E7%B1%A4%E9%81%B2%E5%88%B0%E6%9C%83**%E5%90%8C%E6%99%82**%E9%80%A0%E6%88%90%E5%85%A9%E4%BB%B6%E4%BA%8B%EF%BC%9A%0A%0A%20%20%20%201.%20**%E8%AD%A6%E5%A0%B1%E9%81%B2%E5%88%B0**%EF%BC%9A%E7%AC%AC%2012%20%E5%80%8B%E6%9C%88%E7%9A%84%E6%BA%96%E7%A2%BA%E7%8E%87%EF%BC%8C%E4%BD%A0%E7%AC%AC%2015%20%E5%80%8B%E6%9C%88%E6%89%8D%E7%9F%A5%E9%81%93%EF%BC%8C%E9%82%A3%E6%99%82%E5%B7%B2%E7%B6%93%E7%88%9B%E4%BA%86%E4%B8%89%E5%80%8B%E6%9C%88%E3%80%82%0A%20%20%20%202.%20**%E6%95%99%E6%9D%90%E4%B9%9F%E9%81%8E%E6%9C%9F**%EF%BC%9A%E8%A6%81%E9%87%8D%E8%A8%93%EF%BC%8C%E5%8F%AA%E6%9C%89%E3%80%8C%E6%9C%89%E6%A8%99%E7%B1%A4%E3%80%8D%E7%9A%84%E8%B3%87%E6%96%99%E8%83%BD%E7%94%A8%E3%80%82%E4%BD%A0%E6%89%8B%E4%B8%8A%E6%9C%80%E6%96%B0%E7%9A%84%E6%9C%89%E6%A8%99%E7%B1%A4%E8%B3%87%E6%96%99%E4%B9%9F%E6%98%AF%E4%B8%89%E5%80%8B%E6%9C%88%E5%89%8D%E7%9A%84%0A%20%20%20%20%20%20%20%E2%80%94%E2%80%94%E9%87%8D%E8%A8%93%E5%87%BA%E4%BE%86%E7%9A%84%E6%A8%A1%E5%9E%8B**%E4%B8%80%E5%87%BA%E7%94%9F%E5%B0%B1%E8%90%BD%E5%BE%8C%E4%B8%89%E5%80%8B%E6%9C%88**%E3%80%82%0A%0A%20%20%20%20%E6%8B%89%E9%80%99%E6%A0%B9%E6%BB%91%E6%A1%BF%EF%BC%8C%E7%9C%8B%E5%85%A9%E4%BB%B6%E4%BA%8B%E4%B8%80%E8%B5%B7%E7%99%BC%E7%94%9F%EF%BC%88%E4%B8%8A%E5%8D%8A%E5%BC%B5%E5%9C%96%EF%BC%89%EF%BC%9B%E4%B8%8B%E5%8D%8A%E5%BC%B5%E5%9C%96%E6%98%AF%E6%AF%8F%E4%B8%80%E7%A8%AE%E5%BB%B6%E9%81%B2%E7%9A%84%E5%B9%B3%E5%9D%87%E6%88%90%E7%B8%BE%EF%BC%88%E7%81%B0%E7%B7%9A%E6%98%AF%E3%80%8C%E6%AF%8F%206%20%E5%80%8B%E6%9C%88%E5%9B%BA%E5%AE%9A%E9%87%8D%E8%A8%93%E3%80%8D%E7%9A%84%E6%B0%B4%E6%BA%96%EF%BC%89%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20delay_s%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%20stop%3D6%2C%20step%3D1%2C%20value%3D3%2C%20label%3D%22%E6%A8%99%E7%B1%A4%E6%99%9A%E5%B9%BE%E5%80%8B%E6%9C%88%E6%89%8D%E6%8B%BF%E5%88%B0%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20delay_s%0A%20%20%20%20return%20(delay_s%2C)%0A%0A%0A%40app.cell%0Adef%20_(C_FLAT%2C%20C_LATE%2C%20C_MON%2C%20C_NONE%2C%20XM%2C%20delay_s%2C%20delay_table%2C%20np%2C%20plt%2C%20run)%3A%0A%20%20%20%20lag%20%3D%20int(delay_s.value)%0A%20%20%20%20lag_fast%20%3D%20run(%22monitor%22%2C%20delay%3D0)%0A%20%20%20%20lag_slow%20%3D%20run(%22monitor%22%2C%20delay%3Dlag)%0A%20%20%20%20lag_per6%20%3D%20run(%22periodic%22%2C%20k%3D6)%0A%20%20%20%20lag_rows%20%3D%20delay_table()%0A%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(2%2C%201%2C%20figsize%3D(6.4%2C%206.6))%0A%20%20%20%20_axes%5B0%5D.plot(XM%2C%20run(%22none%22)%5B0%5D%2C%20%22-%22%2C%20color%3DC_NONE%2C%20lw%3D1.6%2C%20alpha%3D0.55%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22never%20retrained%22)%0A%20%20%20%20_axes%5B0%5D.plot(XM%2C%20lag_fast%5B0%5D%2C%20%22-%22%2C%20color%3DC_MON%2C%20lw%3D2.2%2C%20label%3D%22labels%20arrive%20at%20once%22)%0A%20%20%20%20_axes%5B0%5D.plot(XM%2C%20lag_slow%5B0%5D%2C%20%22-%22%2C%20color%3DC_LATE%2C%20lw%3D2.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22labels%20%7Blag%7D%20months%20late%22)%0A%20%20%20%20_axes%5B0%5D.set_xlabel(%22months%20after%20launch%22)%0A%20%20%20%20_axes%5B0%5D.set_ylabel(%22accuracy%20of%20that%20month%22)%0A%20%20%20%20_axes%5B0%5D.set_title(%22Monitoring%20with%20late%20labels%22)%0A%20%20%20%20_axes%5B0%5D.set_ylim(0.33%2C%201.03)%0A%20%20%20%20_axes%5B0%5D.set_xticks(%5B1%2C%204%2C%208%2C%2012%2C%2016%2C%2020%2C%2023%5D)%0A%20%20%20%20_axes%5B0%5D.legend(fontsize%3D8.5%2C%20loc%3D%22lower%20left%22)%0A%20%20%20%20_axes%5B0%5D.grid(alpha%3D0.3)%0A%0A%20%20%20%20_ds%20%3D%20%5B_r%5B0%5D%20for%20_r%20in%20lag_rows%5D%0A%20%20%20%20_means%20%3D%20%5B_r%5B1%5D%20for%20_r%20in%20lag_rows%5D%0A%20%20%20%20_counts%20%3D%20%5B_r%5B2%5D%20for%20_r%20in%20lag_rows%5D%0A%20%20%20%20_colors%20%3D%20%5BC_LATE%20if%20_d%20%3D%3D%20lag%20else%20%22%23D9CFC4%22%20for%20_d%20in%20_ds%5D%0A%20%20%20%20_bars%20%3D%20_axes%5B1%5D.bar(_ds%2C%20_means%2C%20color%3D_colors%2C%20edgecolor%3D%22%237A6E62%22%2C%20linewidth%3D0.8)%0A%20%20%20%20for%20_d%2C%20_m%2C%20_c%20in%20zip(_ds%2C%20_means%2C%20_counts)%3A%0A%20%20%20%20%20%20%20%20_axes%5B1%5D.text(_d%2C%20_m%20%2B%200.006%2C%20f%22%7B_c%7Dx%22%2C%20ha%3D%22center%22%2C%20fontsize%3D8.5%2C%20color%3D%22%234A4A4A%22)%0A%20%20%20%20_axes%5B1%5D.axhline(float(np.mean(lag_per6%5B0%5D))%2C%20ls%3D%22--%22%2C%20lw%3D1.3%2C%20color%3DC_FLAT)%0A%20%20%20%20_axes%5B1%5D.text(%0A%20%20%20%20%20%20%20%206.45%2C%20float(np.mean(lag_per6%5B0%5D))%20%2B%200.008%2C%0A%20%20%20%20%20%20%20%20f%22blind%20retrain%20every%206%20months%20(%7Blen(lag_per6%5B1%5D)%7Dx)%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D8.5%2C%20color%3D%22%236B6B6B%22%2C%20ha%3D%22right%22%2C%0A%20%20%20%20)%0A%20%20%20%20_axes%5B1%5D.set_xlabel(%22how%20many%20months%20late%20the%20labels%20are%22)%0A%20%20%20%20_axes%5B1%5D.set_ylabel(%22mean%20accuracy%22)%0A%20%20%20%20_axes%5B1%5D.set_title(%22Late%20labels%3A%20worse%20results%2C%20more%20retrains%20(Nx%20%3D%20retrain%20count)%22)%0A%20%20%20%20_axes%5B1%5D.set_ylim(0.70%2C%200.95)%0A%20%20%20%20_axes%5B1%5D.grid(alpha%3D0.3%2C%20axis%3D%22y%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20lag%2C%20lag_fast%2C%20lag_per6%2C%20lag_rows%2C%20lag_slow%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(lag%2C%20lag_fast%2C%20lag_per6%2C%20lag_rows%2C%20lag_slow%2C%20mo%2C%20np)%3A%0A%20%20%20%20_fast_m%20%3D%20float(np.mean(lag_fast%5B0%5D))%0A%20%20%20%20_slow_m%20%3D%20float(np.mean(lag_slow%5B0%5D))%0A%20%20%20%20_per_m%20%3D%20float(np.mean(lag_per6%5B0%5D))%0A%20%20%20%20_table%20%3D%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20f%22%20%20%20%20%7C%20%E6%99%9A%20%7B_d%7D%20%E5%80%8B%E6%9C%88%20%7C%20%7B_m%3A.3f%7D%20%7C%20%7B_c%7D%20%E6%AC%A1%20%7C%22%20for%20_d%2C%20_m%2C%20_c%20in%20lag_rows%0A%20%20%20%20)%0A%20%20%20%20_now%20%3D%20(%0A%20%20%20%20%20%20%20%20%22%E6%A8%99%E7%B1%A4%E5%8D%B3%E6%99%82%E5%88%B0%E4%BD%8D%E2%80%94%E2%80%94%E9%80%99%E6%98%AF%E4%B8%8A%E4%B8%80%E6%AE%B5%E7%9A%84%E7%90%86%E6%83%B3%E7%8B%80%E6%B3%81%E3%80%82%22%0A%20%20%20%20%20%20%20%20if%20lag%20%3D%3D%200%0A%20%20%20%20%20%20%20%20else%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%E6%A8%99%E7%B1%A4%E6%99%9A%20%7Blag%7D%20%E5%80%8B%E6%9C%88%EF%BC%9A%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%E5%BE%9E%20**%7B_fast_m%3A.3f%7D**%20%E6%8E%89%E5%88%B0%20**%7B_slow_m%3A.3f%7D**%EF%BC%8C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%E5%8D%BB%E5%BE%9E%20%7Blen(lag_fast%5B1%5D)%7D%20%E6%AC%A1%E8%AE%8A%E6%88%90%20**%7Blen(lag_slow%5B1%5D)%7D%20%E6%AC%A1**%E2%80%94%E2%80%94%E5%8F%88%E6%85%A2%E5%8F%88%E5%BF%99%E3%80%82%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20_lose%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22%E8%80%8C%E4%B8%94%E7%9C%8B%E4%B8%8B%E5%8D%8A%E5%BC%B5%E5%9C%96%E7%9A%84%E7%81%B0%E7%B7%9A%EF%BC%9A%E5%BB%B6%E9%81%B2%20%7Blag%7D%20%E5%80%8B%E6%9C%88%E7%9A%84%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%EF%BC%88%7B_slow_m%3A.3f%7D%EF%BC%89%22%0A%20%20%20%20%20%20%20%20f%22**%E5%B7%B2%E7%B6%93%E8%BC%B8%E7%B5%A6%E4%BB%80%E9%BA%BC%E9%83%BD%E4%B8%8D%E7%9C%8B%E3%80%81%E6%AF%8F%206%20%E5%80%8B%E6%9C%88%E5%9B%BA%E5%AE%9A%E9%87%8D%E8%A8%93%E4%B8%80%E6%AC%A1**%EF%BC%88%7B_per_m%3A.3f%7D%EF%BC%8C%E5%8F%AA%E5%81%9A%20%22%0A%20%20%20%20%20%20%20%20f%22%7Blen(lag_per6%5B1%5D)%7D%20%E6%AC%A1%E9%87%8D%E8%A8%93%EF%BC%89%E3%80%82%22%0A%20%20%20%20%20%20%20%20if%20_slow_m%20%3C%20_per_m%0A%20%20%20%20%20%20%20%20else%20f%22%E7%9B%AE%E5%89%8D%E5%AE%83%E9%82%84%E8%B4%8F%E9%81%8E%E3%80%8C%E6%AF%8F%206%20%E5%80%8B%E6%9C%88%E5%9B%BA%E5%AE%9A%E9%87%8D%E8%A8%93%E4%B8%80%E6%AC%A1%E3%80%8D%EF%BC%88%7B_per_m%3A.3f%7D%EF%BC%8C%22%0A%20%20%20%20%20%20%20%20f%22%7Blen(lag_per6%5B1%5D)%7D%20%E6%AC%A1%E9%87%8D%E8%A8%93%EF%BC%89%E2%80%94%E2%80%94%E6%8A%8A%E6%BB%91%E6%A1%BF%E5%86%8D%E5%BE%80%E5%8F%B3%E6%8B%89%EF%BC%8C%E7%9C%8B%E5%AE%83%E4%BB%80%E9%BA%BC%E6%99%82%E5%80%99%E8%BC%B8%E6%8E%89%E3%80%82%22%0A%20%20%20%20)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%20%20%20%20%7C%20%E6%A8%99%E7%B1%A4%E5%BB%B6%E9%81%B2%20%7C%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%20%7C%20%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%20%7C%0A%20%20%20%20%20%20%20%20%7C---%7C---%3A%7C---%3A%7C%0A%20%20%20%20%7B_table%7D%0A%0A%20%20%20%20%20%20%20%20%7B_now%7D%0A%0A%20%20%20%20%20%20%20%20%7B_lose%7D%0A%0A%20%20%20%20%20%20%20%20%E7%82%BA%E4%BB%80%E9%BA%BC%E5%BB%B6%E9%81%B2%E6%9C%83%E8%AE%93%E9%87%8D%E8%A8%93**%E8%AE%8A%E5%A4%9A**%EF%BC%9F%E5%9B%A0%E7%82%BA%E6%AF%8F%E6%AC%A1%E9%87%8D%E8%A8%93%E7%94%A8%E7%9A%84%E9%83%BD%E6%98%AF%E9%81%8E%E6%9C%9F%E6%95%99%E6%9D%90%EF%BC%8C%E6%A8%A1%E5%9E%8B%E4%B8%80%E5%87%BA%E7%94%9F%E5%B0%B1%E8%90%BD%E5%BE%8C%EF%BC%8C%0A%20%20%20%20%20%20%20%20%E5%BE%88%E5%BF%AB%E5%8F%88%E8%B7%8C%E7%A0%B4%E9%96%80%E6%AA%BB%EF%BC%8C%E6%96%BC%E6%98%AF%E5%86%8D%E9%87%8D%E8%A8%93%E4%B8%80%E6%AC%A1%E2%80%94%E2%80%94**%E8%BF%BD%E8%91%97%E8%87%AA%E5%B7%B1%E7%9A%84%E5%BD%B1%E5%AD%90%E8%B7%91**%E3%80%82%0A%0A%20%20%20%20%20%20%20%20%E6%89%80%E4%BB%A5%E7%9C%9F%E5%AF%A6%E5%B0%88%E6%A1%88%E7%9A%84%E7%AC%AC%E4%B8%80%E5%80%8B%E5%95%8F%E9%A1%8C%E5%BE%80%E5%BE%80%E4%B8%8D%E6%98%AF%E3%80%8C%E8%A6%81%E7%94%A8%E4%BB%80%E9%BA%BC%E6%BC%94%E7%AE%97%E6%B3%95%E3%80%8D%EF%BC%8C%E8%80%8C%E6%98%AF%0A%20%20%20%20%20%20%20%20**%E3%80%8C%E6%88%91%E7%9A%84%E6%A8%99%E7%B1%A4%E5%A4%9A%E4%B9%85%E6%9C%83%E5%88%B0%EF%BC%9F%E3%80%8D**%E2%80%94%E2%80%94%E9%80%99%E5%80%8B%E6%95%B8%E5%AD%97%E6%B1%BA%E5%AE%9A%E4%BA%86%E4%BD%A0%E7%9A%84%E7%9B%A3%E6%8E%A7%E5%80%BC%E4%B8%8D%E5%80%BC%E5%BE%97%E5%81%9A%E3%80%81%0A%20%20%20%20%20%20%20%20%E6%B1%BA%E5%AE%9A%E4%BA%86%E4%BD%A0%E8%A9%B2%E4%B8%8D%E8%A9%B2%E4%B9%BE%E8%84%86%E6%94%B9%E7%94%A8%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%EF%BC%8C%E4%B9%9F%E6%B1%BA%E5%AE%9A%E4%BA%86%E4%BD%A0%E8%A6%81%E4%B8%8D%E8%A6%81%E8%8A%B1%E9%8C%A2%E5%8E%BB%E8%B2%B7%E6%9B%B4%E5%BF%AB%E7%9A%84%E6%A8%99%E7%B1%A4%0A%20%20%20%20%20%20%20%20%EF%BC%88%E4%BA%BA%E5%B7%A5%E6%8A%BD%E6%A8%A3%E6%A8%99%E8%A8%BB%E3%80%81%E6%89%BE%E4%BB%A3%E7%90%86%E6%8C%87%E6%A8%99%EF%BC%89%E3%80%82%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205%EF%B8%8F%E2%83%A3%20%E3%80%8C%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E3%80%8D%E8%A6%81%E7%9C%9F%E7%9A%84%E8%B7%91%E8%B5%B7%E4%BE%86%EF%BC%8C%E9%9C%80%E8%A6%81%E4%BA%94%E5%80%8B%E9%9B%B6%E4%BB%B6%0A%0A%20%20%20%20%E5%88%B0%E9%80%99%E8%A3%A1%E4%BD%A0%E5%B7%B2%E7%B6%93%E7%9F%A5%E9%81%93%E6%AD%A3%E7%A2%BA%E7%AD%94%E6%A1%88%E9%95%B7%E4%BB%80%E9%BA%BC%E6%A8%A3%EF%BC%9A**%E6%8C%81%E7%BA%8C%E7%9C%8B%E8%91%97%E6%BA%96%E7%A2%BA%E7%8E%87%EF%BC%8C%E8%A9%B2%E9%87%8D%E8%A8%93%E7%9A%84%E6%99%82%E5%80%99%E9%87%8D%E8%A8%93%EF%BC%8C%0A%20%20%20%20%E8%80%8C%E4%B8%94%E8%A6%81%E7%A2%BA%E5%AE%9A%E6%96%B0%E6%A8%A1%E5%9E%8B%E7%9C%9F%E7%9A%84%E6%AF%94%E8%88%8A%E7%9A%84%E5%A5%BD**%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E5%8F%A5%E8%A9%B1%E8%AC%9B%E8%B5%B7%E4%BE%86%E4%B8%80%E7%A7%92%EF%BC%8C%E5%81%9A%E8%B5%B7%E4%BE%86%E9%9C%80%E8%A6%81%E4%BA%94%E6%A8%A3%E6%9D%B1%E8%A5%BF%E2%80%94%E2%80%94%E6%AF%8F%E4%B8%80%E6%A8%A3%E5%B0%B1%E6%98%AF%E9%80%99%E5%80%8B%E7%B3%BB%E5%88%97%E7%9A%84%E4%B8%80%E8%AA%B2%EF%BC%9A%0A%0A%20%20%20%20%7C%20%E4%BD%A0%E9%9C%80%E8%A6%81%20%7C%20%E6%B2%92%E6%9C%89%E5%AE%83%E6%9C%83%E7%99%BC%E7%94%9F%E4%BB%80%E9%BA%BC%20%7C%20%E9%80%99%E5%80%8B%E7%B3%BB%E5%88%97%E7%9A%84%E5%93%AA%E4%B8%80%E8%AA%B2%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20%E6%AF%8F%E6%AC%A1%E8%A8%93%E7%B7%B4%E7%9A%84%E8%A8%AD%E5%AE%9A%E8%88%87%E6%8C%87%E6%A8%99**%E7%95%99%E5%BE%97%E4%B8%8B%E7%B4%80%E9%8C%84%E3%80%81%E6%9F%A5%E5%BE%97%E5%9B%9E%E4%BE%86**%20%7C%20%E4%BD%A0%E6%A0%B9%E6%9C%AC%E4%B8%8D%E7%9F%A5%E9%81%93%E6%98%AF%E7%AC%AC%E5%B9%BE%E5%80%8B%E6%9C%88%E9%96%8B%E5%A7%8B%E6%8E%89%E7%9A%84%EF%BC%8C%E4%B9%9F%E4%B8%8D%E7%9F%A5%E9%81%93%E7%95%B6%E6%99%82%E7%94%A8%E4%BA%86%E4%BB%80%E9%BA%BC%E5%8F%83%E6%95%B8%20%7C%20**01%20MLflow%20%E5%AF%A6%E9%A9%97%E8%BF%BD%E8%B9%A4**%20%7C%0A%20%20%20%20%7C%20%E6%A8%A1%E5%9E%8B%E6%9C%89**%E7%89%88%E6%9C%AC**%EF%BC%8C%E6%96%B0%E8%88%8A%E8%83%BD%E6%AF%94%E8%BC%83%EF%BC%8C%E8%83%BD%E4%B8%80%E8%A1%8C%E6%8F%9B%E4%B8%8A%E5%8E%BB%E3%80%81%E6%8F%9B%E9%8C%AF%E8%83%BD%E9%80%80%E5%9B%9E%20%7C%20%E9%87%8D%E8%A8%93%E5%87%BA%E4%B8%80%E9%A1%86%E6%96%B0%E6%A8%A1%E5%9E%8B%EF%BC%8C%E4%BD%86%E4%B8%8D%E6%95%A2%E6%8F%9B%EF%BC%8C%E5%9B%A0%E7%82%BA%E4%B8%8D%E7%9F%A5%E9%81%93%E5%AE%83%E6%AF%94%E8%88%8A%E7%9A%84%E5%A5%BD%E9%82%84%E5%A3%9E%20%7C%20**02%20MLflow%20Models%20%E8%88%87%20Registry**%20%7C%0A%20%20%20%20%7C%20%E3%80%8C%E5%8F%96%E8%B3%87%E6%96%99%20%E2%86%92%20%E8%A8%93%E7%B7%B4%20%E2%86%92%20%E8%A9%95%E4%BC%B0%E3%80%8D%E6%98%AF%E4%B8%80%E5%BC%B5**%E7%9C%8B%E5%BE%97%E6%87%82%E7%9A%84%E5%9C%96**%EF%BC%8C%E4%B8%8D%E6%98%AF%E6%95%A3%E8%90%BD%E7%9A%84%E8%85%B3%E6%9C%AC%20%7C%20%E8%AA%B0%E5%85%88%E8%AA%B0%E5%BE%8C%E9%9D%A0%E4%BA%BA%E8%85%A6%E8%A8%98%EF%BC%8C%E6%8F%9B%E4%BA%BA%E6%8E%A5%E6%89%8B%E5%B0%B1%E6%96%B7%E6%8E%89%20%7C%20**03%20Dagster%20%E8%BB%9F%E9%AB%94%E5%AE%9A%E7%BE%A9%E8%B3%87%E7%94%A2**%20%7C%0A%20%20%20%20%7C%20%E6%9C%89%E6%9D%B1%E8%A5%BF%E6%9C%83%E5%9C%A8**%E5%B0%8D%E7%9A%84%E6%99%82%E9%96%93%E6%8C%89%E4%B8%8B%E9%87%8D%E8%A8%93**%EF%BC%88%E6%8E%92%E7%A8%8B%E3%80%81%E6%88%96%E5%81%B5%E6%B8%AC%E5%88%B0%E5%B0%B1%E8%A7%B8%E7%99%BC%EF%BC%89%20%7C%20%E7%9B%A3%E6%8E%A7%E6%9C%83%E9%9F%BF%EF%BC%8C%E4%BD%86%E6%B2%92%E6%9C%89%E4%BA%BA%E6%8C%89%20%7C%20**04%20Dagster%20%E8%87%AA%E5%8B%95%E5%8C%96%EF%BC%9A%E6%8E%92%E7%A8%8B%E8%88%87%E6%84%9F%E6%B8%AC**%20%7C%0A%20%20%20%20%7C%20%E4%B8%8A%E7%B7%9A%E5%89%8D%E6%9C%89**%E5%93%81%E8%B3%AA%E9%96%98**%EF%BC%8C%E6%AF%94%E8%88%8A%E7%89%88%E5%B7%AE%E5%B0%B1%E6%93%8B%E4%B8%8B%E4%BE%86%20%7C%20%E9%87%8D%E8%A8%93%E5%8F%8D%E8%80%8C%E6%8A%8A%E7%B7%9A%E4%B8%8A%E5%BC%84%E5%A3%9E%E2%80%94%E2%80%94%E9%87%8D%E8%A8%93%E4%B8%8D%E4%BF%9D%E8%AD%89%E8%AE%8A%E5%A5%BD%20%7C%20**05%20Dagster%20%C3%97%20MLflow%20%E7%AE%A1%E7%B7%9A**%20%7C%0A%0A%20%20%20%20%E6%9C%80%E5%BE%8C%E4%B8%80%E5%88%97%E7%89%B9%E5%88%A5%E5%80%BC%E5%BE%97%E7%95%99%E6%84%8F%EF%BC%9A**%E9%80%99%E5%A0%82%E8%AA%B2%E7%9A%84%E6%A8%A1%E6%93%AC%E5%B0%8D%E9%87%8D%E8%A8%93%E5%A4%AA%E4%BB%81%E6%85%88%E4%BA%86**%E2%80%94%E2%80%94%E9%80%99%E8%A3%A1%E7%9A%84%E9%87%8D%E8%A8%93%E6%B0%B8%E9%81%A0%E6%88%90%E5%8A%9F%E3%80%81%0A%20%20%20%20%E6%B0%B8%E9%81%A0%E6%8B%BF%E5%BE%97%E5%88%B0%E4%B9%BE%E6%B7%A8%E7%9A%84%E6%96%B0%E8%B3%87%E6%96%99%E3%80%81%E8%A8%93%E5%87%BA%E4%BE%86%E6%B0%B8%E9%81%A0%E4%B8%8D%E6%AF%94%E8%88%8A%E7%9A%84%E5%B7%AE%E3%80%82%E7%9C%9F%E5%AF%A6%E4%B8%96%E7%95%8C%E4%B8%89%E4%BB%B6%E4%BA%8B%E9%83%BD%E4%B8%8D%E4%BF%9D%E8%AD%89%E3%80%82%0A%20%20%20%20%E6%89%80%E4%BB%A5%E5%AE%8C%E6%95%B4%E7%9A%84%E8%87%AA%E5%8B%95%E9%87%8D%E8%A8%93%EF%BC%8C%E6%9C%80%E5%BE%8C%E4%B8%80%E6%AD%A5%E4%B8%80%E5%AE%9A%E6%98%AF%E3%80%8C**%E5%85%88%E6%93%8B%E4%B8%8B%E4%BE%86%EF%BC%8C%E9%80%9A%E9%81%8E%E6%89%8D%E6%8F%9B%E4%B8%8A%E5%8E%BB**%E3%80%8D%E3%80%82%0A%0A%20%20%20%20%E3%80%8CMLOps%E3%80%8D%E9%80%99%E5%80%8B%E8%A9%9E%E8%81%BD%E8%B5%B7%E4%BE%86%E5%BE%88%E5%A4%A7%EF%BC%8C%E4%BD%86%E5%AE%83%E8%A6%81%E8%A7%A3%E6%B1%BA%E7%9A%84%E5%B0%B1%E6%98%AF%E4%B8%8A%E9%9D%A2%E9%80%99%E4%BA%94%E4%BB%B6%E4%BA%8B%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206%EF%B8%8F%E2%83%A3%20%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E5%9B%9B%E6%A0%B9%E6%BB%91%E6%A1%BF%E6%98%AF%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%EF%BC%8C%E6%8A%8A%E5%89%8D%E9%9D%A2%E6%89%80%E6%9C%89%E6%97%8B%E9%88%95%E6%94%BE%E5%9C%A8%E4%B8%80%E8%B5%B7%EF%BC%9A%E4%B8%96%E7%95%8C%E8%AE%8A%E5%8C%96%E9%80%9F%E5%BA%A6%E3%80%81%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%E7%9A%84%E9%80%B1%E6%9C%9F%E3%80%81%0A%20%20%20%20%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E7%9A%84%E9%96%80%E6%AA%BB%E3%80%81%E6%A8%99%E7%B1%A4%E5%BB%B6%E9%81%B2%E3%80%82%E4%B8%89%E5%80%8B%E6%8C%91%E6%88%B0%EF%BC%88%E5%81%9A%E5%AE%8C%E5%86%8D%E6%89%93%E9%96%8B%E4%B8%8B%E9%9D%A2%E7%9A%84%E6%8A%98%E7%96%8A%E8%A7%A3%E7%AD%94%E5%B0%8D%E7%AD%94%E6%A1%88%EF%BC%89%EF%BC%9A%0A%0A%20%20%20%201.%20**LEVEL%201**%EF%BC%9A%E6%8A%8A%E3%80%8C%E4%B8%96%E7%95%8C%E8%AE%8A%E5%BE%97%E5%A4%9A%E5%BF%AB%E3%80%8D%E6%8B%89%E5%88%B0%20**0**%EF%BC%88%E4%B8%96%E7%95%8C%E5%AE%8C%E5%85%A8%E4%B8%8D%E8%AE%8A%EF%BC%89%EF%BC%8C%E5%85%B6%E4%BB%96%E4%B8%8D%E5%8B%95%E3%80%82%0A%20%20%20%20%20%20%20%E4%B8%89%E6%A2%9D%E7%B7%9A%E6%9C%83%E8%AE%8A%E6%88%90%E4%BB%80%E9%BA%BC%E6%A8%A3%E5%AD%90%EF%BC%9F%E4%B8%89%E7%A8%AE%E7%AD%96%E7%95%A5%E5%90%84%E9%87%8D%E8%A8%93%E4%BA%86%E5%B9%BE%E6%AC%A1%EF%BC%9F%E8%AA%B0%E5%81%9A%E4%BA%86%E7%99%BD%E5%B7%A5%EF%BC%9F%0A%20%20%20%202.%20**LEVEL%202**%EF%BC%9A%E4%B8%96%E7%95%8C%E8%AE%8A%E5%8C%96%E9%80%9F%E5%BA%A6%E6%94%BE%E5%9B%9E%20**0.12**%E3%80%81%E6%A8%99%E7%B1%A4%E5%BB%B6%E9%81%B2%20**0**%EF%BC%8C%0A%20%20%20%20%20%20%20%E6%8A%8A%E6%BA%96%E7%A2%BA%E7%8E%87%E9%96%80%E6%AA%BB%E5%BE%9E%20**0.95**%20%E4%B8%80%E6%A0%BC%E4%B8%80%E6%A0%BC%E6%8B%89%E5%88%B0%20**0.70**%EF%BC%8C%E8%A8%98%E4%B8%8B%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%9A%84%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%E8%88%87%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%E3%80%82%0A%20%20%20%20%20%20%20%E5%A4%9A%E8%8A%B1%2019%20%E6%AC%A1%E9%87%8D%E8%A8%93%EF%BC%8C%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%E8%B2%B7%E5%88%B0%E5%B9%BE%E5%80%8B%E7%99%BE%E5%88%86%E9%BB%9E%EF%BC%9F%0A%20%20%20%203.%20**LEVEL%203**%EF%BC%9A%E6%8A%8A%E6%A8%99%E7%B1%A4%E5%BB%B6%E9%81%B2%E6%8B%89%E5%88%B0%20**6**%EF%BC%8C%E7%84%B6%E5%BE%8C%E5%8F%AA%E8%AA%BF%E3%80%8C%E5%A4%9A%E4%B9%85%E9%87%8D%E8%A8%93%E4%B8%80%E6%AC%A1%E3%80%8D%EF%BC%8C%0A%20%20%20%20%20%20%20%E6%89%BE%E5%87%BA%E4%B8%80%E5%80%8B%E8%83%BD**%E8%B4%8F%E9%81%8E**%E9%80%99%E5%80%8B%E5%BB%B6%E9%81%B2%E5%85%AD%E5%80%8B%E6%9C%88%E7%9A%84%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E7%9A%84%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%E8%A8%AD%E5%AE%9A%E3%80%82%0A%20%20%20%20%20%20%20%E6%80%8E%E9%BA%BC%E9%A9%97%E8%AD%89%E4%BD%A0%E8%B4%8F%E4%BA%86%EF%BC%9F%E7%9C%8B%E8%A1%A8%E6%A0%BC%E7%9A%84%E5%85%A9%E6%AC%84%E2%80%94%E2%80%94%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%E6%9B%B4%E9%AB%98%E3%80%81%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%E6%9B%B4%E5%B0%91%E3%80%82%0A%0A%20%20%20%20%E5%81%9A%E5%AE%8C%E5%88%A5%E5%BF%98%E4%BA%86%EF%BC%9A%E6%95%99%E5%AD%B8%E9%A0%81%E4%B8%8A%E7%9A%84%E3%80%8C**%E4%B8%8B%E8%BC%89%20.py**%E3%80%8D%E5%8F%AF%E4%BB%A5%E6%8A%8A%E9%80%99%E4%BB%BD%E6%A8%A1%E6%93%AC%E5%B8%B6%E8%B5%B0%EF%BC%8C%0A%20%20%20%20%E5%9C%A8%E8%87%AA%E5%B7%B1%E9%9B%BB%E8%85%A6%E7%94%A8%20%60uvx%20marimo%20edit%20lesson.py%60%20%E6%89%93%E9%96%8B%EF%BC%8C%E8%B3%87%E6%96%99%E6%80%8E%E9%BA%BC%E7%94%9F%E3%80%81%E6%A8%A1%E5%9E%8B%E6%80%8E%E9%BA%BC%E8%A8%93%E5%85%A8%E9%83%A8%E6%94%A4%E5%9C%A8%E9%82%A3%E8%A3%A1%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20my_drift%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D0.13%2C%20step%3D0.01%2C%20value%3D0.12%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E4%B8%96%E7%95%8C%E8%AE%8A%E5%BE%97%E5%A4%9A%E5%BF%AB%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20my_k%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D12%2C%20step%3D1%2C%20value%3D3%2C%20label%3D%22%E6%AF%8F%E5%B9%BE%E5%80%8B%E6%9C%88%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20my_thr%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.70%2C%20stop%3D0.95%2C%20step%3D0.05%2C%20value%3D0.85%2C%20label%3D%22%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E9%96%80%E6%AA%BB%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20my_delay%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%20stop%3D6%2C%20step%3D1%2C%20value%3D0%2C%20label%3D%22%E6%A8%99%E7%B1%A4%E6%99%9A%E5%B9%BE%E5%80%8B%E6%9C%88%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80**%E2%80%94%E2%80%94%E5%9B%9B%E6%A0%B9%E6%BB%91%E6%A1%BF%EF%BC%8C24%20%E5%80%8B%E6%9C%88%E7%9A%84%E6%A8%A1%E6%93%AC%E6%9C%83%E6%95%B4%E7%B5%84%E9%87%8D%E8%B7%91%E3%80%82%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bmy_drift%2C%20my_k%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bmy_thr%2C%20my_delay%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20my_delay%2C%20my_drift%2C%20my_k%2C%20my_thr%0A%0A%0A%40app.cell%0Adef%20_(C_MON%2C%20C_NONE%2C%20C_PER%2C%20XM%2C%20my_delay%2C%20my_drift%2C%20my_k%2C%20my_thr%2C%20plt%2C%20run)%3A%0A%20%20%20%20my_cfg%20%3D%20(%0A%20%20%20%20%20%20%20%20round(my_drift.value%2C%202)%2C%20int(my_k.value)%2C%0A%20%20%20%20%20%20%20%20round(my_thr.value%2C%202)%2C%20int(my_delay.value)%2C%0A%20%20%20%20)%0A%20%20%20%20my_runs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22none%22%3A%20run(%22none%22%2C%20drift%3Dmy_cfg%5B0%5D)%2C%0A%20%20%20%20%20%20%20%20%22periodic%22%3A%20run(%22periodic%22%2C%20drift%3Dmy_cfg%5B0%5D%2C%20k%3Dmy_cfg%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%22monitor%22%3A%20run(%22monitor%22%2C%20drift%3Dmy_cfg%5B0%5D%2C%20thr%3Dmy_cfg%5B2%5D%2C%20delay%3Dmy_cfg%5B3%5D)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(6.4%2C%204.2))%0A%20%20%20%20for%20_key%2C%20_color%2C%20_label%20in%20%5B%0A%20%20%20%20%20%20%20%20(%22none%22%2C%20C_NONE%2C%20%22never%20retrained%22)%2C%0A%20%20%20%20%20%20%20%20(%22periodic%22%2C%20C_PER%2C%20f%22every%20%7Bmy_cfg%5B1%5D%7D%20months%22)%2C%0A%20%20%20%20%20%20%20%20(%22monitor%22%2C%20C_MON%2C%20f%22acc%20%3C%20%7Bmy_cfg%5B2%5D%3A.2f%7D%2C%20labels%20%7Bmy_cfg%5B3%5D%7D%20months%20late%22)%2C%0A%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20_accs%2C%20_retrains%20%3D%20my_runs%5B_key%5D%0A%20%20%20%20%20%20%20%20_ax.plot(XM%2C%20_accs%2C%20%22-%22%2C%20color%3D_color%2C%20lw%3D2.2%2C%20label%3D_label)%0A%20%20%20%20%20%20%20%20if%20_retrains%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20list(_retrains)%2C%20%5B1.005%5D%20*%20len(_retrains)%2C%20%22v%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D_color%2C%20ms%3D6.5%2C%20clip_on%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax.set_xlabel(%22months%20after%20launch%22)%0A%20%20%20%20_ax.set_ylabel(%22accuracy%20of%20that%20month%22)%0A%20%20%20%20_ax.set_title(f%22Your%20world%20(drift%20%7Bmy_cfg%5B0%5D%3A.2f%7D)%22)%0A%20%20%20%20_ax.set_ylim(0.33%2C%201.03)%0A%20%20%20%20_ax.set_xticks(%5B1%2C%204%2C%208%2C%2012%2C%2016%2C%2020%2C%2023%5D)%0A%20%20%20%20_ax.legend(fontsize%3D8.5%2C%20loc%3D%22lower%20left%22)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20my_cfg%2C%20my_runs%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20my_cfg%2C%20my_runs%2C%20np)%3A%0A%20%20%20%20_names%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22none%22%3A%20%22%E4%B8%8D%E9%87%8D%E8%A8%93%22%2C%0A%20%20%20%20%20%20%20%20%22periodic%22%3A%20f%22%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%EF%BC%88%E6%AF%8F%20%7Bmy_cfg%5B1%5D%7D%20%E5%80%8B%E6%9C%88%EF%BC%89%22%2C%0A%20%20%20%20%20%20%20%20%22monitor%22%3A%20f%22%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%EF%BC%88%E9%96%80%E6%AA%BB%20%7Bmy_cfg%5B2%5D%3A.2f%7D%E3%80%81%E6%A8%99%E7%B1%A4%E6%99%9A%20%7Bmy_cfg%5B3%5D%7D%20%E5%80%8B%E6%9C%88%EF%BC%89%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_rows%20%3D%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20f%22%20%20%20%20%7C%20%7B_names%5B_k%5D%7D%20%7C%20%7Bfloat(np.mean(my_runs%5B_k%5D%5B0%5D))%3A.3f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20f%22%7Bmin(my_runs%5B_k%5D%5B0%5D)%3A.3f%7D%20%7C%20%7Blen(my_runs%5B_k%5D%5B1%5D)%7D%20%E6%AC%A1%20%7C%22%0A%20%20%20%20%20%20%20%20for%20_k%20in%20%5B%22none%22%2C%20%22periodic%22%2C%20%22monitor%22%5D%0A%20%20%20%20)%0A%20%20%20%20_best%20%3D%20max(%0A%20%20%20%20%20%20%20%20%5B%22periodic%22%2C%20%22monitor%22%5D%2C%20key%3Dlambda%20_k%3A%20float(np.mean(my_runs%5B_k%5D%5B0%5D))%0A%20%20%20%20)%0A%20%20%20%20_win%20%3D%20float(np.mean(my_runs%5B_best%5D%5B0%5D))%0A%20%20%20%20_other%20%3D%20%22monitor%22%20if%20_best%20%3D%3D%20%22periodic%22%20else%20%22periodic%22%0A%20%20%20%20_lose%20%3D%20float(np.mean(my_runs%5B_other%5D%5B0%5D))%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%20%20%20%20%7C%20%E7%AD%96%E7%95%A5%20%7C%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%20%7C%20%E6%9C%80%E4%BD%8E%E7%9A%84%E4%B8%80%E5%80%8B%E6%9C%88%20%7C%20%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%20%7C%0A%20%20%20%20%20%20%20%20%7C---%7C---%3A%7C---%3A%7C---%3A%7C%0A%20%20%20%20%7B_rows%7D%0A%0A%20%20%20%20%20%20%20%20%E9%80%99%E7%B5%84%E8%A8%AD%E5%AE%9A%E4%B8%8B%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%E8%BC%83%E9%AB%98%E7%9A%84%E6%98%AF%20**%7B_names%5B_best%5D%7D**%EF%BC%88%7B_win%3A.3f%7D%20vs%20%7B_lose%3A.3f%7D%EF%BC%89%E2%80%94%E2%80%94%0A%20%20%20%20%20%20%20%20%E4%BD%86%E5%88%A5%E5%8F%AA%E7%9C%8B%E9%80%99%E4%B8%80%E6%AC%84%EF%BC%8C**%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%E9%82%A3%E4%B8%80%E6%AC%84%E6%89%8D%E6%98%AF%E5%B8%B3%E5%96%AE**%E3%80%82%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%201%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%8A%8A%E4%B8%96%E7%95%8C%E8%AE%8A%E5%8C%96%E9%80%9F%E5%BA%A6%E6%8B%89%E5%88%B0%200%EF%BC%8C%E4%B8%89%E6%A2%9D%E7%B7%9A%E9%83%BD%E8%AE%8A%E6%88%90%E4%B8%80%E6%A2%9D%E5%9C%A8%200.92%20%E4%B8%8A%E4%B8%8B%E6%8A%96%E5%8B%95%E7%9A%84%E6%B0%B4%E5%B9%B3%E7%B7%9A%E3%80%82%E8%A1%A8%E6%A0%BC%E6%9C%83%E9%95%B7%E9%80%99%E6%A8%A3%0A%20%20%20%20%EF%BC%88%E5%85%B6%E9%A4%98%E7%B6%AD%E6%8C%81%E9%A0%90%E8%A8%AD%EF%BC%9A%E6%AF%8F%203%20%E5%80%8B%E6%9C%88%E9%87%8D%E8%A8%93%E3%80%81%E9%96%80%E6%AA%BB%200.85%E3%80%81%E6%A8%99%E7%B1%A4%E4%B8%8D%E5%BB%B6%E9%81%B2%EF%BC%89%EF%BC%9A%0A%0A%20%20%20%20%7C%20%E7%AD%96%E7%95%A5%20%7C%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%20%7C%20%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%20%7C%0A%20%20%20%20%7C---%7C---%3A%7C---%3A%7C%0A%20%20%20%20%7C%20%E4%B8%8D%E9%87%8D%E8%A8%93%20%7C%200.926%20%7C%200%20%E6%AC%A1%20%7C%0A%20%20%20%20%7C%20%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%EF%BC%88%E6%AF%8F%203%20%E5%80%8B%E6%9C%88%EF%BC%89%20%7C%200.922%20%7C%207%20%E6%AC%A1%20%7C%0A%20%20%20%20%7C%20%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%EF%BC%88%E9%96%80%E6%AA%BB%200.85%EF%BC%89%20%7C%200.926%20%7C%200%20%E6%AC%A1%20%7C%0A%0A%20%20%20%20%E5%81%9A%E7%99%BD%E5%B7%A5%E7%9A%84%E6%98%AF**%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93**%EF%BC%9A%E4%B8%96%E7%95%8C%E6%A0%B9%E6%9C%AC%E6%B2%92%E8%AE%8A%EF%BC%8C%E5%AE%83%E7%85%A7%E6%A8%A3%E9%87%8D%E8%A8%93%E4%BA%86%207%20%E6%AC%A1%EF%BC%8C%0A%20%20%20%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%E9%82%84%E5%BE%AE%E5%BE%AE%E4%BD%8E%E4%BA%86%E4%B8%80%E9%BB%9E%E9%BB%9E%EF%BC%88%E6%AF%8F%E6%AC%A1%E9%87%8D%E8%A8%93%E5%8F%AA%E7%94%A8%E7%95%B6%E6%9C%88%E9%82%A3%20300%20%E7%AD%86%E8%B3%87%E6%96%99%EF%BC%8C%E9%81%8B%E6%B0%A3%E4%B8%8D%E5%A5%BD%E5%B0%B1%E6%8A%BD%E5%88%B0%E6%AF%94%E8%BC%83%E9%9B%A3%E7%9A%84%E4%B8%80%E6%89%B9%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E5%B0%B1%E6%98%AF%E3%80%8C%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E3%80%8D%E5%AD%98%E5%9C%A8%E7%9A%84%E7%90%86%E7%94%B1%E2%80%94%E2%80%94**%E5%AE%83%E6%9C%83%E5%9C%A8%E8%A9%B2%E7%9C%81%E7%9A%84%E6%99%82%E5%80%99%E8%87%AA%E5%B7%B1%E5%AE%89%E9%9D%9C%E4%B8%8B%E4%BE%86**%E3%80%82%0A%20%20%20%20%E4%BD%86%E5%88%A5%E5%BF%98%E4%BA%86%E5%AE%83%E7%9A%84%E5%89%8D%E6%8F%90%EF%BC%9A%E4%BD%A0%E5%BE%97%E7%9C%9F%E7%9A%84%E6%9C%89%E5%9C%A8%E9%87%8F%E6%BA%96%E7%A2%BA%E7%8E%87%E3%80%82%E6%B2%92%E6%9C%89%E7%B4%80%E9%8C%84%EF%BC%8C%E4%BD%A0%E9%80%A3%E3%80%8C%E4%B8%96%E7%95%8C%E6%B2%92%E8%AE%8A%E3%80%8D%E9%83%BD%E4%B8%8D%E7%9F%A5%E9%81%93%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%202%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E9%96%80%E6%AA%BB%E5%BE%9E%200.95%20%E4%B8%80%E8%B7%AF%E6%8B%89%E5%88%B0%200.70%EF%BC%88%E4%B8%96%E7%95%8C%E8%AE%8A%E5%8C%96%E9%80%9F%E5%BA%A6%200.12%E3%80%81%E6%A8%99%E7%B1%A4%E5%BB%B6%E9%81%B2%200%EF%BC%89%EF%BC%9A%0A%0A%20%20%20%20%7C%20%E9%96%80%E6%AA%BB%20%7C%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%20%7C%20%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%20%7C%0A%20%20%20%20%7C---%7C---%3A%7C---%3A%7C%0A%20%20%20%20%7C%200.95%20%7C%200.916%20%7C%2023%20%E6%AC%A1%20%7C%0A%20%20%20%20%7C%200.90%20%7C%200.903%20%7C%207%20%E6%AC%A1%20%7C%0A%20%20%20%20%7C%200.85%20%7C%200.889%20%7C%204%20%E6%AC%A1%20%7C%0A%20%20%20%20%7C%200.80%20%7C%200.870%20%7C%203%20%E6%AC%A1%20%7C%0A%20%20%20%20%7C%200.75%20%7C%200.849%20%7C%202%20%E6%AC%A1%20%7C%0A%20%20%20%20%7C%200.70%20%7C%200.829%20%7C%202%20%E6%AC%A1%20%7C%0A%0A%20%20%20%20%E5%BE%9E%200.85%20%E5%88%B0%200.95%EF%BC%9A%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%20**4%20%E2%86%92%2023%20%E6%AC%A1**%EF%BC%88%E6%A8%A1%E6%93%AC%E7%B8%BD%E5%85%B1%E5%8F%AA%E6%9C%89%2023%20%E5%80%8B%E6%9C%88%EF%BC%8C%E7%AD%89%E6%96%BC**%E6%AF%8F%E5%80%8B%E6%9C%88%E9%83%BD%E5%9C%A8%E9%87%8D%E8%A8%93**%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%E5%8F%AA%E8%B2%B7%E5%88%B0%20**2.7%20%E5%80%8B%E7%99%BE%E5%88%86%E9%BB%9E**%E3%80%82%E5%A4%9A%E8%8A%B1%2019%20%E6%AC%A1%E9%87%8D%E8%A8%93%E6%8F%9B%202.7%20%E5%80%8B%E7%99%BE%E5%88%86%E9%BB%9E%EF%BC%8C%E5%88%92%E4%B8%8D%E5%88%92%E7%AE%97%EF%BC%9F%0A%20%20%20%20%E9%80%99%E9%A1%8C%E6%B2%92%E6%9C%89%E6%A8%99%E6%BA%96%E7%AD%94%E6%A1%88%EF%BC%8C%E7%AD%94%E6%A1%88%E5%9C%A8%E4%BD%A0%E7%9A%84%E6%88%90%E6%9C%AC%E8%A1%A8%E8%A3%A1%EF%BC%9A%E4%B8%80%E6%AC%A1%E9%87%8D%E8%A8%93%E8%A6%81%E5%A4%9A%E5%B0%91%E9%8C%A2%E8%88%87%E5%A4%9A%E5%B0%91%E4%BA%BA%E5%8A%9B%E3%80%81%0A%20%20%20%20%E6%BA%96%E7%A2%BA%E7%8E%87%E6%8E%89%201%20%E5%80%8B%E7%99%BE%E5%88%86%E9%BB%9E%E4%BD%A0%E8%A6%81%E8%B3%A0%E5%A4%9A%E5%B0%91%E3%80%82%0A%0A%20%20%20%20%E9%A0%86%E5%B8%B6%E4%B8%80%E6%8F%90%EF%BC%8C%E9%96%80%E6%AA%BB%200.95%20%E7%9A%84%2023%20%E6%AC%A1%E9%87%8D%E8%A8%93%EF%BC%8C%E6%88%90%E7%B8%BE%EF%BC%880.916%EF%BC%89%E8%B7%9F%E3%80%8C%E6%AF%8F%201%20%E5%80%8B%E6%9C%88%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%E3%80%8D%E4%B8%80%E6%A8%A1%E4%B8%80%E6%A8%A3%E2%80%94%E2%80%94%0A%20%20%20%20**%E9%96%80%E6%AA%BB%E6%8B%89%E5%88%B0%E6%A5%B5%E9%99%90%EF%BC%8C%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E5%B0%B1%E9%80%80%E5%8C%96%E6%88%90%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93**%EF%BC%8C%E9%82%84%E5%A4%9A%E8%8A%B1%E4%BA%86%E7%9B%A3%E6%8E%A7%E7%9A%84%E5%8A%9B%E6%B0%A3%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%203%20%E6%8F%90%E7%A4%BA%E8%88%87%E9%A9%97%E8%AD%89%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%A8%99%E7%B1%A4%E5%BB%B6%E9%81%B2%206%20%E5%80%8B%E6%9C%88%E7%9A%84%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%EF%BC%9A%E5%B9%B3%E5%9D%87%20**0.796**%EF%BC%8C%E5%81%9A%E4%BA%86%20**14%20%E6%AC%A1**%E9%87%8D%E8%A8%93%E3%80%82%0A%0A%20%20%20%20%E5%8F%AA%E8%AA%BF%E3%80%8C%E6%AF%8F%E5%B9%BE%E5%80%8B%E6%9C%88%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%E3%80%8D%EF%BC%8C%E5%BE%88%E5%BF%AB%E5%B0%B1%E6%9C%83%E6%89%BE%E5%88%B0%E8%B4%8F%E5%AE%83%E7%9A%84%E8%A8%AD%E5%AE%9A%EF%BC%9A%0A%0A%20%20%20%20%7C%20%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%20%7C%20%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%20%7C%20%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%20%7C%0A%20%20%20%20%7C---%7C---%3A%7C---%3A%7C%0A%20%20%20%20%7C%20%E6%AF%8F%206%20%E5%80%8B%E6%9C%88%20%7C%200.867%20%7C%203%20%E6%AC%A1%20%7C%0A%20%20%20%20%7C%20%E6%AF%8F%203%20%E5%80%8B%E6%9C%88%20%7C%200.900%20%7C%207%20%E6%AC%A1%20%7C%0A%20%20%20%20%7C%20%E6%AF%8F%201%20%E5%80%8B%E6%9C%88%20%7C%200.916%20%7C%2023%20%E6%AC%A1%20%7C%0A%0A%20%20%20%20**%E6%AF%8F%206%20%E5%80%8B%E6%9C%88%E9%87%8D%E8%A8%93%E4%B8%80%E6%AC%A1%E5%B0%B1%E8%B4%8F%E4%BA%86**%EF%BC%9A%E6%BA%96%E7%A2%BA%E7%8E%87%E9%AB%98%207%20%E5%80%8B%E7%99%BE%E5%88%86%E9%BB%9E%EF%BC%8C%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%E5%8F%AA%E6%9C%89%E5%AE%83%E7%9A%84%E4%BA%94%E5%88%86%E4%B9%8B%E4%B8%80%E3%80%82%0A%0A%20%20%20%20%E6%80%8E%E9%BA%BC%E9%A9%97%E8%AD%89%E4%BD%A0%E7%9C%9F%E7%9A%84%E8%B4%8F%E4%BA%86%EF%BC%9A%E8%A1%A8%E6%A0%BC%E8%A6%81%E5%90%8C%E6%99%82%E6%BB%BF%E8%B6%B3%E5%85%A9%E4%BB%B6%E4%BA%8B%E2%80%94%E2%80%94%E5%B9%B3%E5%9D%87%E6%BA%96%E7%A2%BA%E7%8E%87%E6%9B%B4%E9%AB%98%E3%80%81%E9%87%8D%E8%A8%93%E6%AC%A1%E6%95%B8%E6%9B%B4%E5%B0%91%E3%80%82%0A%20%20%20%20%E5%8F%AA%E6%9C%89%E4%B8%80%E9%A0%85%E8%B4%8F%E4%B8%8D%E7%AE%97%EF%BC%8C%E9%82%A3%E5%8F%AA%E6%98%AF%E6%8F%9B%E4%BA%86%E5%80%8B%E4%BD%8D%E7%BD%AE%E8%8A%B1%E9%8C%A2%E3%80%82%0A%0A%20%20%20%20%E5%B8%B6%E5%BE%97%E8%B5%B0%E7%9A%84%E7%B5%90%E8%AB%96%EF%BC%9A**%E6%A8%99%E7%B1%A4%E8%B6%8A%E6%85%A2%EF%BC%8C%E7%9B%A3%E6%8E%A7%E8%A7%B8%E7%99%BC%E8%B6%8A%E6%B2%92%E6%9C%89%E5%83%B9%E5%80%BC**%E3%80%82%0A%20%20%20%20%E7%95%B6%E6%A8%99%E7%B1%A4%E8%A6%81%E7%AD%89%E5%8D%8A%E5%B9%B4%EF%BC%8C%E8%88%87%E5%85%B6%E7%B2%BE%E9%9B%95%E7%B4%B0%E7%90%A2%E9%96%80%E6%AA%BB%EF%BC%8C%E4%B8%8D%E5%A6%82%E6%8A%8A%E5%8A%9B%E6%B0%A3%E8%8A%B1%E5%9C%A8%E5%85%A9%E4%BB%B6%E4%BA%8B%E4%B8%8A%E2%80%94%E2%80%94%0A%20%20%20%20%E6%83%B3%E8%BE%A6%E6%B3%95%E6%9B%B4%E5%BF%AB%E6%8B%BF%E5%88%B0%E6%A8%99%E7%B1%A4%EF%BC%88%E4%BA%BA%E5%B7%A5%E6%8A%BD%E6%A8%A3%E6%A8%99%E8%A8%BB%E3%80%81%E6%89%BE%E4%B8%80%E5%80%8B%E6%8F%90%E6%97%A9%E7%9C%8B%E5%BE%97%E5%88%B0%E7%9A%84%E4%BB%A3%E7%90%86%E6%8C%87%E6%A8%99%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E6%88%96%E6%98%AF%E4%B9%BE%E8%84%86%E6%94%B9%E7%94%A8%E7%B0%A1%E5%96%AE%E5%8F%AF%E9%9D%A0%E7%9A%84%E5%AE%9A%E6%9C%9F%E9%87%8D%E8%A8%93%EF%BC%8C%E6%8A%8A%E7%9C%81%E4%B8%8B%E4%BE%86%E7%9A%84%E5%8A%9B%E6%B0%A3%E6%8B%BF%E5%8E%BB%E5%81%9A%E5%93%81%E8%B3%AA%E9%96%98%EF%BC%8C%0A%20%20%20%20%E7%A2%BA%E4%BF%9D%E6%AF%8F%E6%AC%A1%E9%87%8D%E8%A8%93%E4%B8%8A%E7%B7%9A%E7%9A%84%E6%A8%A1%E5%9E%8B%E4%B8%8D%E6%9C%83%E6%AF%94%E8%88%8A%E7%9A%84%E5%B7%AE%E3%80%82%0A%0A%20%20%20%20%E6%9C%80%E5%BE%8C%E4%B8%80%E5%80%8B%E7%B5%A6%E4%BD%A0%E8%87%AA%E5%B7%B1%E7%9A%84%E5%95%8F%E9%A1%8C%EF%BC%88%E6%B2%92%E6%9C%89%E6%A8%99%E6%BA%96%E7%AD%94%E6%A1%88%EF%BC%8C%E4%BD%86%E5%80%BC%E5%BE%97%E5%AF%AB%E4%B8%8B%E4%BE%86%EF%BC%89%EF%BC%9A%0A%20%20%20%20**%E4%BD%A0%E6%89%8B%E4%B8%8A%E7%9A%84%E5%B0%88%E6%A1%88%EF%BC%8C%E6%A8%99%E7%B1%A4%E5%A4%9A%E4%B9%85%E6%9C%83%E5%88%B0%EF%BC%9F**%20%E4%BD%A0%E6%9C%83%E7%99%BC%E7%8F%BE%E9%80%99%E5%80%8B%E6%95%B8%E5%AD%97%E6%B1%BA%E5%AE%9A%E4%BA%86%E5%BE%8C%E9%9D%A2%E6%89%80%E6%9C%89%E7%9A%84%E8%A8%AD%E8%A8%88%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A