nonparam regression marimo

import%20marimo%0A%0A__generated_with%20%3D%20%220.16.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Non-Parametric%20Regression%20Methods%0A%20%20%20%20%20%20%20%20%23%23%20Interactive%20Demonstration%20of%20k-Nearest%20Neighbours%20and%20Kernel-Based%20Approaches%0A%0A%20%20%20%20%20%20%20%20Welcome%20to%20this%20interactive%20tutorial%20on%20**Non-Parametric%20Regression**!%20This%20notebook%20provides%20hands-on%20exploration%20of%20regression%20techniques%20that%20make%20minimal%20assumptions%20about%20the%20underlying%20functional%20relationship%20between%20predictor%20and%20response%20variables.%0A%0A%20%20%20%20%20%20%20%20%23%23%20What%20are%20Non-Parametric%20Regression%20Methods%3F%0A%0A%20%20%20%20%20%20%20%20Unlike%20parametric%20approaches%20that%20assume%20specific%20functional%20forms%20(like%20linear%20regression)%2C%20non-parametric%20methods%20derive%20predictions%20directly%20from%20the%20data%20structure%2C%20allowing%20the%20relationship%20%24f(x)%24%20in%20%24E%5BY%7CX%3Dx%5D%20%3D%20f(x)%24%20to%20assume%20any%20form%20supported%20by%20the%20data.%0A%0A%20%20%20%20%20%20%20%20%23%23%23%20Key%20Methods%20Covered%3A%0A%0A%20%20%20%20%20%20%20%20**%F0%9F%93%8A%20k-Nearest%20Neighbours%20(k-NN)%20Regression%3A**%0A%0A%20%20%20%20%20%20%20%20-%20Predicts%20by%20averaging%20response%20values%20from%20the%20k%20most%20similar%20observations%0A%0A%20%20%20%20%20%20%20%20-%20Embodies%20the%20principle%20of%20**local%20smoothness**%0A%0A%20%20%20%20%20%20%20%20-%20Simple%20but%20powerful%20for%20complex%20relationships%0A%0A%20%20%20%20%20%20%20%20**%F0%9F%94%A7%20Nadaraya-Watson%20Kernel%20Regression%3A**%0A%0A%20%20%20%20%20%20%20%20-%20Uses%20kernel-weighted%20local%20averaging%20for%20smooth%20function%20estimates%0A%0A%20%20%20%20%20%20%20%20-%20Provides%20continuous%2C%20differentiable%20predictions%0A%0A%20%20%20%20%20%20%20%20-%20Flexible%20bandwidth%20parameter%20controls%20smoothness%0A%0A%20%20%20%20%20%20%20%20**%F0%9F%93%88%20Key%20Advantages%3A**%0A%0A%20%20%20%20%20%20%20%20-%20No%20assumptions%20about%20functional%20form%0A%0A%20%20%20%20%20%20%20%20-%20Can%20capture%20complex%2C%20non-linear%20relationships%0A%0A%20%20%20%20%20%20%20%20-%20Adaptable%20to%20local%20data%20patterns%0A%0A%20%20%20%20%20%20%20%20**%E2%9A%A0%EF%B8%8F%20Considerations%3A**%0A%0A%20%20%20%20%20%20%20%20-%20Requires%20larger%20sample%20sizes%0A%0A%20%20%20%20%20%20%20%20-%20Can%20struggle%20in%20sparse%20data%20regions%0A%0A%20%20%20%20%20%20%20%20-%20Computational%20complexity%20increases%20with%20data%20size%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Import%20required%20libraries%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20plotly.subplots%20import%20make_subplots%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20from%20sklearn.neighbors%20import%20KNeighborsRegressor%0A%20%20%20%20from%20sklearn.model_selection%20import%20KFold%0A%20%20%20%20from%20scipy.spatial.distance%20import%20cdist%0A%20%20%20%20from%20typing%20import%20Callable%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20%23%20Set%20random%20seed%20for%20reproducibility%0A%20%20%20%20np.random.seed(2025)%0A%20%20%20%20return%20Callable%2C%20KNeighborsRegressor%2C%20go%2C%20make_subplots%2C%20np%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Data%20Generation%0A%0A%20%20%20%20%20%20%20%20Let's%20start%20by%20generating%20synthetic%20data%20that%20exhibits%20a%20non-linear%20relationship.%20This%20will%20help%20us%20understand%20how%20different%20regression%20methods%20perform%20on%20complex%20patterns.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20UI%20controls%20for%20data%20generation%0A%20%20%20%20n_points_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D50%2C%20stop%3D200%2C%20step%3D10%2C%20value%3D100%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20Data%20Points%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20noise_level_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.1%2C%20stop%3D1.0%2C%20step%3D0.1%2C%20value%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Noise%20Level%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20function_selector%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Sine%20Wave%22%2C%20%22Polynomial%22%2C%20%22Step%20Function%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Sine%20Wave%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22True%20Function%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20test_split_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.1%2C%20stop%3D0.4%2C%20step%3D0.05%2C%20value%3D0.2%2C%0A%20%20%20%20%20%20%20%20label%3D%22Test%20Set%20Proportion%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**Data%20Generation%20Parameters%3A**%0A%0A%20%20%20%20%7Bn_points_slider%7D%0A%20%20%20%20%7Bnoise_level_slider%7D%0A%20%20%20%20%7Bfunction_selector%7D%0A%20%20%20%20%7Btest_split_slider%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20function_selector%2C%0A%20%20%20%20%20%20%20%20n_points_slider%2C%0A%20%20%20%20%20%20%20%20noise_level_slider%2C%0A%20%20%20%20%20%20%20%20test_split_slider%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20function_selector%2C%0A%20%20%20%20go%2C%0A%20%20%20%20n_points_slider%2C%0A%20%20%20%20noise_level_slider%2C%0A%20%20%20%20np%2C%0A%20%20%20%20test_split_slider%2C%0A)%3A%0A%20%20%20%20%23%20Generate%20data%20based%20on%20selected%20parameters%0A%20%20%20%20n_points%20%3D%20n_points_slider.value%0A%20%20%20%20noise_level%20%3D%20noise_level_slider.value%0A%20%20%20%20test_proportion%20%3D%20test_split_slider.value%0A%0A%20%20%20%20%23%20Create%20x%20values%0A%20%20%20%20x_all%20%3D%20np.linspace(0%2C%2010%2C%20n_points)%0A%0A%20%20%20%20%23%20Generate%20y%20values%20based%20on%20selected%20function%0A%20%20%20%20if%20function_selector.value%20%3D%3D%20%22Sine%20Wave%22%3A%0A%20%20%20%20%20%20%20%20y_true_func%20%3D%20lambda%20x%3A%202%20*%20np.sin(x)%20%2B%200.5%20*%20x%0A%20%20%20%20%20%20%20%20y_all%20%3D%20y_true_func(x_all)%20%2B%20np.random.normal(0%2C%20noise_level%2C%20n_points)%0A%20%20%20%20elif%20function_selector.value%20%3D%3D%20%22Polynomial%22%3A%0A%20%20%20%20%20%20%20%20y_true_func%20%3D%20lambda%20x%3A%200.1%20*%20x**3%20-%200.5%20*%20x**2%20%2B%20x%20%2B%202%0A%20%20%20%20%20%20%20%20y_all%20%3D%20y_true_func(x_all)%20%2B%20np.random.normal(0%2C%20noise_level%2C%20n_points)%0A%20%20%20%20else%3A%20%20%23%20Step%20Function%0A%20%20%20%20%20%20%20%20y_true_func%20%3D%20lambda%20x%3A%20np.where(x%20%3C%203%2C%201%2C%20np.where(x%20%3C%207%2C%203%2C%200.5))%0A%20%20%20%20%20%20%20%20y_all%20%3D%20y_true_func(x_all)%20%2B%20np.random.normal(0%2C%20noise_level%2C%20n_points)%0A%0A%20%20%20%20%23%20Create%20train%2Ftest%20split%0A%20%20%20%20n_test%20%3D%20int(n_points%20*%20test_proportion)%0A%20%20%20%20test_indices%20%3D%20np.random.choice(n_points%2C%20n_test%2C%20replace%3DFalse)%0A%20%20%20%20train_indices%20%3D%20np.setdiff1d(np.arange(n_points)%2C%20test_indices)%0A%0A%20%20%20%20%23%20Split%20the%20data%0A%20%20%20%20x_train_initial%20%3D%20x_all%5Btrain_indices%5D%0A%20%20%20%20y_train_initial%20%3D%20y_all%5Btrain_indices%5D%0A%20%20%20%20x_test_initial%20%3D%20x_all%5Btest_indices%5D%0A%20%20%20%20y_test_initial%20%3D%20y_all%5Btest_indices%5D%0A%0A%20%20%20%20%23%20Create%20dense%20grid%20for%20smooth%20plotting%0A%20%20%20%20x_grid%20%3D%20np.linspace(0%2C%2010%2C%20200)%0A%20%20%20%20y_true%20%3D%20y_true_func(x_grid)%0A%0A%20%20%20%20%23%20Create%20initial%20data%20visualization%0A%20%20%20%20data_fig%20%3D%20go.Figure()%0A%0A%20%20%20%20%23%20Add%20training%20data%0A%20%20%20%20data_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_train_initial%2C%0A%20%20%20%20%20%20%20%20y%3Dy_train_initial%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'blue'%2C%20size%3D8%2C%20opacity%3D0.8)%2C%0A%20%20%20%20%20%20%20%20name%3D'Training%20Data'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Add%20initial%20test%20data%0A%20%20%20%20data_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_test_initial%2C%0A%20%20%20%20%20%20%20%20y%3Dy_test_initial%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'red'%2C%20size%3D10%2C%20symbol%3D'diamond'%2C%20opacity%3D0.8)%2C%0A%20%20%20%20%20%20%20%20name%3D'Test%20Data'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Add%20true%20function%0A%20%20%20%20data_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_grid%2C%0A%20%20%20%20%20%20%20%20y%3Dy_true%2C%0A%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'black'%2C%20dash%3D'dash'%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20name%3D'True%20Function'%0A%20%20%20%20))%0A%0A%20%20%20%20data_fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3Df'Generated%20Dataset%3A%20%7Bfunction_selector.value%7D%20(n%3D%7Bn_points%7D%2C%20test%3D%7Btest_proportion%3A.0%25%7D%2C%20noise%3D%7Bnoise_level%7D)'%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D'Predictor%20(x)'%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D'Response%20(y)'%2C%0A%20%20%20%20%20%20%20%20width%3D800%2C%0A%20%20%20%20%20%20%20%20height%3D500%2C%0A%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20)%0A%20%20%20%20return%20test_indices%2C%20train_indices%2C%20x_all%2C%20x_grid%2C%20y_all%2C%20y_true%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Query%20Point%20Selection%0A%0A%20%20%20%20%20%20%20%20Use%20the%20slider%20below%20to%20select%20a%20query%20point%20for%20detailed%20analysis%20of%20nearest%20neighbours%20and%20kernel%20weights.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20The%20train%2Ftest%20split%20is%20now%20fixed%20for%20consistent%20evaluation%20across%20different%20methods%20and%20parameters.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(test_indices%2C%20train_indices%2C%20x_all%2C%20y_all)%3A%0A%20%20%20%20%23%20Use%20the%20original%20automatic%20train%2Ftest%20split%0A%20%20%20%20current_train_indices%20%3D%20train_indices%0A%20%20%20%20current_test_indices%20%3D%20test_indices%0A%0A%20%20%20%20%23%20Extract%20current%20train%2Ftest%20data%0A%20%20%20%20x_train%20%3D%20x_all%5Bcurrent_train_indices%5D%0A%20%20%20%20y_train%20%3D%20y_all%5Bcurrent_train_indices%5D%0A%20%20%20%20x_test%20%3D%20x_all%5Bcurrent_test_indices%5D%0A%20%20%20%20y_test%20%3D%20y_all%5Bcurrent_test_indices%5D%0A%20%20%20%20return%20x_test%2C%20x_train%2C%20y_test%2C%20y_train%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20k-Nearest%20Neighbours%20Regression%0A%0A%20%20%20%20%20%20%20%20k-NN%20regression%20predicts%20response%20values%20by%20averaging%20the%20k%20closest%20training%20observations.%20The%20mathematical%20formulation%20is%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%5Chat%7Bf%7D(x_0)%20%3D%20%5Cfrac%7B1%7D%7Bk%7D%20%5Csum_%7Bi%20%5Cin%20%5Cmathcal%7BN%7D_k(x_0)%7D%20y_i%24%24%0A%0A%20%20%20%20%20%20%20%20where%20%24%5Cmathcal%7BN%7D_k(x_0)%24%20represents%20the%20k%20nearest%20neighbours%20of%20%24x_0%24.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20UI%20controls%20for%20k-NN%20regression%0A%20%20%20%20k_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D20%2C%20step%3D1%2C%20value%3D5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20Neighbours%20(k)%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20query_point_knn_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D10.0%2C%20step%3D0.1%2C%20value%3D5.0%2C%0A%20%20%20%20%20%20%20%20label%3D%22Query%20Point%20(x-value)%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20show_neighbours%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20value%3DFalse%2C%20label%3D%22Show%20Nearest%20Neighbours%20for%20Query%20Point%22%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**k-NN%20Regression%20Parameters%3A**%0A%0A%20%20%20%20%7Bk_slider%7D%0A%20%20%20%20%7Bquery_point_knn_slider%7D%0A%20%20%20%20%7Bshow_neighbours%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20k_slider%2C%20query_point_knn_slider%2C%20show_neighbours%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20KNeighborsRegressor%2C%0A%20%20%20%20go%2C%0A%20%20%20%20k_slider%2C%0A%20%20%20%20np%2C%0A%20%20%20%20query_point_knn_slider%2C%0A%20%20%20%20show_neighbours%2C%0A%20%20%20%20x_grid%2C%0A%20%20%20%20x_test%2C%0A%20%20%20%20x_train%2C%0A%20%20%20%20y_test%2C%0A%20%20%20%20y_train%2C%0A%20%20%20%20y_true%2C%0A)%3A%0A%20%20%20%20%23%20k-NN%20Regression%20implementation%0A%20%20%20%20k_value%20%3D%20k_slider.value%0A%0A%20%20%20%20%23%20Fit%20k-NN%20model%20on%20training%20data%0A%20%20%20%20knn_model%20%3D%20KNeighborsRegressor(n_neighbors%3Dk_value)%0A%20%20%20%20knn_model.fit(x_train.reshape(-1%2C%201)%2C%20y_train)%0A%0A%20%20%20%20%23%20Make%20predictions%0A%20%20%20%20y_knn_pred_grid%20%3D%20knn_model.predict(x_grid.reshape(-1%2C%201))%0A%20%20%20%20y_knn_pred_test%20%3D%20knn_model.predict(x_test.reshape(-1%2C%201))%0A%0A%20%20%20%20%23%20Calculate%20test%20performance%0A%20%20%20%20knn_test_mse%20%3D%20np.mean((y_test%20-%20y_knn_pred_test)**2)%0A%20%20%20%20knn_test_r2%20%3D%201%20-%20np.sum((y_test%20-%20y_knn_pred_test)**2)%20%2F%20np.sum((y_test%20-%20np.mean(y_test))**2)%0A%0A%20%20%20%20%23%20Create%20plot%0A%20%20%20%20knn_fig%20%3D%20go.Figure()%0A%0A%20%20%20%20%23%20Plot%20training%20data%0A%20%20%20%20knn_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_train%2C%0A%20%20%20%20%20%20%20%20y%3Dy_train%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'blue'%2C%20size%3D8%2C%20opacity%3D0.7)%2C%0A%20%20%20%20%20%20%20%20name%3D'Training%20Data'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Plot%20test%20data%0A%20%20%20%20knn_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_test%2C%0A%20%20%20%20%20%20%20%20y%3Dy_test%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'red'%2C%20size%3D10%2C%20symbol%3D'diamond'%2C%20opacity%3D0.8)%2C%0A%20%20%20%20%20%20%20%20name%3D'Test%20Data'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Plot%20true%20function%0A%20%20%20%20knn_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_grid%2C%0A%20%20%20%20%20%20%20%20y%3Dy_true%2C%0A%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'black'%2C%20dash%3D'dash'%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20name%3D'True%20Function'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Plot%20k-NN%20prediction%0A%20%20%20%20knn_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_grid%2C%0A%20%20%20%20%20%20%20%20y%3Dy_knn_pred_grid%2C%0A%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'darkblue'%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20name%3Df'k-NN%20Regression%20(k%3D%7Bk_value%7D)'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Plot%20test%20predictions%0A%20%20%20%20knn_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_test%2C%0A%20%20%20%20%20%20%20%20y%3Dy_knn_pred_test%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'orange'%2C%20size%3D8%2C%20symbol%3D'x')%2C%0A%20%20%20%20%20%20%20%20name%3D'Test%20Predictions'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Show%20nearest%20neighbours%20for%20the%20query%20point%20if%20requested%0A%20%20%20%20if%20show_neighbours.value%3A%0A%20%20%20%20%20%20%20%20%23%20Use%20the%20query%20point%20from%20slider%0A%20%20%20%20%20%20%20%20query_point_knn%20%3D%20query_point_knn_slider.value%0A%20%20%20%20%20%20%20%20query_idx_knn%20%3D%20abs(x_grid%20-%20query_point_knn).argmin()%0A%20%20%20%20%20%20%20%20query_prediction%20%3D%20knn_model.predict(%5B%5Bquery_point_knn%5D%5D)%5B0%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Find%20k%20nearest%20neighbours%0A%20%20%20%20%20%20%20%20distances_knn%2C%20indices_knn%20%3D%20knn_model.kneighbors(%5B%5Bquery_point_knn%5D%5D%2C%20n_neighbors%3Dk_value)%0A%20%20%20%20%20%20%20%20neighbour_x_knn%20%3D%20x_train%5Bindices_knn%5B0%5D%5D%0A%20%20%20%20%20%20%20%20neighbour_y_knn%20%3D%20y_train%5Bindices_knn%5B0%5D%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Highlight%20the%20query%20point%0A%20%20%20%20%20%20%20%20knn_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bquery_point_knn%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bquery_prediction%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'red'%2C%20size%3D15%2C%20symbol%3D'star')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df'Query%20Point%20(x%3D%7Bquery_point_knn%3A.1f%7D)'%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Highlight%20nearest%20neighbours%0A%20%20%20%20%20%20%20%20knn_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dneighbour_x_knn%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dneighbour_y_knn%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'orange'%2C%20size%3D12%2C%20line%3Ddict(color%3D'red'%2C%20width%3D2))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df'%7Bk_value%7D%20Nearest%20Neighbours'%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Draw%20lines%20to%20neighbours%0A%20%20%20%20%20%20%20%20for%20nx%2C%20ny%20in%20zip(neighbour_x_knn%2C%20neighbour_y_knn)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20knn_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bquery_point_knn%2C%20nx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bquery_prediction%2C%20ny%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'red'%2C%20dash%3D'dash'%2C%20width%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D'skip'%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20knn_fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3Df'k-NN%20Regression%20(k%3D%7Bk_value%7D)%20-%20Test%20MSE%3A%20%7Bknn_test_mse%3A.3f%7D%2C%20R%C2%B2%3A%20%7Bknn_test_r2%3A.3f%7D'%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D'Predictor%20(x)'%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D'Response%20(y)'%2C%0A%20%20%20%20%20%20%20%20width%3D900%2C%0A%20%20%20%20%20%20%20%20height%3D600%2C%0A%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20)%0A%20%20%20%20return%20(knn_test_r2%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Kernel%20Functions%0A%0A%20%20%20%20%20%20%20%20Kernel%20functions%20provide%20systematic%20weighting%20schemes%20for%20observations%20based%20on%20their%20distance%20from%20target%20points.%20Common%20kernel%20functions%20include%3A%0A%0A%20%20%20%20%20%20%20%20-%20**Gaussian%20(Normal)**%3A%20%24K(u)%20%3D%20%5Cfrac%7B1%7D%7B%5Csqrt%7B2%5Cpi%7D%7D%20e%5E%7B-%5Cfrac%7Bu%5E2%7D%7B2%7D%7D%24%0A%20%20%20%20%20%20%20%20-%20**Epanechnikov**%3A%20%24K(u)%20%3D%20%5Cfrac%7B3%7D%7B4%7D(1-u%5E2)%24%20for%20%24%7Cu%7C%20%5Cleq%201%24%2C%200%20otherwise%0A%20%20%20%20%20%20%20%20-%20**Triangular**%3A%20%24K(u)%20%3D%20(1-%7Cu%7C)%24%20for%20%24%7Cu%7C%20%5Cleq%201%24%2C%200%20otherwise%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20Define%20kernel%20functions%0A%20%20%20%20def%20gaussian_kernel(u%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Gaussian%20(Normal)%20kernel%20function.%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.exp(-0.5%20*%20u**2)%20%2F%20np.sqrt(2%20*%20np.pi)%0A%0A%20%20%20%20def%20epanechnikov_kernel(u%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Epanechnikov%20kernel%20function.%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.where(np.abs(u)%20%3C%3D%201%2C%200.75%20*%20(1%20-%20u**2)%2C%200)%0A%0A%20%20%20%20def%20triangular_kernel(u%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Triangular%20kernel%20function.%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.where(np.abs(u)%20%3C%3D%201%2C%201%20-%20np.abs(u)%2C%200)%0A%0A%20%20%20%20def%20uniform_kernel(u%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Uniform%20kernel%20function.%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.where(np.abs(u)%20%3C%3D%201%2C%200.5%2C%200)%0A%0A%20%20%20%20%23%20Dictionary%20of%20available%20kernels%0A%20%20%20%20KERNELS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'Gaussian'%3A%20gaussian_kernel%2C%0A%20%20%20%20%20%20%20%20'Epanechnikov'%3A%20epanechnikov_kernel%2C%0A%20%20%20%20%20%20%20%20'Triangular'%3A%20triangular_kernel%2C%0A%20%20%20%20%20%20%20%20'Uniform'%3A%20uniform_kernel%0A%20%20%20%20%7D%0A%20%20%20%20return%20(KERNELS%2C)%0A%0A%0A%40app.cell%0Adef%20_(KERNELS%2C%20go%2C%20np)%3A%0A%20%20%20%20%23%20Visualize%20kernel%20functions%0A%20%20%20%20u_vals%20%3D%20np.linspace(-2%2C%202%2C%20400)%0A%0A%20%20%20%20kernel_fig%20%3D%20go.Figure()%0A%0A%20%20%20%20colors%20%3D%20%5B'blue'%2C%20'red'%2C%20'green'%2C%20'orange'%5D%0A%20%20%20%20for%20kernel_idx%2C%20(kernel_name%2C%20kernel_func)%20in%20enumerate(KERNELS.items())%3A%0A%20%20%20%20%20%20%20%20kernel_vals%20%3D%20kernel_func(u_vals)%0A%20%20%20%20%20%20%20%20kernel_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Du_vals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dkernel_vals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D3%2C%20color%3Dcolors%5Bkernel_idx%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Dkernel_name%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20kernel_fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3D'Comparison%20of%20Kernel%20Functions'%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D'u%20(standardized%20distance)'%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D'K(u)%20(kernel%20weight)'%2C%0A%20%20%20%20%20%20%20%20width%3D700%2C%0A%20%20%20%20%20%20%20%20height%3D400%2C%0A%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Callable%2C%20np)%3A%0A%20%20%20%20%23%20Nadaraya-Watson%20regression%20implementation%0A%20%20%20%20def%20nadaraya_watson_regression(x_train%3A%20np.ndarray%2C%20y_train%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x_pred%3A%20np.ndarray%2C%20bandwidth%3A%20float%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kernel%3A%20Callable)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Implement%20Nadaraya-Watson%20kernel%20regression.%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-%20x_train%3A%20Training%20predictor%20values%0A%20%20%20%20%20%20%20%20-%20y_train%3A%20Training%20response%20values%0A%20%20%20%20%20%20%20%20-%20x_pred%3A%20Prediction%20points%0A%20%20%20%20%20%20%20%20-%20bandwidth%3A%20Kernel%20bandwidth%20parameter%0A%20%20%20%20%20%20%20%20-%20kernel%3A%20Kernel%20function%20to%20use%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20-%20predictions%3A%20Predicted%20values%20at%20x_pred%20points%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20predictions%20%3D%20np.zeros(len(x_pred))%0A%0A%20%20%20%20%20%20%20%20for%20i%2C%20x_point%20in%20enumerate(x_pred)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20standardized%20distances%0A%20%20%20%20%20%20%20%20%20%20%20%20distances%20%3D%20(x_point%20-%20x_train)%20%2F%20bandwidth%0A%20%20%20%20%20%20%20%20%20%20%20%20weights%20%3D%20kernel(distances)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Nadaraya-Watson%20estimate%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.sum(weights)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20predictions%5Bi%5D%20%3D%20np.sum(weights%20*%20y_train)%20%2F%20np.sum(weights)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20predictions%5Bi%5D%20%3D%20np.mean(y_train)%20%20%23%20Fallback%20for%20zero%20weights%0A%0A%20%20%20%20%20%20%20%20return%20predictions%0A%20%20%20%20return%20(nadaraya_watson_regression%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Nadaraya-Watson%20Kernel%20Regression%0A%0A%20%20%20%20%20%20%20%20The%20Nadaraya-Watson%20estimator%20provides%20smooth%20function%20estimates%20through%20kernel%20weighting%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%5Chat%7Bf%7D(x_0)%20%3D%20%5Cfrac%7B%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20K%5Cleft(%5Cfrac%7Bx_0%20-%20x_i%7D%7Bh%7D%5Cright)%20y_i%7D%7B%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20K%5Cleft(%5Cfrac%7Bx_0%20-%20x_i%7D%7Bh%7D%5Cright)%7D%24%24%0A%0A%20%20%20%20%20%20%20%20where%20%24K(%5Ccdot)%24%20is%20the%20kernel%20function%20and%20%24h%24%20is%20the%20bandwidth%20parameter.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(KERNELS%2C%20mo)%3A%0A%20%20%20%20%23%20UI%20controls%20for%20Nadaraya-Watson%20regression%0A%20%20%20%20kernel_selector%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3Dlist(KERNELS.keys())%2C%0A%20%20%20%20%20%20%20%20value%3D'Gaussian'%2C%0A%20%20%20%20%20%20%20%20label%3D'Kernel%20Function%3A'%0A%20%20%20%20)%0A%0A%20%20%20%20bandwidth_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.2%2C%20stop%3D3.0%2C%20step%3D0.2%2C%20value%3D1.0%2C%0A%20%20%20%20%20%20%20%20label%3D'Bandwidth%20(h)%3A'%0A%20%20%20%20)%0A%0A%20%20%20%20query_point_nw_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D10.0%2C%20step%3D0.1%2C%20value%3D5.0%2C%0A%20%20%20%20%20%20%20%20label%3D%22Query%20Point%20(x-value)%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20show_weights%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20value%3DFalse%2C%20label%3D'Show%20Kernel%20Weights%20for%20Query%20Point'%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**Nadaraya-Watson%20Parameters%3A**%0A%0A%20%20%20%20%7Bkernel_selector%7D%0A%20%20%20%20%7Bbandwidth_slider%7D%0A%20%20%20%20%7Bquery_point_nw_slider%7D%0A%20%20%20%20%7Bshow_weights%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20bandwidth_slider%2C%0A%20%20%20%20%20%20%20%20kernel_selector%2C%0A%20%20%20%20%20%20%20%20query_point_nw_slider%2C%0A%20%20%20%20%20%20%20%20show_weights%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20KERNELS%2C%0A%20%20%20%20bandwidth_slider%2C%0A%20%20%20%20go%2C%0A%20%20%20%20kernel_selector%2C%0A%20%20%20%20nadaraya_watson_regression%2C%0A%20%20%20%20np%2C%0A%20%20%20%20query_point_nw_slider%2C%0A%20%20%20%20show_weights%2C%0A%20%20%20%20x_grid%2C%0A%20%20%20%20x_test%2C%0A%20%20%20%20x_train%2C%0A%20%20%20%20y_test%2C%0A%20%20%20%20y_train%2C%0A%20%20%20%20y_true%2C%0A)%3A%0A%20%20%20%20%23%20Nadaraya-Watson%20Regression%0A%20%20%20%20selected_kernel_func%20%3D%20KERNELS%5Bkernel_selector.value%5D%0A%20%20%20%20bandwidth%20%3D%20bandwidth_slider.value%0A%0A%20%20%20%20%23%20Fit%20Nadaraya-Watson%20model%0A%20%20%20%20y_nw_pred_grid%20%3D%20nadaraya_watson_regression(x_train%2C%20y_train%2C%20x_grid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bandwidth%2C%20selected_kernel_func)%0A%20%20%20%20y_nw_pred_test%20%3D%20nadaraya_watson_regression(x_train%2C%20y_train%2C%20x_test%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bandwidth%2C%20selected_kernel_func)%0A%0A%20%20%20%20%23%20Calculate%20test%20performance%0A%20%20%20%20nw_test_mse%20%3D%20np.mean((y_test%20-%20y_nw_pred_test)**2)%0A%20%20%20%20nw_test_r2%20%3D%201%20-%20np.sum((y_test%20-%20y_nw_pred_test)**2)%20%2F%20np.sum((y_test%20-%20np.mean(y_test))**2)%0A%0A%20%20%20%20%23%20Create%20plot%0A%20%20%20%20nw_fig%20%3D%20go.Figure()%0A%0A%20%20%20%20%23%20Plot%20training%20data%0A%20%20%20%20nw_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_train%2C%0A%20%20%20%20%20%20%20%20y%3Dy_train%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'blue'%2C%20size%3D8%2C%20opacity%3D0.7)%2C%0A%20%20%20%20%20%20%20%20name%3D'Training%20Data'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Plot%20test%20data%0A%20%20%20%20nw_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_test%2C%0A%20%20%20%20%20%20%20%20y%3Dy_test%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'red'%2C%20size%3D10%2C%20symbol%3D'diamond'%2C%20opacity%3D0.8)%2C%0A%20%20%20%20%20%20%20%20name%3D'Test%20Data'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Plot%20true%20function%0A%20%20%20%20nw_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_grid%2C%0A%20%20%20%20%20%20%20%20y%3Dy_true%2C%0A%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'black'%2C%20dash%3D'dash'%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20name%3D'True%20Function'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Plot%20Nadaraya-Watson%20prediction%0A%20%20%20%20nw_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_grid%2C%0A%20%20%20%20%20%20%20%20y%3Dy_nw_pred_grid%2C%0A%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'darkred'%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20name%3Df'Nadaraya-Watson%20(%7Bkernel_selector.value%7D)'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Plot%20test%20predictions%0A%20%20%20%20nw_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_test%2C%0A%20%20%20%20%20%20%20%20y%3Dy_nw_pred_test%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'orange'%2C%20size%3D8%2C%20symbol%3D'x')%2C%0A%20%20%20%20%20%20%20%20name%3D'Test%20Predictions'%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Show%20kernel%20weights%20for%20the%20query%20point%20if%20requested%0A%20%20%20%20if%20show_weights.value%3A%0A%20%20%20%20%20%20%20%20%23%20Use%20the%20query%20point%20from%20slider%0A%20%20%20%20%20%20%20%20query_point_nw%20%3D%20query_point_nw_slider.value%0A%20%20%20%20%20%20%20%20query_prediction_nw%20%3D%20nadaraya_watson_regression(%0A%20%20%20%20%20%20%20%20%20%20%20%20x_train%2C%20y_train%2C%20np.array(%5Bquery_point_nw%5D)%2C%20bandwidth%2C%20selected_kernel_func%0A%20%20%20%20%20%20%20%20)%5B0%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Calculate%20weights%20for%20all%20training%20points%0A%20%20%20%20%20%20%20%20distances_nw%20%3D%20(query_point_nw%20-%20x_train)%20%2F%20bandwidth%0A%20%20%20%20%20%20%20%20weights_nw%20%3D%20selected_kernel_func(distances_nw)%0A%20%20%20%20%20%20%20%20weights_normalized_nw%20%3D%20weights_nw%20%2F%20np.sum(weights_nw)%20if%20np.sum(weights_nw)%20%3E%200%20else%20weights_nw%0A%0A%20%20%20%20%20%20%20%20%23%20Highlight%20the%20query%20point%0A%20%20%20%20%20%20%20%20nw_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bquery_point_nw%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bquery_prediction_nw%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'red'%2C%20size%3D15%2C%20symbol%3D'star')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df'Query%20Point%20(x%3D%7Bquery_point_nw%3A.1f%7D)'%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Show%20weights%20as%20varying%20size%0A%20%20%20%20%20%20%20%20for%20weight_idx%2C%20(xi%2C%20yi%2C%20w)%20in%20enumerate(zip(x_train%2C%20y_train%2C%20weights_normalized_nw))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20w%20%3E%200.001%3A%20%20%23%20Only%20show%20significant%20weights%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20nw_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bxi%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Byi%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D'orange'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3Dmax(8%2C%20300*w%20%2B%206)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'red'%2C%20width%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3Df'Weight%3A%20%7Bw%3A.3f%7D%3Cbr%3Ex%3A%20%7Bxi%3A.2f%7D%3Cbr%3Ey%3A%20%7Byi%3A.2f%7D%3Cextra%3E%3C%2Fextra%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20nw_fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3Df'Nadaraya-Watson%20(%7Bkernel_selector.value%7D%2C%20h%3D%7Bbandwidth%7D)%20-%20Test%20MSE%3A%20%7Bnw_test_mse%3A.3f%7D%2C%20R%C2%B2%3A%20%7Bnw_test_r2%3A.3f%7D'%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D'Predictor%20(x)'%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D'Response%20(y)'%2C%0A%20%20%20%20%20%20%20%20width%3D900%2C%0A%20%20%20%20%20%20%20%20height%3D600%2C%0A%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20)%0A%20%20%20%20return%20(nw_test_r2%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Method%20Comparison%0A%0A%20%20%20%20%20%20%20%20Let's%20compare%20both%20methods%20side%20by%20side%20to%20understand%20their%20different%20characteristics%20using%20proper%20train%2Ftest%20evaluation.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20KERNELS%2C%0A%20%20%20%20KNeighborsRegressor%2C%0A%20%20%20%20bandwidth_slider%2C%0A%20%20%20%20go%2C%0A%20%20%20%20k_slider%2C%0A%20%20%20%20kernel_selector%2C%0A%20%20%20%20make_subplots%2C%0A%20%20%20%20nadaraya_watson_regression%2C%0A%20%20%20%20np%2C%0A%20%20%20%20x_grid%2C%0A%20%20%20%20x_test%2C%0A%20%20%20%20x_train%2C%0A%20%20%20%20y_test%2C%0A%20%20%20%20y_train%2C%0A%20%20%20%20y_true%2C%0A)%3A%0A%20%20%20%20%23%20Side-by-side%20comparison%20with%20proper%20test%20evaluation%0A%20%20%20%20comparison_fig%20%3D%20make_subplots(%0A%20%20%20%20%20%20%20%20rows%3D1%2C%20cols%3D2%2C%0A%20%20%20%20%20%20%20%20subplot_titles%3D(f'k-NN%20Regression%20(k%3D%7Bk_slider.value%7D)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Nadaraya-Watson%20(h%3D%7Bbandwidth_slider.value%7D)')%2C%0A%20%20%20%20%20%20%20%20horizontal_spacing%3D0.1%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20k-NN%20plot%20(left)%0A%20%20%20%20comp_knn_model%20%3D%20KNeighborsRegressor(n_neighbors%3Dk_slider.value)%0A%20%20%20%20comp_knn_model.fit(x_train.reshape(-1%2C%201)%2C%20y_train)%0A%20%20%20%20y_knn_comp_grid%20%3D%20comp_knn_model.predict(x_grid.reshape(-1%2C%201))%0A%20%20%20%20y_knn_comp_test%20%3D%20comp_knn_model.predict(x_test.reshape(-1%2C%201))%0A%0A%20%20%20%20knn_comp_mse%20%3D%20np.mean((y_test%20-%20y_knn_comp_test)**2)%0A%0A%20%20%20%20%23%20Add%20k-NN%20traces%0A%20%20%20%20comparison_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_train%2C%20y%3Dy_train%2C%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'blue'%2C%20size%3D6%2C%20opacity%3D0.7)%2C%0A%20%20%20%20%20%20%20%20name%3D'Training%20Data'%2C%20showlegend%3DTrue%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D1)%0A%0A%20%20%20%20comparison_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_test%2C%20y%3Dy_test%2C%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'red'%2C%20size%3D8%2C%20symbol%3D'diamond'%2C%20opacity%3D0.8)%2C%0A%20%20%20%20%20%20%20%20name%3D'Test%20Data'%2C%20showlegend%3DTrue%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D1)%0A%0A%20%20%20%20comparison_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_grid%2C%20y%3Dy_true%2C%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'black'%2C%20dash%3D'dash'%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20name%3D'True%20Function'%2C%20showlegend%3DTrue%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D1)%0A%0A%20%20%20%20comparison_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_grid%2C%20y%3Dy_knn_comp_grid%2C%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'darkblue'%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20name%3Df'k-NN%20(k%3D%7Bk_slider.value%7D)'%2C%20showlegend%3DTrue%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D1)%0A%0A%20%20%20%20%23%20Nadaraya-Watson%20plot%20(right)%0A%20%20%20%20comp_kernel_func%20%3D%20KERNELS%5Bkernel_selector.value%5D%0A%20%20%20%20y_nw_comp_grid%20%3D%20nadaraya_watson_regression(x_train%2C%20y_train%2C%20x_grid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bandwidth_slider.value%2C%20comp_kernel_func)%0A%20%20%20%20y_nw_comp_test%20%3D%20nadaraya_watson_regression(x_train%2C%20y_train%2C%20x_test%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bandwidth_slider.value%2C%20comp_kernel_func)%0A%0A%20%20%20%20nw_comp_mse%20%3D%20np.mean((y_test%20-%20y_nw_comp_test)**2)%0A%0A%20%20%20%20%23%20Add%20Nadaraya-Watson%20traces%0A%20%20%20%20comparison_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_train%2C%20y%3Dy_train%2C%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'blue'%2C%20size%3D6%2C%20opacity%3D0.7)%2C%0A%20%20%20%20%20%20%20%20name%3D'Training%20Data'%2C%20showlegend%3DFalse%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D2)%0A%0A%20%20%20%20comparison_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_test%2C%20y%3Dy_test%2C%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'red'%2C%20size%3D8%2C%20symbol%3D'diamond'%2C%20opacity%3D0.8)%2C%0A%20%20%20%20%20%20%20%20name%3D'Test%20Data'%2C%20showlegend%3DFalse%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D2)%0A%0A%20%20%20%20comparison_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_grid%2C%20y%3Dy_true%2C%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'black'%2C%20dash%3D'dash'%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20name%3D'True%20Function'%2C%20showlegend%3DFalse%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D2)%0A%0A%20%20%20%20comparison_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_grid%2C%20y%3Dy_nw_comp_grid%2C%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'darkred'%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20name%3Df'Nadaraya-Watson%20(%7Bkernel_selector.value%7D)'%2C%20showlegend%3DTrue%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D2)%0A%0A%20%20%20%20comparison_fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3Df'Method%20Comparison%20-%20k-NN%20MSE%3A%20%7Bknn_comp_mse%3A.3f%7D%2C%20NW%20MSE%3A%20%7Bnw_comp_mse%3A.3f%7D'%2C%0A%20%20%20%20%20%20%20%20width%3D1200%2C%0A%20%20%20%20%20%20%20%20height%3D600%2C%0A%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20)%0A%0A%20%20%20%20comparison_fig.update_xaxes(title_text%3D%22Predictor%20(x)%22)%0A%20%20%20%20comparison_fig.update_yaxes(title_text%3D%22Response%20(y)%22)%0A%20%20%20%20return%20knn_comp_mse%2C%20nw_comp_mse%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20bandwidth_slider%2C%0A%20%20%20%20k_slider%2C%0A%20%20%20%20knn_comp_mse%2C%0A%20%20%20%20knn_test_r2%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nw_comp_mse%2C%0A%20%20%20%20nw_test_r2%2C%0A)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Test%20Set%20Performance%20Comparison%0A%0A%20%20%20%20**Evaluation%20on%20Hold-out%20Test%20Set%3A**%0A%0A%20%20%20%20%7C%20Method%20%7C%20Test%20MSE%20%7C%20Test%20R%C2%B2%20%7C%0A%20%20%20%20%7C--------%7C----------%7C---------%7C%0A%20%20%20%20%7C%20k-NN%20(k%3D%7Bk_slider.value%7D)%20%7C%20%7Bknn_comp_mse%3A.4f%7D%20%7C%20%7Bknn_test_r2%3A.4f%7D%20%7C%0A%20%20%20%20%7C%20Nadaraya-Watson%20(h%3D%7Bbandwidth_slider.value%7D)%20%7C%20%7Bnw_comp_mse%3A.4f%7D%20%7C%20%7Bnw_test_r2%3A.4f%7D%20%7C%0A%0A%20%20%20%20**Note%3A**%20These%20metrics%20are%20calculated%20on%20the%20test%20set%20that%20was%20held%20out%20from%20training.%20This%20provides%20an%20unbiased%20estimate%20of%20model%20performance%20on%20unseen%20data.%0A%0A%20%20%20%20**Key%20Insight%3A**%20Lower%20MSE%20and%20higher%20R%C2%B2%20indicate%20better%20performance.%20The%20test%20set%20evaluation%20helps%20us%20understand%20which%20method%20generalises%20better%20to%20new%20data%20points.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Key%20Insights%20and%20Best%20Practices%0A%0A%20%20%20%20%20%20%20%20%23%23%23%20Parameter%20Selection%0A%0A%20%20%20%20%20%20%20%20**k-NN%20Regression%3A**%0A%20%20%20%20%20%20%20%20-%20**Small%20k**%3A%20More%20flexible%2C%20can%20capture%20local%20patterns%20but%20may%20overfit%0A%20%20%20%20%20%20%20%20-%20**Large%20k**%3A%20Smoother%20predictions%20but%20may%20underfit%0A%20%20%20%20%20%20%20%20-%20**Rule%20of%20thumb**%3A%20Try%20k%20%3D%20%E2%88%9An%20as%20a%20starting%20point%2C%20then%20experiment%0A%0A%20%20%20%20%20%20%20%20**Nadaraya-Watson%20Regression%3A**%0A%20%20%20%20%20%20%20%20-%20**Small%20bandwidth%20(h)**%3A%20More%20flexible%2C%20follows%20data%20closely%20but%20may%20be%20noisy%0A%20%20%20%20%20%20%20%20-%20**Large%20bandwidth%20(h)**%3A%20Smoother%20predictions%20but%20may%20miss%20important%20patterns%0A%20%20%20%20%20%20%20%20-%20**Bandwidth%20selection**%3A%20Critical%20for%20good%20performance%2C%20experiment%20with%20different%20values%0A%0A%20%20%20%20%20%20%20%20%23%23%23%20Interactive%20Learning%20Benefits%0A%0A%20%20%20%20%20%20%20%20**Query%20Point%20Exploration%3A**%0A%20%20%20%20%20%20%20%20-%20Use%20the%20query%20point%20sliders%20to%20see%20exactly%20how%20predictions%20are%20made%20at%20specific%20locations%0A%20%20%20%20%20%20%20%20-%20Observe%20how%20nearest%20neighbours%20or%20kernel%20weights%20change%20across%20the%20input%20space%0A%20%20%20%20%20%20%20%20-%20Understanding%20local%20prediction%20behaviour%20helps%20build%20intuition%0A%0A%20%20%20%20%20%20%20%20%23%23%23%20Method%20Comparison%0A%0A%20%20%20%20%20%20%20%20-%20**k-NN**%3A%20Step-wise%20predictions%2C%20focuses%20on%20exact%20neighbours%0A%20%20%20%20%20%20%20%20-%20**Nadaraya-Watson**%3A%20Smooth%20continuous%20predictions%2C%20uses%20weighted%20averaging%0A%20%20%20%20%20%20%20%20-%20**Performance**%3A%20Compare%20test%20set%20MSE%20and%20R%C2%B2%20to%20evaluate%20which%20works%20better%20for%20your%20data%0A%0A%20%20%20%20%20%20%20%20%23%23%23%20Statistical%20Considerations%0A%0A%20%20%20%20%20%20%20%20-%20**Test%20set%20evaluation**%20provides%20unbiased%20performance%20estimates%0A%20%20%20%20%20%20%20%20-%20**Different%20data%20patterns**%20may%20favor%20different%20methods%0A%20%20%20%20%20%20%20%20-%20**Parameter%20tuning**%20is%20essential%20for%20optimal%20performance%0A%20%20%20%20%20%20%20%20-%20**Visual%20inspection**%20of%20fits%20helps%20understand%20method%20behaviour%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A