knn marimo

import%20marimo%0A%0A__generated_with%20%3D%20%220.16.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%20k-Nearest%20Neighbours%20(k-NN)%20Classification%20Interactive%20Tutorial%0A%0A%20%20%20%20%20%20%20%20Welcome%20to%20this%20interactive%20tutorial%20on%20**k-Nearest%20Neighbours%20Classification**!%20This%20notebook%20will%20help%20you%20understand%20the%20fundamental%20concepts%20of%20k-NN%20through%20hands-on%20experimentation.%0A%0A%20%20%20%20%20%20%20%20%23%23%20What%20is%20k-NN%20Classification%3F%0A%0A%20%20%20%20%20%20%20%20The%20**k-Nearest%20Neighbours**%20algorithm%20is%20one%20of%20the%20simplest%20and%20most%20intuitive%20machine%20learning%20algorithms.%20It%20classifies%20data%20points%20based%20on%20the%20class%20of%20their%20nearest%20neighbours%20in%20the%20feature%20space.%0A%0A%20%20%20%20%20%20%20%20%23%23%23%20Key%20Concepts%3A%0A%0A%20%20%20%20%20%20%20%20**%F0%9F%93%8A%20The%20Algorithm%3A**%0A%0A%20%20%20%20%20%20%20%201.%20Choose%20a%20value%20for%20**k**%20(number%20of%20neighbours%20to%20consider)%0A%20%20%20%20%20%20%20%202.%20Calculate%20the%20distance%20from%20the%20new%20point%20to%20all%20training%20points%0A%20%20%20%20%20%20%20%203.%20Find%20the%20**k%20closest**%20training%20points%0A%20%20%20%20%20%20%20%204.%20Assign%20the%20**majority%20class**%20amongst%20these%20k%20neighbours%0A%0A%20%20%20%20%20%20%20%20**%F0%9F%93%8F%20Distance%20Metrics%3A**%0A%0A%20%20%20%20%20%20%20%20-%20**Euclidean%20Distance**%3A%20%E2%88%9A%5B(x%E2%82%81-x%E2%82%82)%C2%B2%20%2B%20(y%E2%82%81-y%E2%82%82)%C2%B2%5D%20(most%20common)%0A%20%20%20%20%20%20%20%20-%20**Manhattan%20Distance**%3A%20%7Cx%E2%82%81-x%E2%82%82%7C%20%2B%20%7Cy%E2%82%81-y%E2%82%82%7C%0A%20%20%20%20%20%20%20%20-%20**Minkowski%20Distance**%3A%20Generalisation%20of%20the%20above%0A%0A%20%20%20%20%20%20%20%20**%F0%9F%8E%AF%20Decision%20Boundary%3A**%0A%0A%20%20%20%20%20%20%20%20The%20decision%20boundary%20separates%20different%20classes%20in%20the%20feature%20space.%20With%20k-NN%2C%20this%20boundary%20becomes%20smoother%20as%20k%20increases.%0A%0A%20%20%20%20%20%20%20%20**%F0%9F%94%A7%20Choosing%20k%3A**%0A%0A%20%20%20%20%20%20%20%20-%20**Small%20k%20(k%3D1)**%3A%20More%20sensitive%20to%20noise%2C%20complex%20boundaries%0A%20%20%20%20%20%20%20%20-%20**Large%20k**%3A%20Smoother%20boundaries%2C%20may%20oversimplify%0A%20%20%20%20%20%20%20%20-%20**Odd%20k**%3A%20Helps%20avoid%20ties%20in%20binary%20classification%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Import%20all%20necessary%20libraries%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20from%20sklearn.datasets%20import%20make_blobs%2C%20make_classification%0A%20%20%20%20from%20sklearn.neighbors%20import%20KNeighborsClassifier%0A%20%20%20%20from%20sklearn.model_selection%20import%20train_test_split%0A%20%20%20%20from%20sklearn.metrics%20import%20accuracy_score%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20plotly.subplots%20import%20make_subplots%0A%20%20%20%20import%20plotly.express%20as%20px%0A%0A%20%20%20%20%23%20Set%20random%20seed%20for%20reproducibility%0A%20%20%20%20np.random.seed(42)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20KNeighborsClassifier%2C%0A%20%20%20%20%20%20%20%20accuracy_score%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20make_blobs%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20train_test_split%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%20%F0%9F%8E%9B%EF%B8%8F%20Interactive%20Data%20Generation%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20UI%20controls%20for%20data%20generation%0A%20%20%20%20n_samples_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D50%2C%20stop%3D300%2C%20step%3D25%2C%20value%3D150%2C%20label%3D%22Number%20of%20data%20points%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20cluster_std_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.5%2C%20stop%3D3.0%2C%20step%3D0.1%2C%20value%3D1.5%2C%20label%3D%22Class%20separation%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20random_state_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D100%2C%20step%3D1%2C%20value%3D42%2C%20label%3D%22Random%20seed%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20**Adjust%20the%20data%20generation%20parameters%3A**%0A%0A%20%20%20%20%20%20%20%20%7Bn_samples_slider%7D%0A%0A%20%20%20%20%20%20%20%20%7Bcluster_std_slider%7D%0A%0A%20%20%20%20%20%20%20%20%7Brandom_state_slider%7D%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20cluster_std_slider%2C%20n_samples_slider%2C%20random_state_slider%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20cluster_std_slider%2C%0A%20%20%20%20go%2C%0A%20%20%20%20make_blobs%2C%0A%20%20%20%20n_samples_slider%2C%0A%20%20%20%20random_state_slider%2C%0A)%3A%0A%20%20%20%20%23%20Generate%20synthetic%20dataset%20based%20on%20UI%20controls%0A%20%20%20%20def%20generate_data()%3A%0A%20%20%20%20%20%20%20%20X%2C%20y%20%3D%20make_blobs(%0A%20%20%20%20%20%20%20%20%20%20%20%20n_samples%3Dn_samples_slider.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20centers%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20cluster_std%3D3.5%20-%20cluster_std_slider.value%2C%20%20%23%20Fixed%3A%20inverted%20for%20intuitive%20behavior%0A%20%20%20%20%20%20%20%20%20%20%20%20random_state%3Drandom_state_slider.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20center_box%3D(-5%2C%205)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20X%2C%20y%0A%0A%20%20%20%20X%2C%20y%20%3D%20generate_data()%0A%0A%20%20%20%20%23%20Store%20original%20data%20for%20reference%0A%20%20%20%20X_original%2C%20y_original%20%3D%20X.copy()%2C%20y.copy()%0A%0A%20%20%20%20%23%20Create%20a%20simple%20scatter%20plot%20of%20the%20generated%20data%0A%20%20%20%20data_fig%20%3D%20go.Figure()%0A%0A%20%20%20%20_colors%20%3D%20%5B'red'%2C%20'blue'%5D%0A%20%20%20%20_class_names%20%3D%20%5B'Class%200'%2C%20'Class%201'%5D%0A%0A%20%20%20%20for%20_i%20in%20range(2)%3A%0A%20%20%20%20%20%20%20%20_mask%20%3D%20y%20%3D%3D%20_i%0A%20%20%20%20%20%20%20%20data_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3DX%5B_mask%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3DX%5B_mask%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D_colors%5B_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'black'%2C%20width%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D_class_names%5B_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20data_fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3Df'Generated%20Dataset%20(%7Bn_samples_slider.value%7D%20points)'%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D'Feature%201'%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D'Feature%202'%2C%0A%20%20%20%20%20%20%20%20width%3D600%2C%0A%20%20%20%20%20%20%20%20height%3D400%2C%0A%20%20%20%20%20%20%20%20hovermode%3D'closest'%0A%20%20%20%20)%0A%0A%20%20%20%20data_fig%0A%20%20%20%20return%20X%2C%20y%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%20%F0%9F%A4%96%20k-NN%20Classification%20with%20Interactive%20k%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20UI%20control%20for%20k%20value%0A%20%20%20%20k_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D20%2C%20step%3D1%2C%20value%3D5%2C%20label%3D%22k%20(number%20of%20neighbours)%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**Choose%20the%20value%20of%20k%3A**%0A%0A%20%20%20%20%7Bk_slider%7D%0A%0A%20%20%20%20Watch%20how%20the%20decision%20boundary%20changes%20as%20you%20adjust%20k!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20(k_slider%2C)%0A%0A%0A%40app.cell%0Adef%20_(KNeighborsClassifier%2C%20X%2C%20go%2C%20k_slider%2C%20np%2C%20y)%3A%0A%20%20%20%20%23%20Create%20and%20train%20k-NN%20classifier%0A%20%20%20%20def%20create_knn_model(k_val)%3A%0A%20%20%20%20%20%20%20%20_knn_model%20%3D%20KNeighborsClassifier(n_neighbors%3Dk_val)%0A%20%20%20%20%20%20%20%20_knn_model.fit(X%2C%20y)%0A%20%20%20%20%20%20%20%20return%20_knn_model%0A%0A%20%20%20%20%23%20Create%20decision%20boundary%20visualization%20using%20Plotly%0A%20%20%20%20def%20create_decision_boundary_plot(X%2C%20y%2C%20k_val)%3A%0A%20%20%20%20%20%20%20%20_boundary_knn%20%3D%20create_knn_model(k_val)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20a%20mesh%20to%20plot%20the%20decision%20boundary%0A%20%20%20%20%20%20%20%20h%20%3D%200.1%20%20%23%20Step%20size%20in%20the%20mesh%0A%20%20%20%20%20%20%20%20x_min%2C%20x_max%20%3D%20X%5B%3A%2C%200%5D.min()%20-%201%2C%20X%5B%3A%2C%200%5D.max()%20%2B%201%0A%20%20%20%20%20%20%20%20y_min%2C%20y_max%20%3D%20X%5B%3A%2C%201%5D.min()%20-%201%2C%20X%5B%3A%2C%201%5D.max()%20%2B%201%0A%20%20%20%20%20%20%20%20xx%2C%20yy%20%3D%20np.meshgrid(np.arange(x_min%2C%20x_max%2C%20h)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.arange(y_min%2C%20y_max%2C%20h))%0A%0A%20%20%20%20%20%20%20%20%23%20Make%20predictions%20on%20the%20mesh%0A%20%20%20%20%20%20%20%20mesh_points%20%3D%20np.c_%5Bxx.ravel()%2C%20yy.ravel()%5D%0A%20%20%20%20%20%20%20%20Z%20%3D%20_boundary_knn.predict(mesh_points)%0A%20%20%20%20%20%20%20%20Z%20%3D%20Z.reshape(xx.shape)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20the%20plotly%20figure%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20decision%20boundary%20as%20contour%0A%20%20%20%20%20%20%20%20fig.add_trace(go.Contour(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dnp.arange(x_min%2C%20x_max%2C%20h)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dnp.arange(y_min%2C%20y_max%2C%20h)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20z%3DZ%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D%5B%5B0%2C%20'lightcoral'%5D%2C%20%5B1%2C%20'lightblue'%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Decision%20Boundary'%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Plot%20data%20points%0A%20%20%20%20%20%20%20%20_plot_colors%20%3D%20%5B'red'%2C%20'blue'%5D%0A%20%20%20%20%20%20%20%20_plot_class_names%20%3D%20%5B'Class%200'%2C%20'Class%201'%5D%0A%20%20%20%20%20%20%20%20for%20_plot_i%2C%20_color%20in%20enumerate(_plot_colors)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_plot_mask%20%3D%20y%20%3D%3D%20_plot_i%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3DX%5B_plot_mask%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3DX%5B_plot_mask%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'black'%2C%20width%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D_plot_class_names%5B_plot_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Update%20layout%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df'k-NN%20Classification%20with%20k%3D%7Bk_val%7D%3Cbr%3EDecision%20Boundary%20Visualisation'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D'Feature%201'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D'Feature%202'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D800%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D600%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovermode%3D'closest'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20%23%20Create%20and%20display%20the%20plot%0A%20%20%20%20decision_plot%20%3D%20create_decision_boundary_plot(X%2C%20y%2C%20k_slider.value)%0A%20%20%20%20decision_plot%0A%20%20%20%20return%20(create_knn_model%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20%F0%9F%93%8A%20Performance%20Evaluation%0A%0A%20%20%20%20To%20properly%20evaluate%20our%20k-NN%20model%2C%20we%20need%20to%20split%20our%20data%20into%20**training**%20and%20**testing**%20sets.%20This%20prevents%20overfitting%20and%20gives%20us%20a%20realistic%20estimate%20of%20how%20the%20model%20will%20perform%20on%20new%2C%20unseen%20data.%0A%0A%20%20%20%20**Train-Test%20Split%20Strategy%3A**%0A%0A%20%20%20%20-%20**70%25%20Training%20Data**%3A%20Used%20to%20fit%20the%20k-NN%20model%0A%20%20%20%20-%20**30%25%20Testing%20Data**%3A%20Used%20to%20evaluate%20model%20performance%0A%20%20%20%20-%20**Stratified%20Sampling**%3A%20Maintains%20the%20same%20class%20proportions%20in%20both%20splits%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20KNeighborsClassifier%2C%0A%20%20%20%20X%2C%0A%20%20%20%20accuracy_score%2C%0A%20%20%20%20k_slider%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20train_test_split%2C%0A%20%20%20%20y%2C%0A)%3A%0A%20%20%20%20%23%20Performance%20evaluation%20across%20different%20k%20values%0A%20%20%20%20def%20evaluate_k_values(X%2C%20y%2C%20max_k%3D20)%3A%0A%20%20%20%20%20%20%20%20%23%20Split%20data%20for%20proper%20evaluation%0A%20%20%20%20%20%20%20%20X_train%2C%20X_test%2C%20y_train%2C%20y_test%20%3D%20train_test_split(%0A%20%20%20%20%20%20%20%20%20%20%20%20X%2C%20y%2C%20test_size%3D0.3%2C%20random_state%3D42%2C%20stratify%3Dy%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20k_values%20%3D%20range(1%2C%20max_k%20%2B%201)%0A%20%20%20%20%20%20%20%20train_accuracies%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20test_accuracies%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20for%20k%20in%20k_values%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_eval_knn%20%3D%20KNeighborsClassifier(n_neighbors%3Dk)%0A%20%20%20%20%20%20%20%20%20%20%20%20_eval_knn.fit(X_train%2C%20y_train)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Training%20accuracy%0A%20%20%20%20%20%20%20%20%20%20%20%20train_pred%20%3D%20_eval_knn.predict(X_train)%0A%20%20%20%20%20%20%20%20%20%20%20%20train_acc%20%3D%20accuracy_score(y_train%2C%20train_pred)%0A%20%20%20%20%20%20%20%20%20%20%20%20train_accuracies.append(train_acc)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Testing%20accuracy%0A%20%20%20%20%20%20%20%20%20%20%20%20test_pred%20%3D%20_eval_knn.predict(X_test)%0A%20%20%20%20%20%20%20%20%20%20%20%20test_acc%20%3D%20accuracy_score(y_test%2C%20test_pred)%0A%20%20%20%20%20%20%20%20%20%20%20%20test_accuracies.append(test_acc)%0A%0A%20%20%20%20%20%20%20%20return%20k_values%2C%20train_accuracies%2C%20test_accuracies%0A%0A%20%20%20%20%23%20Generate%20performance%20data%0A%20%20%20%20k_vals%2C%20train_acc%2C%20test_acc%20%3D%20evaluate_k_values(X%2C%20y)%0A%0A%20%20%20%20%23%20Find%20best%20k%20and%20current%20k%20for%20summary%0A%20%20%20%20current_k%20%3D%20k_slider.value%0A%20%20%20%20best_k%20%3D%20k_vals%5Bnp.argmax(test_acc)%5D%0A%20%20%20%20best_acc%20%3D%20max(test_acc)%0A%0A%20%20%20%20%23%20Calculate%20dataset%20info%0A%20%20%20%20X_train%2C%20X_test%2C%20y_train%2C%20y_test%20%3D%20train_test_split(%0A%20%20%20%20%20%20%20%20X%2C%20y%2C%20test_size%3D0.3%2C%20random_state%3D42%2C%20stratify%3Dy%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Create%20performance%20summary%20(elbow%20plot%20removed%20as%20requested)%0A%20%20%20%20performance_summary%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20%F0%9F%93%88%20**Performance%20Summary%3A**%0A%0A%20%20%20%20**Dataset%20Split%3A**%0A%0A%20%20%20%20-%20**Training%20Set**%3A%20%7Blen(X_train)%7D%20samples%20(%7Blen(X_train)%2Flen(X)*100%3A.1f%7D%25)%0A%20%20%20%20-%20**Testing%20Set**%3A%20%7Blen(X_test)%7D%20samples%20(%7Blen(X_test)%2Flen(X)*100%3A.1f%7D%25)%0A%0A%20%20%20%20**Model%20Performance%3A**%0A%0A%20%20%20%20-%20**Current%20k%3D%7Bcurrent_k%7D**%3A%20Test%20Accuracy%20%3D%20%7Btest_acc%5Bcurrent_k-1%5D%3A.3f%7D%0A%20%20%20%20-%20**Best%20k%3D%7Bbest_k%7D**%3A%20Test%20Accuracy%20%3D%20%7Bbest_acc%3A.3f%7D%0A%0A%20%20%20%20**Key%20Concepts%3A**%0A%0A%20%20%20%20-%20**Training%20vs%20Testing**%3A%20Testing%20accuracy%20indicates%20how%20well%20the%20model%20generalises%20to%20new%20data%0A%20%20%20%20-%20**Optimal%20k**%3A%20Balances%20bias%20and%20variance%20for%20best%20generalisation%0A%20%20%20%20-%20**Cross-validation**%3A%20The%20best%20approach%20for%20selecting%20optimal%20k%20in%20practice%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20%23%20Display%20the%20summary%0A%20%20%20%20performance_summary%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%8E%AF%20Interactive%20Prediction%0A%0A%20%20%20%20%20%20%20%20**Instructions%3A**%0A%0A%20%20%20%20%20%20%20%201.%20Enter%20x%20and%20y%20coordinates%20below%20to%20add%20a%20new%20point%20for%20prediction%0A%20%20%20%20%20%20%20%202.%20The%20algorithm%20will%20predict%20its%20class%20using%20the%20current%20k%20value%0A%20%20%20%20%20%20%20%203.%20The%20k%20nearest%20neighbours%20will%20be%20highlighted%0A%20%20%20%20%20%20%20%204.%20The%20prediction%20will%20be%20displayed%20with%20the%20plot%0A%0A%20%20%20%20%20%20%20%20**Try%20different%20points%20to%20see%20how%20k-NN%20classification%20works!**%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Create%20input%20controls%20for%20prediction%20point%0A%20%20%20%20x_input%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20start%3D-8%2C%20stop%3D8%2C%20step%3D0.1%2C%20value%3D0.0%2C%20label%3D%22X%20coordinate%3A%22%0A%20%20%20%20)%0A%20%20%20%20y_input%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20start%3D-8%2C%20stop%3D8%2C%20step%3D0.1%2C%20value%3D0.0%2C%20label%3D%22Y%20coordinate%3A%22%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Use%20checkbox%20as%20trigger%20instead%20of%20button%20for%20better%20reactivity%0A%20%20%20%20trigger_prediction%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20label%3D%22Show%20prediction%20for%20point%20above%22%2C%20value%3DFalse%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**Enter%20coordinates%20for%20a%20new%20point%3A**%0A%0A%20%20%20%20%7Bx_input%7D%0A%0A%20%20%20%20%7By_input%7D%0A%0A%20%20%20%20%7Btrigger_prediction%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20trigger_prediction%2C%20x_input%2C%20y_input%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20X%2C%0A%20%20%20%20create_knn_model%2C%0A%20%20%20%20go%2C%0A%20%20%20%20k_slider%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20trigger_prediction%2C%0A%20%20%20%20x_input%2C%0A%20%20%20%20y%2C%0A%20%20%20%20y_input%2C%0A)%3A%0A%20%20%20%20%23%20Create%20the%20base%20plot%20with%20training%20data%0A%20%20%20%20pred_fig%20%3D%20go.Figure()%0A%0A%20%20%20%20%23%20Plot%20original%20data%20points%0A%20%20%20%20_pred_colors%20%3D%20%5B'red'%2C%20'blue'%5D%0A%20%20%20%20_pred_class_names%20%3D%20%5B'Class%200'%2C%20'Class%201'%5D%0A%0A%20%20%20%20for%20_pred_i%20in%20range(2)%3A%0A%20%20%20%20%20%20%20%20_pred_mask%20%3D%20y%20%3D%3D%20_pred_i%0A%20%20%20%20%20%20%20%20pred_fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3DX%5B_pred_mask%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3DX%5B_pred_mask%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3D_pred_colors%5B_pred_i%5D%2C%20size%3D8%2C%20line%3Ddict(color%3D'black'%2C%20width%3D1))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D_pred_class_names%5B_pred_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_prediction_info%20%3D%20%22%22%0A%0A%20%20%20%20%23%20If%20checkbox%20is%20checked%20and%20we%20have%20valid%20inputs%2C%20make%20prediction%0A%20%20%20%20if%20trigger_prediction.value%20and%20x_input.value%20is%20not%20None%20and%20y_input.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20new_x%2C%20new_y%20%3D%20x_input.value%2C%20y_input.value%0A%20%20%20%20%20%20%20%20new_point%20%3D%20np.array(%5B%5Bnew_x%2C%20new_y%5D%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20k-NN%20model%20and%20make%20prediction%0A%20%20%20%20%20%20%20%20_pred_knn%20%3D%20create_knn_model(k_slider.value)%0A%20%20%20%20%20%20%20%20prediction%20%3D%20_pred_knn.predict(new_point)%5B0%5D%0A%20%20%20%20%20%20%20%20probabilities%20%3D%20_pred_knn.predict_proba(new_point)%5B0%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Find%20k%20nearest%20neighbours%0A%20%20%20%20%20%20%20%20distances%2C%20indices%20%3D%20_pred_knn.kneighbors(new_point%2C%20n_neighbors%3Dk_slider.value)%0A%20%20%20%20%20%20%20%20neighbor_points%20%3D%20X%5Bindices%5B0%5D%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20new%20point%20to%20plot%0A%20%20%20%20%20%20%20%20pred_fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bnew_x%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bnew_y%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D'gold'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D15%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20symbol%3D'star'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'black'%2C%20width%3D2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'New%20Point'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Highlight%20k%20nearest%20neighbours%0A%20%20%20%20%20%20%20%20pred_fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dneighbor_points%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dneighbor_points%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D'lime'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D12%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20symbol%3D'circle-open'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'green'%2C%20width%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df'%7Bk_slider.value%7D%20Nearest%20Neighbours'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Draw%20lines%20to%20nearest%20neighbours%0A%20%20%20%20%20%20%20%20for%20_neighbor%20in%20neighbor_points%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pred_fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bnew_x%2C%20_neighbor%5B0%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bnew_y%2C%20_neighbor%5B1%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'green'%2C%20width%3D1%2C%20dash%3D'dot')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D'skip'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20prediction%20info%0A%20%20%20%20%20%20%20%20neighbor_classes%20%3D%20y%5Bindices%5B0%5D%5D%0A%20%20%20%20%20%20%20%20class_counts%20%3D%20np.bincount(neighbor_classes%2C%20minlength%3D2)%0A%0A%20%20%20%20%20%20%20%20_prediction_info%20%3D%20f%22%22%22%0A%20%20%20%20%F0%9F%8E%AF%20**Prediction%20Results%3A**%0A%0A%20%20%20%20**New%20Point%3A**%20(%7Bnew_x%3A.2f%7D%2C%20%7Bnew_y%3A.2f%7D)%0A%0A%20%20%20%20**Predicted%20Class%3A**%20%7Bprediction%7D%20(%7B_pred_class_names%5Bprediction%5D%7D)%0A%0A%20%20%20%20**Confidence%3A**%20%7Bprobabilities%5Bprediction%5D%3A.3f%7D%0A%0A%20%20%20%20**k%3D%7Bk_slider.value%7D%20Nearest%20Neighbours%3A**%0A%0A%20%20%20%20-%20Class%200%3A%20%7Bclass_counts%5B0%5D%7D%20neighbours%0A%20%20%20%20-%20Class%201%3A%20%7Bclass_counts%5B1%5D%7D%20neighbours%0A%0A%20%20%20%20**Decision%3A**%20Majority%20vote%20%3D%20Class%20%7Bprediction%7D%0A%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20%23%20Update%20layout%0A%20%20%20%20pred_fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3Df%22k-NN%20Interactive%20Prediction%20(k%3D%7Bk_slider.value%7D)%22%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D%22Feature%201%22%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D%22Feature%202%22%2C%0A%20%20%20%20%20%20%20%20width%3D700%2C%0A%20%20%20%20%20%20%20%20height%3D500%2C%0A%20%20%20%20%20%20%20%20hovermode%3D'closest'%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Display%20info%0A%20%20%20%20if%20_prediction_info%3A%0A%20%20%20%20%20%20%20%20_pred_info%20%3D%20mo.md(_prediction_info)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_pred_info%20%3D%20mo.md(%22%F0%9F%91%86%20Enter%20coordinates%20above%20and%20check%20the%20box%20to%20see%20k-NN%20in%20action!%22)%0A%0A%20%20%20%20(pred_fig%2C%20_pred_info)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%8E%93%20Key%20Takeaways%0A%0A%20%20%20%20%20%20%20%20**What%20you've%20learnt%3A**%0A%0A%20%20%20%20%20%20%20%201.%20**k-NN%20Basics**%3A%20The%20algorithm%20classifies%20points%20based%20on%20the%20majority%20class%20of%20their%20k%20nearest%20neighbours%0A%0A%20%20%20%20%20%20%20%202.%20**Impact%20of%20k**%3A%0A%0A%20%20%20%20%20%20%20%20%20%20%20-%20**Small%20k**%3A%20More%20sensitive%20to%20noise%2C%20complex%20decision%20boundaries%0A%20%20%20%20%20%20%20%20%20%20%20-%20**Large%20k**%3A%20Smoother%20boundaries%2C%20may%20oversimplify%20patterns%0A%20%20%20%20%20%20%20%20%20%20%20-%20**Optimal%20k**%3A%20Found%20using%20validation%2Fcross-validation%0A%0A%20%20%20%20%20%20%20%203.%20**Decision%20Boundaries**%3A%20Visual%20representation%20of%20how%20the%20algorithm%20separates%20different%20classes%0A%0A%20%20%20%20%20%20%20%204.%20**Model%20Evaluation**%3A%20Training%20vs.%20testing%20accuracy%20helps%20identify%20overfitting%2Funderfitting%0A%0A%20%20%20%20%20%20%20%205.%20**Interactive%20Prediction**%3A%20Real-time%20classification%20demonstrates%20how%20the%20algorithm%20works%0A%0A%20%20%20%20%20%20%20%20**Best%20Practices%3A**%0A%0A%20%20%20%20%20%20%20%20-%20Choose%20k%20using%20cross-validation%0A%20%20%20%20%20%20%20%20-%20Use%20odd%20values%20of%20k%20to%20avoid%20ties%20(in%20binary%20classification)%0A%20%20%20%20%20%20%20%20-%20Scale%2Fnormalise%20features%20when%20they%20have%20different%20units%0A%20%20%20%20%20%20%20%20-%20Consider%20computational%20cost%20for%20large%20datasets%0A%0A%20%20%20%20%20%20%20%20**Next%20Steps%3A**%0A%0A%20%20%20%20%20%20%20%20-%20Experiment%20with%20different%20datasets%0A%20%20%20%20%20%20%20%20-%20Try%20different%20distance%20metrics%0A%20%20%20%20%20%20%20%20-%20Explore%20feature%20scaling%20effects%0A%20%20%20%20%20%20%20%20-%20Compare%20with%20other%20classification%20algorithms%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20---%0A%0A%20%20%20%20%20%20%20%20**%F0%9F%93%9A%20Additional%20Resources%3A**%0A%20%20%20%20%20%20%20%20-%20Scikit-learn%20k-NN%20Documentation%0A%20%20%20%20%20%20%20%20-%20%22Pattern%20Recognition%20and%20Machine%20Learning%22%20by%20Bishop%0A%20%20%20%20%20%20%20%20-%20%22The%20Elements%20of%20Statistical%20Learning%22%20by%20Hastie%20et%20al.%0A%0A%20%20%20%20%20%20%20%20*This%20interactive%20tutorial%20was%20created%20with%20Marimo%20for%20educational%20purposes.*%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A