OLS Geometry Explorer

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22plotly%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.20.2%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%22OLS%20Geometry%20Explorer%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20return%20go%2C%20mo%2C%20np%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np)%3A%0A%20%20%20%20def%20projection_matrix(X)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Compute%20the%20projection%20matrix%20P_X%20%3D%20X%20(X'X)%5E%7B-1%7D%20X'.%22%22%22%0A%20%20%20%20%20%20%20%20return%20X%20%40%20np.linalg.solve(X.T%20%40%20X%2C%20X.T)%0A%0A%20%20%20%20def%20residual_maker(X)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Compute%20the%20residual-maker%20matrix%20M_X%20%3D%20I%20-%20P_X.%22%22%22%0A%20%20%20%20%20%20%20%20n%20%3D%20X.shape%5B0%5D%0A%20%20%20%20%20%20%20%20return%20np.eye(n)%20-%20projection_matrix(X)%0A%0A%20%20%20%20def%20ols_fit(X%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Return%20(beta_hat%2C%20y_hat%2C%20residuals)%20from%20OLS.%22%22%22%0A%20%20%20%20%20%20%20%20beta_hat%20%3D%20np.linalg.solve(X.T%20%40%20X%2C%20X.T%20%40%20y)%0A%20%20%20%20%20%20%20%20y_hat%20%3D%20X%20%40%20beta_hat%0A%20%20%20%20%20%20%20%20e%20%3D%20y%20-%20y_hat%0A%20%20%20%20%20%20%20%20return%20beta_hat%2C%20y_hat%2C%20e%0A%0A%20%20%20%20def%20calc_r_squared(y%2C%20e)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Centred%20R-squared.%22%22%22%0A%20%20%20%20%20%20%20%20ss_res%20%3D%20e%20%40%20e%0A%20%20%20%20%20%20%20%20y_bar%20%3D%20y.mean()%0A%20%20%20%20%20%20%20%20ss_tot%20%3D%20(y%20-%20y_bar)%20%40%20(y%20-%20y_bar)%0A%20%20%20%20%20%20%20%20if%20ss_tot%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20float(%22nan%22)%0A%20%20%20%20%20%20%20%20return%201.0%20-%20ss_res%20%2F%20ss_tot%0A%0A%20%20%20%20def%20calc_r_squared_uncentred(y%2C%20y_hat)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Uncentred%20R-squared.%22%22%22%0A%20%20%20%20%20%20%20%20yy%20%3D%20y%20%40%20y%0A%20%20%20%20%20%20%20%20if%20yy%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20float(%22nan%22)%0A%20%20%20%20%20%20%20%20return%20(y_hat%20%40%20y_hat)%20%2F%20yy%0A%0A%20%20%20%20return%20calc_r_squared%2C%20calc_r_squared_uncentred%2C%20ols_fit%2C%20projection_matrix%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(go%2C%20np)%3A%0A%20%20%20%20NMU_GREEN%20%3D%20%22%23006B34%22%0A%20%20%20%20NMU_DARK_BLUE%20%3D%20%22%2318324B%22%0A%20%20%20%20NMU_PURPLE%20%3D%20%22%236C284F%22%0A%0A%20%20%20%20COLOUR_X%20%3D%20%22%230072BD%22%0A%20%20%20%20COLOUR_Y%20%3D%20%22%23D9531A%22%0A%20%20%20%20COLOUR_YHAT%20%3D%20NMU_GREEN%0A%20%20%20%20COLOUR_RESIDUAL%20%3D%20NMU_PURPLE%0A%20%20%20%20COLOUR_CUSTOM%20%3D%20%22%23E6AB02%22%20%20%23%20gold%20%E2%80%94%20custom%2Fauxiliary%20vector%0A%20%20%20%20COLOUR_PLANE%20%3D%20%22rgba(200%2C200%2C200%2C0.35)%22%0A%20%20%20%20COLOUR_RIGHT_ANGLE%20%3D%20%22%23888888%22%0A%0A%20%20%20%20def%20arrow_cone(tip%2C%20direction%2C%20colour%2C%20size%3D0.08)%3A%0A%20%20%20%20%20%20%20%20d%20%3D%20np.asarray(direction%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20norm%20%3D%20np.linalg.norm(d)%0A%20%20%20%20%20%20%20%20if%20norm%20%3C%201e-12%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20d%20%3D%20np.array(%5B0.0%2C%200.0%2C%201.0%5D)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20d%20%3D%20d%20%2F%20norm%0A%20%20%20%20%20%20%20%20return%20go.Cone(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Btip%5B0%5D%5D%2C%20y%3D%5Btip%5B1%5D%5D%2C%20z%3D%5Btip%5B2%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20u%3D%5Bd%5B0%5D%5D%2C%20v%3D%5Bd%5B1%5D%5D%2C%20w%3D%5Bd%5B2%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20sizemode%3D%22absolute%22%2C%20sizeref%3Dsize%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D%5B%5B0%2C%20colour%5D%2C%20%5B1%2C%20colour%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22skip%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20vector_trace(origin%2C%20tip%2C%20colour%2C%20name%2C%20width%3D5%2C%20dash%3DNone%2C%20show_arrow%3DTrue)%3A%0A%20%20%20%20%20%20%20%20o%20%3D%20np.asarray(origin%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20t%20%3D%20np.asarray(tip%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20line%20%3D%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bo%5B0%5D%2C%20t%5B0%5D%5D%2C%20y%3D%5Bo%5B1%5D%2C%20t%5B1%5D%5D%2C%20z%3D%5Bo%5B2%5D%2C%20t%5B2%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dcolour%2C%20width%3Dwidth%2C%20dash%3Ddash)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Dname%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22name%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20traces%20%3D%20%5Bline%5D%0A%20%20%20%20%20%20%20%20if%20show_arrow%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20traces.append(arrow_cone(t%2C%20t%20-%20o%2C%20colour))%0A%20%20%20%20%20%20%20%20return%20traces%0A%0A%20%20%20%20def%20plane_mesh(x1%2C%20x2%2C%20colour%3DCOLOUR_PLANE%2C%20n_grid%3D6)%3A%0A%20%20%20%20%20%20%20%20origin%20%3D%20np.zeros(3)%0A%20%20%20%20%20%20%20%20s_vals%20%3D%20np.linspace(-0.3%2C%201.3%2C%20n_grid)%0A%20%20%20%20%20%20%20%20t_vals%20%3D%20np.linspace(-0.3%2C%201.3%2C%20n_grid)%0A%20%20%20%20%20%20%20%20ss%2C%20tt%20%3D%20np.meshgrid(s_vals%2C%20t_vals)%0A%20%20%20%20%20%20%20%20pts%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20origin%5B%3A%2C%20None%2C%20None%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20np.outer(x1%2C%20np.ones(n_grid))%5B...%2C%20None%5D%20*%20ss%5BNone%2C%20%3A%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20np.outer(x2%2C%20np.ones(n_grid))%5B...%2C%20None%5D%20*%20tt%5BNone%2C%20%3A%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20go.Mesh3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dpts%5B0%5D.ravel()%2C%20y%3Dpts%5B1%5D.ravel()%2C%20z%3Dpts%5B2%5D.ravel()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dcolour%2C%20opacity%3D0.30%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Column%20space%22%2C%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22name%22%2C%20alphahull%3D0%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20right_angle_traces(vertex%2C%20arm_a%2C%20arm_b%2C%20size%3D0.18)%3A%0A%20%20%20%20%20%20%20%20a%20%3D%20np.asarray(arm_a%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20b%20%3D%20np.asarray(arm_b%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20na%2C%20nb%20%3D%20np.linalg.norm(a)%2C%20np.linalg.norm(b)%0A%20%20%20%20%20%20%20%20if%20na%20%3C%201e-12%20or%20nb%20%3C%201e-12%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%5B%5D%0A%20%20%20%20%20%20%20%20a_hat%20%3D%20a%20%2F%20na%20*%20size%0A%20%20%20%20%20%20%20%20b_hat%20%3D%20b%20%2F%20nb%20*%20size%0A%20%20%20%20%20%20%20%20v%20%3D%20np.asarray(vertex%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20pts%20%3D%20%5Bv%20%2B%20a_hat%2C%20v%20%2B%20a_hat%20%2B%20b_hat%2C%20v%20%2B%20b_hat%5D%0A%20%20%20%20%20%20%20%20return%20%5Bgo.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bp%5B0%5D%20for%20p%20in%20pts%5D%2C%20y%3D%5Bp%5B1%5D%20for%20p%20in%20pts%5D%2C%20z%3D%5Bp%5B2%5D%20for%20p%20in%20pts%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20line%3Ddict(color%3DCOLOUR_RIGHT_ANGLE%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Right%20angle%22%2C%20showlegend%3DFalse%2C%20hoverinfo%3D%22skip%22%2C%0A%20%20%20%20%20%20%20%20)%5D%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLOUR_CUSTOM%2C%0A%20%20%20%20%20%20%20%20COLOUR_RESIDUAL%2C%0A%20%20%20%20%20%20%20%20COLOUR_X%2C%0A%20%20%20%20%20%20%20%20COLOUR_Y%2C%0A%20%20%20%20%20%20%20%20COLOUR_YHAT%2C%0A%20%20%20%20%20%20%20%20plane_mesh%2C%0A%20%20%20%20%20%20%20%20right_angle_traces%2C%0A%20%20%20%20%20%20%20%20vector_trace%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20The%20Geometry%20of%20Ordinary%20Least%20Squares%0A%0A%20%20%20%20This%20interactive%20tool%20accompanies%20**Section%201.4**%20of%20the%20STAT321%20lecture%0A%20%20%20%20notes%20(%6004-ols-geometry.pdf%60).%20Change%20the%20vector%20entries%20below%20and%20use%20the%20tick%20boxes%20to%20explore%0A%20%20%20%20how%20%24%5Chat%7B%5Cmathbf%7By%7D%7D%24%2C%20the%20residuals%2C%20and%20the%20projection%20matrices%0A%20%20%20%20respond.%20**Click%20and%20drag**%20the%203D%20plot%20to%20rotate%20it%3B%20**scroll**%20to%20zoom.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20x1_1%20%3D%20mo.ui.number(value%3D2.5%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%20%20%20%20x1_2%20%3D%20mo.ui.number(value%3D0.5%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%20%20%20%20x1_3%20%3D%20mo.ui.number(value%3D0.5%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%0A%20%20%20%20x2_1%20%3D%20mo.ui.number(value%3D-0.5%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%20%20%20%20x2_2%20%3D%20mo.ui.number(value%3D2.5%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%20%20%20%20x2_3%20%3D%20mo.ui.number(value%3D0.3%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%0A%20%20%20%20y_1%20%3D%20mo.ui.number(value%3D2.0%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%20%20%20%20y_2%20%3D%20mo.ui.number(value%3D1.0%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%20%20%20%20y_3%20%3D%20mo.ui.number(value%3D2.5%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%0A%20%20%20%20%23%20Custom%20%2F%20auxiliary%20vector%20(default%3A%20%C8%B3%C2%B7%CE%B9%20for%20demonstrating%0A%20%20%20%20%23%20that%20the%20mean%20vector%20lies%20in%20the%20column%20space)%0A%20%20%20%20c_1%20%3D%20mo.ui.number(value%3D1.83%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%20%20%20%20c_2%20%3D%20mo.ui.number(value%3D1.83%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%20%20%20%20c_3%20%3D%20mo.ui.number(value%3D1.83%2C%20step%3D0.1%2C%20label%3D%22%22%2C%20full_width%3DTrue)%0A%0A%20%20%20%20data_grid%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%7C%20%7C%20**x%5Cu2081**%20%7C%20**x%5Cu2082**%20%7C%20**y**%20%7C%0A%20%20%20%20%20%20%20%20%7C%3A---%7C%3A---%3A%7C%3A---%3A%7C%3A---%3A%7C%0A%20%20%20%20%20%20%20%20%7C%20**Obs%201**%20%7C%20%7Bx1_1%7D%20%7C%20%7Bx2_1%7D%20%7C%20%7By_1%7D%20%7C%0A%20%20%20%20%20%20%20%20%7C%20**Obs%202**%20%7C%20%7Bx1_2%7D%20%7C%20%7Bx2_2%7D%20%7C%20%7By_2%7D%20%7C%0A%20%20%20%20%20%20%20%20%7C%20**Obs%203**%20%7C%20%7Bx1_3%7D%20%7C%20%7Bx2_3%7D%20%7C%20%7By_3%7D%20%7C%0A%0A%20%20%20%20%20%20%20%20%7C%20%7C%20**Custom%20vector**%20%7C%0A%20%20%20%20%20%20%20%20%7C%3A---%7C%3A---%3A%7C%0A%20%20%20%20%20%20%20%20%7C%20**Obs%201**%20%7C%20%7Bc_1%7D%20%7C%0A%20%20%20%20%20%20%20%20%7C%20**Obs%202**%20%7C%20%7Bc_2%7D%20%7C%0A%20%20%20%20%20%20%20%20%7C%20**Obs%203**%20%7C%20%7Bc_3%7D%20%7C%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20c_1%2C%0A%20%20%20%20%20%20%20%20c_2%2C%0A%20%20%20%20%20%20%20%20c_3%2C%0A%20%20%20%20%20%20%20%20data_grid%2C%0A%20%20%20%20%20%20%20%20x1_1%2C%0A%20%20%20%20%20%20%20%20x1_2%2C%0A%20%20%20%20%20%20%20%20x1_3%2C%0A%20%20%20%20%20%20%20%20x2_1%2C%0A%20%20%20%20%20%20%20%20x2_2%2C%0A%20%20%20%20%20%20%20%20x2_3%2C%0A%20%20%20%20%20%20%20%20y_1%2C%0A%20%20%20%20%20%20%20%20y_2%2C%0A%20%20%20%20%20%20%20%20y_3%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20show_column_space%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22Column%20space%20(plane)%22)%0A%20%20%20%20show_x1%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22x%5Cu2081%20vector%22)%0A%20%20%20%20show_x2%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22x%5Cu2082%20vector%22)%0A%20%20%20%20show_y%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22y%20(observed)%22)%0A%20%20%20%20show_y_hat%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22%5Cu0177%20(fitted%20values)%22)%0A%20%20%20%20show_residual%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22y%20%5Cu2212%20%5Cu0177%20(residuals)%22)%0A%20%20%20%20show_right_angle%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22Right-angle%20marker%22)%0A%20%20%20%20show_axes%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22Observation%20axes%22)%0A%20%20%20%20show_projection_lines%20%3D%20mo.ui.checkbox(value%3DFalse%2C%20label%3D%22%5Cu0177%20drop-lines%20to%20axes%22)%0A%20%20%20%20show_custom%20%3D%20mo.ui.checkbox(value%3DFalse%2C%20label%3D%22Custom%20vector%22)%0A%0A%20%20%20%20tick_boxes%20%3D%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bshow_column_space%2C%20show_x1%2C%20show_x2%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bshow_y%2C%20show_y_hat%2C%20show_residual%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bshow_right_angle%2C%20show_axes%2C%20show_projection_lines%2C%20show_custom%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20show_axes%2C%0A%20%20%20%20%20%20%20%20show_column_space%2C%0A%20%20%20%20%20%20%20%20show_custom%2C%0A%20%20%20%20%20%20%20%20show_projection_lines%2C%0A%20%20%20%20%20%20%20%20show_residual%2C%0A%20%20%20%20%20%20%20%20show_right_angle%2C%0A%20%20%20%20%20%20%20%20show_x1%2C%0A%20%20%20%20%20%20%20%20show_x2%2C%0A%20%20%20%20%20%20%20%20show_y%2C%0A%20%20%20%20%20%20%20%20show_y_hat%2C%0A%20%20%20%20%20%20%20%20tick_boxes%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20c_1%2C%0A%20%20%20%20c_2%2C%0A%20%20%20%20c_3%2C%0A%20%20%20%20calc_r_squared%2C%0A%20%20%20%20calc_r_squared_uncentred%2C%0A%20%20%20%20np%2C%0A%20%20%20%20ols_fit%2C%0A%20%20%20%20projection_matrix%2C%0A%20%20%20%20x1_1%2C%0A%20%20%20%20x1_2%2C%0A%20%20%20%20x1_3%2C%0A%20%20%20%20x2_1%2C%0A%20%20%20%20x2_2%2C%0A%20%20%20%20x2_3%2C%0A%20%20%20%20y_1%2C%0A%20%20%20%20y_2%2C%0A%20%20%20%20y_3%2C%0A)%3A%0A%20%20%20%20x1_vec%20%3D%20np.array(%5Bx1_1.value%2C%20x1_2.value%2C%20x1_3.value%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20x2_vec%20%3D%20np.array(%5Bx2_1.value%2C%20x2_2.value%2C%20x2_3.value%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20y_vec%20%3D%20np.array(%5By_1.value%2C%20y_2.value%2C%20y_3.value%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20custom_vec%20%3D%20np.array(%5Bc_1.value%2C%20c_2.value%2C%20c_3.value%5D%2C%20dtype%3Dfloat)%0A%0A%20%20%20%20X_mat%20%3D%20np.column_stack(%5Bx1_vec%2C%20x2_vec%5D)%0A%20%20%20%20beta_hat%2C%20y_hat_vec%2C%20e_vec%20%3D%20ols_fit(X_mat%2C%20y_vec)%0A%0A%20%20%20%20P_mat%20%3D%20projection_matrix(X_mat)%0A%20%20%20%20M_mat%20%3D%20np.eye(3)%20-%20P_mat%0A%0A%20%20%20%20ssr_val%20%3D%20float(e_vec%20%40%20e_vec)%0A%20%20%20%20dist_val%20%3D%20float(np.sqrt(ssr_val))%0A%20%20%20%20r2_val%20%3D%20calc_r_squared(y_vec%2C%20e_vec)%0A%20%20%20%20r2u_val%20%3D%20calc_r_squared_uncentred(y_vec%2C%20y_hat_vec)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20M_mat%2C%0A%20%20%20%20%20%20%20%20P_mat%2C%0A%20%20%20%20%20%20%20%20X_mat%2C%0A%20%20%20%20%20%20%20%20beta_hat%2C%0A%20%20%20%20%20%20%20%20custom_vec%2C%0A%20%20%20%20%20%20%20%20dist_val%2C%0A%20%20%20%20%20%20%20%20e_vec%2C%0A%20%20%20%20%20%20%20%20r2_val%2C%0A%20%20%20%20%20%20%20%20r2u_val%2C%0A%20%20%20%20%20%20%20%20ssr_val%2C%0A%20%20%20%20%20%20%20%20x1_vec%2C%0A%20%20%20%20%20%20%20%20x2_vec%2C%0A%20%20%20%20%20%20%20%20y_hat_vec%2C%0A%20%20%20%20%20%20%20%20y_vec%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLOUR_CUSTOM%2C%0A%20%20%20%20COLOUR_RESIDUAL%2C%0A%20%20%20%20COLOUR_X%2C%0A%20%20%20%20COLOUR_Y%2C%0A%20%20%20%20COLOUR_YHAT%2C%0A%20%20%20%20custom_vec%2C%0A%20%20%20%20e_vec%2C%0A%20%20%20%20go%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plane_mesh%2C%0A%20%20%20%20right_angle_traces%2C%0A%20%20%20%20show_axes%2C%0A%20%20%20%20show_column_space%2C%0A%20%20%20%20show_custom%2C%0A%20%20%20%20show_projection_lines%2C%0A%20%20%20%20show_residual%2C%0A%20%20%20%20show_right_angle%2C%0A%20%20%20%20show_x1%2C%0A%20%20%20%20show_x2%2C%0A%20%20%20%20show_y%2C%0A%20%20%20%20show_y_hat%2C%0A%20%20%20%20vector_trace%2C%0A%20%20%20%20x1_vec%2C%0A%20%20%20%20x2_vec%2C%0A%20%20%20%20y_hat_vec%2C%0A%20%20%20%20y_vec%2C%0A)%3A%0A%20%20%20%20origin%20%3D%20np.zeros(3)%0A%20%20%20%20traces%20%3D%20%5B%5D%0A%0A%20%20%20%20if%20show_column_space.value%3A%0A%20%20%20%20%20%20%20%20traces.append(plane_mesh(x1_vec%2C%20x2_vec))%0A%20%20%20%20if%20show_x1.value%3A%0A%20%20%20%20%20%20%20%20traces.extend(vector_trace(origin%2C%20x1_vec%2C%20COLOUR_X%2C%20%22x%5Cu2081%22))%0A%20%20%20%20if%20show_x2.value%3A%0A%20%20%20%20%20%20%20%20traces.extend(vector_trace(origin%2C%20x2_vec%2C%20COLOUR_X%2C%20%22x%5Cu2082%22))%0A%20%20%20%20if%20show_y.value%3A%0A%20%20%20%20%20%20%20%20traces.extend(vector_trace(origin%2C%20y_vec%2C%20COLOUR_Y%2C%20%22y%22))%0A%20%20%20%20if%20show_y_hat.value%3A%0A%20%20%20%20%20%20%20%20traces.extend(vector_trace(origin%2C%20y_hat_vec%2C%20COLOUR_YHAT%2C%20%22%5Cu0177%20(fitted)%22))%0A%20%20%20%20if%20show_residual.value%3A%0A%20%20%20%20%20%20%20%20traces.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20vector_trace(y_hat_vec%2C%20y_vec%2C%20COLOUR_RESIDUAL%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22y%20%5Cu2212%20%5Cu0177%20(residual)%22%2C%20dash%3D%22dash%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20if%20show_right_angle.value%20and%20show_residual.value%20and%20show_y_hat.value%3A%0A%20%20%20%20%20%20%20%20traces.extend(right_angle_traces(y_hat_vec%2C%20e_vec%2C%20-y_hat_vec))%0A%20%20%20%20if%20show_projection_lines.value%3A%0A%20%20%20%20%20%20%20%20%23%20Drop-lines%20from%20%C5%B7%20to%20each%20observation%20axis%2C%20showing%20the%0A%20%20%20%20%20%20%20%20%23%20individual%20fitted-value%20components.%0A%20%20%20%20%20%20%20%20drop_labels%20%3D%20%5B%22Obs%201%22%2C%20%22Obs%202%22%2C%20%22Obs%203%22%5D%0A%20%20%20%20%20%20%20%20for%20i%20in%20range(3)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20foot%20%3D%20np.zeros(3)%0A%20%20%20%20%20%20%20%20%20%20%20%20foot%5Bi%5D%20%3D%20y_hat_vec%5Bi%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20traces.append(go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5By_hat_vec%5B0%5D%2C%20foot%5B0%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5By_hat_vec%5B1%5D%2C%20foot%5B1%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3D%5By_hat_vec%5B2%5D%2C%20foot%5B2%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Btext%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22grey%22%2C%20width%3D2%2C%20dash%3D%22dot%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5B%22%22%2C%20f%22%5Cu0177%7Bchr(0x2081%20%2B%20i)%7D%20%3D%20%7By_hat_vec%5Bi%5D%3A.2f%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22bottom%20center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textfont%3Ddict(size%3D9%2C%20color%3D%22grey%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Drop%20to%20%7Bdrop_labels%5Bi%5D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3D(i%20%3D%3D%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22text%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20if%20show_custom.value%3A%0A%20%20%20%20%20%20%20%20traces.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20vector_trace(origin%2C%20custom_vec%2C%20COLOUR_CUSTOM%2C%20%22Custom%20vector%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20if%20show_axes.value%3A%0A%20%20%20%20%20%20%20%20axis_len%20%3D%20float(max(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.max(np.abs(x1_vec))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20np.max(np.abs(x2_vec))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20np.max(np.abs(y_vec))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20np.max(np.abs(custom_vec))%20if%20show_custom.value%20else%200%2C%0A%20%20%20%20%20%20%20%20)%20*%201.3)%0A%20%20%20%20%20%20%20%20for%20i%2C%20label%20in%20enumerate(%5B%22Obs%201%22%2C%20%22Obs%202%22%2C%20%22Obs%203%22%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20tip%20%3D%20np.zeros(3)%0A%20%20%20%20%20%20%20%20%20%20%20%20tip%5Bi%5D%20%3D%20axis_len%0A%20%20%20%20%20%20%20%20%20%20%20%20traces.append(go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B0%2C%20tip%5B0%5D%5D%2C%20y%3D%5B0%2C%20tip%5B1%5D%5D%2C%20z%3D%5B0%2C%20tip%5B2%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Btext%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22lightgrey%22%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5B%22%22%2C%20label%5D%2C%20textposition%3D%22top%20center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textfont%3Ddict(size%3D10%2C%20color%3D%22grey%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%20hoverinfo%3D%22skip%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20ols_fig%20%3D%20go.Figure(data%3Dtraces).update_layout(%0A%20%20%20%20%20%20%20%20scene%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Observation%201%22%2C%20showspikes%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Observation%202%22%2C%20showspikes%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zaxis%3Ddict(title%3D%22Observation%203%22%2C%20showspikes%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20aspectmode%3D%22cube%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20dragmode%3D%22turntable%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D0%2C%20r%3D0%2C%20t%3D30%2C%20b%3D0)%2C%0A%20%20%20%20%20%20%20%20height%3D620%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20yanchor%3D%22top%22%2C%20y%3D0.99%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xanchor%3D%22left%22%2C%20x%3D0.01%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22rgba(255%2C255%2C255%2C0.8)%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(ols_fig%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20beta_hat%2C%0A%20%20%20%20dist_val%2C%0A%20%20%20%20e_vec%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20r2_val%2C%0A%20%20%20%20r2u_val%2C%0A%20%20%20%20ssr_val%2C%0A%20%20%20%20x1_vec%2C%0A%20%20%20%20x2_vec%2C%0A%20%20%20%20y_hat_vec%2C%0A)%3A%0A%20%20%20%20stats_md%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Summary%0A%0A%20%20%20%20%20%20%20%20%7C%20Quantity%20%7C%20Value%20%7C%0A%20%20%20%20%20%20%20%20%7C%3A---%7C%3A---%7C%0A%20%20%20%20%20%20%20%20%7C%20%24%5C%5Chat%7B%7B%5C%5Cboldsymbol%7B%7B%5C%5Cbeta%7D%7D%7D%7D%24%20%7C%20%24(%7Bbeta_hat%5B0%5D%3A.4f%7D%2C%5C%5C%3B%20%7Bbeta_hat%5B1%5D%3A.4f%7D)%24%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%24%5C%5Chat%7B%7B%5C%5Cmathbf%7B%7By%7D%7D%7D%7D%24%20%7C%20%24(%7By_hat_vec%5B0%5D%3A.4f%7D%2C%5C%5C%3B%20%7By_hat_vec%5B1%5D%3A.4f%7D%2C%5C%5C%3B%20%7By_hat_vec%5B2%5D%3A.4f%7D)%24%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Residuals%20%24%5C%5Cmathbf%7B%7Be%7D%7D%24%20%7C%20%24(%7Be_vec%5B0%5D%3A.4f%7D%2C%5C%5C%3B%20%7Be_vec%5B1%5D%3A.4f%7D%2C%5C%5C%3B%20%7Be_vec%5B2%5D%3A.4f%7D)%24%20%7C%0A%20%20%20%20%20%20%20%20%7C%20SSR%20(%24%5C%5Cmathbf%7B%7Be'e%7D%7D%24)%20%7C%20%24%7Bssr_val%3A.4f%7D%24%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%24%5C%5C%7C%5C%5Cmathbf%7B%7By%7D%7D%20-%20%5C%5Chat%7B%7B%5C%5Cmathbf%7B%7By%7D%7D%7D%7D%5C%5C%7C%24%20%7C%20%24%7Bdist_val%3A.4f%7D%24%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Uncentred%20%24R%5E2_u%24%20%7C%20%24%7Br2u_val%3A.4f%7D%24%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Centred%20%24R%5E2%24%20%7C%20%24%7Br2_val%3A.4f%7D%24%20%7C%0A%0A%20%20%20%20%20%20%20%20**Orthogonality%20check**%20(should%20be%20%24%5C%5Capprox%200%24)%3A%0A%20%20%20%20%20%20%20%20%24%5C%5Cmathbf%7B%7Be'x%7D%7D_1%20%3D%20%7Bnp.dot(e_vec%2C%20x1_vec)%3A.2e%7D%24%2C%0A%20%20%20%20%20%20%20%20%24%5C%5C%3B%5C%5Cmathbf%7B%7Be'x%7D%7D_2%20%3D%20%7Bnp.dot(e_vec%2C%20x2_vec)%3A.2e%7D%24%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(stats_md%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(M_mat%2C%20P_mat%2C%20X_mat%2C%20mo%2C%20np)%3A%0A%20%20%20%20def%20fmt_matrix(M)%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20i%20in%20range(M.shape%5B0%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20cells%20%3D%20%22%20%26%20%22.join(f%22%7BM%5Bi%2Cj%5D%3A.4f%7D%22%20for%20j%20in%20range(M.shape%5B1%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(cells)%0A%20%20%20%20%20%20%20%20return%20%22%5C%5Cbegin%7Bpmatrix%7D%20%22%20%2B%20%22%20%5C%5C%5C%5C%20%22.join(rows)%20%2B%20%22%20%5C%5Cend%7Bpmatrix%7D%22%0A%0A%20%20%20%20matrices_md%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Projection%20Matrices%0A%0A%20%20%20%20%20%20%20%20**Design%20matrix%3A**%0A%20%20%20%20%20%20%20%20%24%5C%5Cmathbf%7B%7BX%7D%7D%20%3D%20%7Bfmt_matrix(X_mat)%7D%24%0A%0A%20%20%20%20%20%20%20%20**Projection%20matrix**%20%24%5C%5Cmathbf%7B%7BP_X%7D%7D%20%3D%20%5C%5Cmathbf%7B%7BX%7D%7D(%5C%5Cmathbf%7B%7BX'X%7D%7D)%5E%7B%7B-1%7D%7D%5C%5Cmathbf%7B%7BX'%7D%7D%24%3A%0A%0A%20%20%20%20%20%20%20%20%24%5C%5Cmathbf%7B%7BP_X%7D%7D%20%3D%20%7Bfmt_matrix(P_mat)%7D%24%0A%0A%20%20%20%20%20%20%20%20**Residual-maker**%20%24%5C%5Cmathbf%7B%7BM_X%7D%7D%20%3D%20%5C%5Cmathbf%7B%7BI%7D%7D%20-%20%5C%5Cmathbf%7B%7BP_X%7D%7D%24%3A%0A%0A%20%20%20%20%20%20%20%20%24%5C%5Cmathbf%7B%7BM_X%7D%7D%20%3D%20%7Bfmt_matrix(M_mat)%7D%24%0A%0A%20%20%20%20%20%20%20%20**Properties%3A**%0A%0A%20%20%20%20%20%20%20%20%7C%20Property%20%7C%20Max%20diff%20%7C%0A%20%20%20%20%20%20%20%20%7C%3A---%7C%3A---%7C%0A%20%20%20%20%20%20%20%20%7C%20%24%5C%5Cmathbf%7B%7BP_X%20X%7D%7D%20%3D%20%5C%5Cmathbf%7B%7BX%7D%7D%24%20%7C%20%24%7Bnp.max(np.abs(P_mat%20%40%20X_mat%20-%20X_mat))%3A.2e%7D%24%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%24%5C%5Cmathbf%7B%7BP_X%7D%7D%24%20symmetric%20%7C%20%24%7Bnp.max(np.abs(P_mat%20-%20P_mat.T))%3A.2e%7D%24%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%24%5C%5Cmathbf%7B%7BP_X%7D%7D%24%20idempotent%20%7C%20%24%7Bnp.max(np.abs(P_mat%20%40%20P_mat%20-%20P_mat))%3A.2e%7D%24%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%24%5C%5Cmathbf%7B%7BM_X%20X%7D%7D%20%3D%20%5C%5Cmathbf%7B%7B0%7D%7D%24%20%7C%20%24%7Bnp.max(np.abs(M_mat%20%40%20X_mat))%3A.2e%7D%24%20%7C%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(matrices_md%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(data_grid%2C%20matrices_md%2C%20mo%2C%20ols_fig%2C%20stats_md%2C%20tick_boxes)%3A%0A%20%20%20%20left_panel%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Data%22)%2C%0A%20%20%20%20%20%20%20%20data_grid%2C%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Display%22)%2C%0A%20%20%20%20%20%20%20%20tick_boxes%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20right_panel%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22%5CU0001f4ca%203D%20Plot%22%3A%20ols_fig%2C%0A%20%20%20%20%20%20%20%20%22%5CU0001f4cb%20Summary%22%3A%20stats_md%2C%0A%20%20%20%20%20%20%20%20%22%5CU0001f9ee%20Matrices%22%3A%20matrices_md%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5Bleft_panel%2C%20right_panel%5D%2C%0A%20%20%20%20%20%20%20%20widths%3D%5B1%2C%203%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D1.5%2C%0A%20%20%20%20%20%20%20%20align%3D%22start%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20*STAT321%20%E2%80%94%20Linear%20Models%20and%20Time%20Series%20Analysis*%20%7C%0A%20%20%20%20Nelson%20Mandela%20University%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A