FWL Theorem in R3

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22plotly%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.20.2%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%22FWL%20Theorem%20in%20R3%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20return%20go%2C%20mo%2C%20np%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20The%20Frisch-Waugh-Lovell%20Theorem%20in%20R%C2%B3%0A%0A%20%20%20%20Regression%20%3D%20**orthogonal%20projection**%20onto%20the%20span%20of%20the%20regressors.%0A%20%20%20%20FWL%20shows%20how%20partialling%20out%20isolates%20each%20regressor%E2%80%99s%20unique%20effect.%0A%0A%20%20%20%20**Controls**%0A%20%20%20%20%E2%80%A2%20**Left-click%20%2B%20drag**%20%E2%86%92%20rotate%20freely%20(orbit)%0A%20%20%20%20%E2%80%A2%20**Shift%20%2B%20drag**%20or%20right-click%20%2B%20drag%20%E2%86%92%20pan%0A%20%20%20%20%E2%80%A2%20**Scroll**%20%E2%86%92%20zoom%0A%20%20%20%20%E2%80%A2%20Hover%20top-right%20for%20modebar%20(reset%2C%20etc.)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20rho%20%3D%20mo.ui.slider(-0.95%2C%200.95%2C%20value%3D0.6%2C%20step%3D0.05%2C%20label%3D%22%CF%81%20%3D%20Corr(X1%2C%20X2)%22)%0A%20%20%20%20beta1%20%3D%20mo.ui.slider(-3.0%2C%203.0%2C%20value%3D2.0%2C%20step%3D0.1%2C%20label%3D%22%CE%B21%20(true)%22)%0A%20%20%20%20beta2%20%3D%20mo.ui.slider(-3.0%2C%203.0%2C%20value%3D1.5%2C%20step%3D0.1%2C%20label%3D%22%CE%B22%20(true)%22)%0A%20%20%20%20sigma%20%3D%20mo.ui.slider(0.0%2C%201.5%2C%20value%3D0.3%2C%20step%3D0.05%2C%20label%3D%22%CF%83%20(noise)%22)%0A%20%20%20%20fwl_step%20%3D%20mo.ui.slider(0%2C%204%2C%20value%3D0%2C%20step%3D1%2C%20label%3D%22FWL%20Step%22)%0A%20%20%20%20hide_spines%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22Hide%20axis%20spines%22)%0A%20%20%20%20show_labels%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22Show%20vector%20labels%22)%0A%0A%20%20%20%20controls_grid%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%7C%20Parameter%20%20%20%20%20%20%20%7C%20Value%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%3A----------------%7C%3A---------------%7C%0A%20%20%20%20%20%20%20%20%7C%20Correlation%20(%CF%81)%20%7C%20%7Brho%7D%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20True%20%CE%B21%20%20%20%20%20%20%20%20%20%7C%20%7Bbeta1%7D%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20True%20%CE%B22%20%20%20%20%20%20%20%20%20%7C%20%7Bbeta2%7D%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Noise%20(%CF%83)%20%20%20%20%20%20%20%7C%20%7Bsigma%7D%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20FWL%20Step%20%20%20%20%20%20%20%20%7C%20%7Bfwl_step%7D%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Hide%20spines%20%20%20%20%20%7C%20%7Bhide_spines%7D%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Show%20labels%20%20%20%20%20%7C%20%7Bshow_labels%7D%20%20%7C%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20beta1%2C%0A%20%20%20%20%20%20%20%20beta2%2C%0A%20%20%20%20%20%20%20%20controls_grid%2C%0A%20%20%20%20%20%20%20%20fwl_step%2C%0A%20%20%20%20%20%20%20%20hide_spines%2C%0A%20%20%20%20%20%20%20%20rho%2C%0A%20%20%20%20%20%20%20%20show_labels%2C%0A%20%20%20%20%20%20%20%20sigma%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(fwl_step%2C%20mo)%3A%0A%20%20%20%20_step_descriptions%20%3D%20%7B%0A%20%20%20%20%20%20%20%200%3A%20%22Base%20regression%3A%20**y**%2C%20**X%E2%82%81**%2C%20**X%E2%82%82**%2C%20projection%20**%C5%B7**%2C%20and%20residual%20**e**.%22%2C%0A%20%20%20%20%20%20%20%201%3A%20%22Project%20**y**%20onto%20**X%E2%82%82**%3A%20show%20P_%7BX%E2%82%82%7D%20y%20and%20residual%20M_%7BX%E2%82%82%7D%20y.%22%2C%0A%20%20%20%20%20%20%20%202%3A%20%22Project%20**X%E2%82%81**%20onto%20**X%E2%82%82**%3A%20show%20P_%7BX%E2%82%82%7D%20X%E2%82%81%20and%20residual%20M_%7BX%E2%82%82%7D%20X%E2%82%81.%22%2C%0A%20%20%20%20%20%20%20%203%3A%20%22FWL%20projection%3A%20regress%20M_%7BX%E2%82%82%7D%20y%20on%20M_%7BX%E2%82%82%7D%20X%E2%82%81%20to%20recover%20%CE%B2%CC%82%E2%82%81.%22%2C%0A%20%20%20%20%20%20%20%204%3A%20%22Decompose%20**%C5%B7**%20%3D%20P_%7BX%E2%82%82%7D%20%C5%B7%20%2B%20%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%20%E2%80%94%20the%20FWL%20fitted%20value%20is%20the%20component%20of%20**%C5%B7**%20orthogonal%20to%20**X%E2%82%82**.%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20step_description%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22**Step%20%7Bfwl_step.value%7D%3A**%20%7B_step_descriptions%5Bfwl_step.value%5D%7D%22%0A%20%20%20%20)%0A%20%20%20%20return%20(step_description%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(beta1%2C%20beta2%2C%20np%2C%20rho%2C%20sigma)%3A%0A%20%20%20%20e1%2C%20e2%2C%20e3%20%3D%20np.eye(3)%0A%0A%20%20%20%20X1%20%3D%20e1.copy()%0A%20%20%20%20X2%20%3D%20rho.value%20*%20X1%20%2B%20np.sqrt(max(0%2C%201%20-%20rho.value**2))%20*%20e2%0A%0A%20%20%20%20n_plane%20%3D%20np.cross(X1%2C%20X2)%0A%20%20%20%20n_plane%20%3D%20n_plane%20%2F%20(np.linalg.norm(n_plane)%20%2B%201e-10)%0A%20%20%20%20eps%20%3D%20sigma.value%20*%20n_plane%0A%0A%20%20%20%20y%20%3D%20beta1.value%20*%20X1%20%2B%20beta2.value%20*%20X2%20%2B%20eps%0A%0A%20%20%20%20%23%20OLS%20projection%20onto%20span(X1%2C%20X2)%20%E2%80%94%20no%20centering%0A%20%20%20%20X_full%20%3D%20np.column_stack(%5BX1%2C%20X2%5D)%0A%20%20%20%20XtX_inv%20%3D%20np.linalg.inv(X_full.T%20%40%20X_full)%0A%20%20%20%20beta_hat_full%20%3D%20XtX_inv%20%40%20X_full.T%20%40%20y%0A%20%20%20%20beta1_full%20%3D%20beta_hat_full%5B0%5D%0A%20%20%20%20beta2_full%20%3D%20beta_hat_full%5B1%5D%0A%0A%20%20%20%20P%20%3D%20X_full%20%40%20XtX_inv%20%40%20X_full.T%0A%20%20%20%20y_hat%20%3D%20P%20%40%20y%0A%20%20%20%20e%20%3D%20y%20-%20y_hat%0A%0A%20%20%20%20%23%20FWL%20(no%20centering)%0A%20%20%20%20proj_scalar_X1%20%3D%20np.dot(X1%2C%20X2)%20%2F%20np.dot(X2%2C%20X2)%0A%20%20%20%20X1_proj_X2%20%3D%20proj_scalar_X1%20*%20X2%0A%20%20%20%20X1_tilde%20%3D%20X1%20-%20X1_proj_X2%0A%0A%20%20%20%20proj_scalar_y%20%3D%20np.dot(y%2C%20X2)%20%2F%20np.dot(X2%2C%20X2)%0A%20%20%20%20y_proj_X2%20%3D%20proj_scalar_y%20*%20X2%0A%20%20%20%20y_tilde%20%3D%20y%20-%20y_proj_X2%0A%0A%20%20%20%20beta1_fwl%20%3D%20np.dot(y_tilde%2C%20X1_tilde)%20%2F%20np.dot(X1_tilde%2C%20X1_tilde)%0A%20%20%20%20y_tilde_hat%20%3D%20beta1_fwl%20*%20X1_tilde%0A%0A%20%20%20%20%23%20Projection%20of%20%C5%B7%20onto%20X2%20%E2%80%94%20used%20in%20step%204%20to%20show%20%C5%B7%20%3D%20P_%7BX2%7D%C5%B7%20%2B%20%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%0A%20%20%20%20y_hat_proj_X2%20%3D%20(np.dot(y_hat%2C%20X2)%20%2F%20np.dot(X2%2C%20X2))%20*%20X2%0A%0A%20%20%20%20X1_tilde_norm%20%3D%20np.linalg.norm(X1_tilde)%0A%20%20%20%20beta_diff%20%3D%20abs(beta1_full%20-%20beta1_fwl)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20X1%2C%0A%20%20%20%20%20%20%20%20X1_proj_X2%2C%0A%20%20%20%20%20%20%20%20X1_tilde%2C%0A%20%20%20%20%20%20%20%20X1_tilde_norm%2C%0A%20%20%20%20%20%20%20%20X2%2C%0A%20%20%20%20%20%20%20%20beta1_full%2C%0A%20%20%20%20%20%20%20%20beta1_fwl%2C%0A%20%20%20%20%20%20%20%20beta2_full%2C%0A%20%20%20%20%20%20%20%20beta_diff%2C%0A%20%20%20%20%20%20%20%20y%2C%0A%20%20%20%20%20%20%20%20y_hat%2C%0A%20%20%20%20%20%20%20%20y_hat_proj_X2%2C%0A%20%20%20%20%20%20%20%20y_proj_X2%2C%0A%20%20%20%20%20%20%20%20y_tilde%2C%0A%20%20%20%20%20%20%20%20y_tilde_hat%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(go%2C%20np)%3A%0A%20%20%20%20COLOUR_X1%20%3D%20%22%230072BD%22%0A%20%20%20%20COLOUR_X2%20%3D%20%22%237E2F8E%22%0A%20%20%20%20COLOUR_Y%20%3D%20%22%23D9531A%22%0A%20%20%20%20COLOUR_YHAT%20%3D%20%22%23006B34%22%0A%20%20%20%20COLOUR_RESIDUAL%20%3D%20%22%23A2142F%22%0A%20%20%20%20COLOUR_PROJ_Y%20%3D%20%22%23E6AB02%22%20%20%20%20%20%20%20%23%20P_%7BX2%7D%20y%20%20(gold)%0A%20%20%20%20COLOUR_TILDE_Y%20%3D%20%22%2317BECF%22%20%20%20%20%20%20%23%20M_%7BX2%7D%20y%20%20(cyan)%0A%20%20%20%20COLOUR_PROJ_X1%20%3D%20%22%23BCBD22%22%20%20%20%20%20%20%23%20P_%7BX2%7D%20X1%20(olive)%0A%20%20%20%20COLOUR_TILDE_X1%20%3D%20%22%2356B4E9%22%20%20%20%20%20%23%20M_%7BX2%7D%20X1%20(sky%20blue)%0A%20%20%20%20COLOUR_FWL_PROJ%20%3D%20%22%238C564B%22%0A%20%20%20%20COLOUR_YHAT_DECOMP%20%3D%20%22%23FF6EC7%22%0A%0A%20%20%20%20def%20make_vec(origin%2C%20tip%2C%20colour%2C%20name%2C%20width%3D5%2C%20dash%3DNone%2C%20visible%3DTrue)%3A%0A%20%20%20%20%20%20%20%20return%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Borigin%5B0%5D%2C%20tip%5B0%5D%5D%2C%20y%3D%5Borigin%5B1%5D%2C%20tip%5B1%5D%5D%2C%20z%3D%5Borigin%5B2%5D%2C%20tip%5B2%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dcolour%2C%20width%3Dwidth%2C%20dash%3Ddash)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Dname%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22name%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20visible%3Dvisible%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20make_plane_mesh(x1%2C%20x2)%3A%0A%20%20%20%20%20%20%20%20s%20%3D%20np.linspace(-0.2%2C%201.5%2C%206)%0A%20%20%20%20%20%20%20%20t%20%3D%20np.linspace(-0.2%2C%201.5%2C%206)%0A%20%20%20%20%20%20%20%20ss%2C%20tt%20%3D%20np.meshgrid(s%2C%20t)%0A%20%20%20%20%20%20%20%20pts%20%3D%20np.outer(x1%2C%20ss.ravel())%20%2B%20np.outer(x2%2C%20tt.ravel())%0A%20%20%20%20%20%20%20%20return%20go.Mesh3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dpts%5B0%5D%2C%20y%3Dpts%5B1%5D%2C%20z%3Dpts%5B2%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22rgba(150%2C150%2C200%2C0.25)%22%2C%20opacity%3D0.3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Span(X1%2CX2)%22%2C%20hoverinfo%3D%22name%22%2C%20alphahull%3D0%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20make_label(tip%2C%20text%2C%20colour%2C%20textposition%3D%22top%20right%22%2C%20visible%3DTrue)%3A%0A%20%20%20%20%20%20%20%20return%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Btip%5B0%5D%5D%2C%20y%3D%5Btip%5B1%5D%5D%2C%20z%3D%5Btip%5B2%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22text%22%2C%20text%3D%5Btext%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3Dtextposition%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textfont%3Ddict(color%3Dcolour%2C%20size%3D13%2C%20family%3D%22Arial%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22skip%22%2C%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20visible%3Dvisible%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLOUR_FWL_PROJ%2C%0A%20%20%20%20%20%20%20%20COLOUR_PROJ_X1%2C%0A%20%20%20%20%20%20%20%20COLOUR_PROJ_Y%2C%0A%20%20%20%20%20%20%20%20COLOUR_RESIDUAL%2C%0A%20%20%20%20%20%20%20%20COLOUR_TILDE_X1%2C%0A%20%20%20%20%20%20%20%20COLOUR_TILDE_Y%2C%0A%20%20%20%20%20%20%20%20COLOUR_X1%2C%0A%20%20%20%20%20%20%20%20COLOUR_X2%2C%0A%20%20%20%20%20%20%20%20COLOUR_Y%2C%0A%20%20%20%20%20%20%20%20COLOUR_YHAT%2C%0A%20%20%20%20%20%20%20%20COLOUR_YHAT_DECOMP%2C%0A%20%20%20%20%20%20%20%20make_label%2C%0A%20%20%20%20%20%20%20%20make_plane_mesh%2C%0A%20%20%20%20%20%20%20%20make_vec%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLOUR_FWL_PROJ%2C%0A%20%20%20%20COLOUR_PROJ_X1%2C%0A%20%20%20%20COLOUR_PROJ_Y%2C%0A%20%20%20%20COLOUR_RESIDUAL%2C%0A%20%20%20%20COLOUR_TILDE_X1%2C%0A%20%20%20%20COLOUR_TILDE_Y%2C%0A%20%20%20%20COLOUR_X1%2C%0A%20%20%20%20COLOUR_X2%2C%0A%20%20%20%20COLOUR_Y%2C%0A%20%20%20%20COLOUR_YHAT%2C%0A%20%20%20%20COLOUR_YHAT_DECOMP%2C%0A%20%20%20%20X1%2C%0A%20%20%20%20X1_proj_X2%2C%0A%20%20%20%20X1_tilde%2C%0A%20%20%20%20X2%2C%0A%20%20%20%20fwl_step%2C%0A%20%20%20%20make_label%2C%0A%20%20%20%20make_plane_mesh%2C%0A%20%20%20%20make_vec%2C%0A%20%20%20%20np%2C%0A%20%20%20%20show_labels%2C%0A%20%20%20%20y%2C%0A%20%20%20%20y_hat%2C%0A%20%20%20%20y_hat_proj_X2%2C%0A%20%20%20%20y_proj_X2%2C%0A%20%20%20%20y_tilde%2C%0A%20%20%20%20y_tilde_hat%2C%0A)%3A%0A%20%20%20%20_origin%20%3D%20np.zeros(3)%0A%20%20%20%20_step%20%3D%20fwl_step.value%0A%20%20%20%20_labels%20%3D%20show_labels.value%0A%20%20%20%20displaced_traces%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%20Base%3A%20always%20visible%0A%20%20%20%20displaced_traces.append(make_plane_mesh(X1%2C%20X2))%0A%20%20%20%20displaced_traces.append(make_vec(_origin%2C%20X1%2C%20COLOUR_X1%2C%20%22X1%22%2C%206))%0A%20%20%20%20displaced_traces.append(make_vec(_origin%2C%20X2%2C%20COLOUR_X2%2C%20%22X2%22%2C%206))%0A%20%20%20%20displaced_traces.append(make_vec(_origin%2C%20y%2C%20COLOUR_Y%2C%20%22y%22%2C%206))%0A%20%20%20%20displaced_traces.append(make_vec(_origin%2C%20y_hat%2C%20COLOUR_YHAT%2C%20%22%C5%B7%20%3D%20P_X%20y%22%2C%205))%0A%20%20%20%20displaced_traces.append(make_vec(y_hat%2C%20y%2C%20COLOUR_RESIDUAL%2C%20%22e%20%3D%20y%20%E2%88%92%20%C5%B7%22%2C%204%2C%20%22dash%22))%0A%0A%20%20%20%20%23%20Step%201%3A%20project%20y%20onto%20X2%0A%20%20%20%20displaced_traces.append(make_vec(_origin%2C%20y_proj_X2%2C%20COLOUR_PROJ_Y%2C%20%22P_%7BX2%7D%20y%22%2C%204%2C%20%22dot%22%2C%20visible%3D_step%20%3E%3D%201))%0A%20%20%20%20displaced_traces.append(make_vec(y_proj_X2%2C%20y%2C%20COLOUR_TILDE_Y%2C%20%22M_%7BX2%7D%20y%22%2C%205%2C%20visible%3D_step%20%3E%3D%201))%0A%0A%20%20%20%20%23%20Step%202%3A%20project%20X1%20onto%20X2%0A%20%20%20%20displaced_traces.append(make_vec(_origin%2C%20X1_proj_X2%2C%20COLOUR_PROJ_X1%2C%20%22P_%7BX2%7D%20X1%22%2C%204%2C%20%22dot%22%2C%20visible%3D_step%20%3E%3D%202))%0A%20%20%20%20displaced_traces.append(make_vec(X1_proj_X2%2C%20X1%2C%20COLOUR_TILDE_X1%2C%20%22M_%7BX2%7D%20X1%22%2C%205%2C%20visible%3D_step%20%3E%3D%202))%0A%0A%20%20%20%20%23%20Step%203%3A%20FWL%20projection%20%E2%80%94%20displaced%20from%20P_%7BX2%7Dy%20so%20it's%20visually%0A%20%20%20%20%23%20parallel%20to%20M_%7BX2%7DX1%20(both%20start%20from%20their%20projection%20base)%0A%20%20%20%20_fwl_displaced_tip%20%3D%20y_proj_X2%20%2B%20y_tilde_hat%0A%20%20%20%20displaced_traces.append(make_vec(y_proj_X2%2C%20_fwl_displaced_tip%2C%20COLOUR_FWL_PROJ%2C%20%22%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%20(FWL%20fit)%22%2C%204%2C%20visible%3D_step%20%3E%3D%203))%0A%0A%20%20%20%20%23%20Step%204%3A%20decompose%20%C5%B7%20%3D%20P_%7BX2%7D%C5%B7%20%2B%20%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%0A%20%20%20%20displaced_traces.append(make_vec(_origin%2C%20y_hat_proj_X2%2C%20COLOUR_YHAT_DECOMP%2C%20%22P_%7BX2%7D%20%C5%B7%22%2C%204%2C%20%22dot%22%2C%20visible%3D_step%20%3E%3D%204))%0A%20%20%20%20displaced_traces.append(make_vec(y_hat_proj_X2%2C%20y_hat%2C%20COLOUR_FWL_PROJ%2C%20%22%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%20%E2%86%92%20%C5%B7%22%2C%205%2C%20visible%3D_step%20%3E%3D%204))%0A%0A%20%20%20%20%23%20Labels%0A%20%20%20%20displaced_traces.append(make_label(X1%2C%20%22X%E2%82%81%22%2C%20COLOUR_X1%2C%20visible%3D_labels))%0A%20%20%20%20displaced_traces.append(make_label(X2%2C%20%22X%E2%82%82%22%2C%20COLOUR_X2%2C%20visible%3D_labels))%0A%20%20%20%20displaced_traces.append(make_label(y%2C%20%22y%22%2C%20COLOUR_Y%2C%20visible%3D_labels))%0A%20%20%20%20displaced_traces.append(make_label(y_hat%2C%20%22%C5%B7%22%2C%20COLOUR_YHAT%2C%20%22bottom%20right%22%2C%20visible%3D_labels))%0A%20%20%20%20displaced_traces.append(make_label(y_proj_X2%2C%20%22P_%7BX%E2%82%82%7D%20y%22%2C%20COLOUR_PROJ_Y%2C%20%22middle%20right%22%2C%20visible%3D_labels%20and%20_step%20%3E%3D%201))%0A%20%20%20%20displaced_traces.append(make_label(y_tilde%2C%20%22M_%7BX%E2%82%82%7D%20y%22%2C%20COLOUR_TILDE_Y%2C%20%22top%20left%22%2C%20visible%3D_labels%20and%20_step%20%3E%3D%201))%0A%20%20%20%20displaced_traces.append(make_label(X1_proj_X2%2C%20%22P_%7BX%E2%82%82%7D%20X%E2%82%81%22%2C%20COLOUR_PROJ_X1%2C%20visible%3D_labels%20and%20_step%20%3E%3D%202))%0A%20%20%20%20displaced_traces.append(make_label(X1_tilde%2C%20%22M_%7BX%E2%82%82%7D%20X%E2%82%81%22%2C%20COLOUR_TILDE_X1%2C%20%22top%20left%22%2C%20visible%3D_labels%20and%20_step%20%3E%3D%202))%0A%20%20%20%20displaced_traces.append(make_label(_fwl_displaced_tip%2C%20%22%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%22%2C%20COLOUR_FWL_PROJ%2C%20visible%3D_labels%20and%20_step%20%3E%3D%203))%0A%20%20%20%20displaced_traces.append(make_label(y_hat_proj_X2%2C%20%22P_%7BX%E2%82%82%7D%20%C5%B7%22%2C%20COLOUR_YHAT_DECOMP%2C%20%22middle%20right%22%2C%20visible%3D_labels%20and%20_step%20%3E%3D%204))%0A%20%20%20%20return%20(displaced_traces%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLOUR_FWL_PROJ%2C%0A%20%20%20%20COLOUR_PROJ_X1%2C%0A%20%20%20%20COLOUR_PROJ_Y%2C%0A%20%20%20%20COLOUR_RESIDUAL%2C%0A%20%20%20%20COLOUR_TILDE_X1%2C%0A%20%20%20%20COLOUR_TILDE_Y%2C%0A%20%20%20%20COLOUR_X1%2C%0A%20%20%20%20COLOUR_X2%2C%0A%20%20%20%20COLOUR_Y%2C%0A%20%20%20%20COLOUR_YHAT%2C%0A%20%20%20%20COLOUR_YHAT_DECOMP%2C%0A%20%20%20%20X1%2C%0A%20%20%20%20X1_proj_X2%2C%0A%20%20%20%20X1_tilde%2C%0A%20%20%20%20X2%2C%0A%20%20%20%20fwl_step%2C%0A%20%20%20%20make_label%2C%0A%20%20%20%20make_plane_mesh%2C%0A%20%20%20%20make_vec%2C%0A%20%20%20%20np%2C%0A%20%20%20%20show_labels%2C%0A%20%20%20%20y%2C%0A%20%20%20%20y_hat%2C%0A%20%20%20%20y_hat_proj_X2%2C%0A%20%20%20%20y_proj_X2%2C%0A%20%20%20%20y_tilde%2C%0A%20%20%20%20y_tilde_hat%2C%0A)%3A%0A%20%20%20%20_origin%20%3D%20np.zeros(3)%0A%20%20%20%20_step%20%3D%20fwl_step.value%0A%20%20%20%20_labels%20%3D%20show_labels.value%0A%20%20%20%20origin_traces%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%20Base%3A%20always%20visible%0A%20%20%20%20origin_traces.append(make_plane_mesh(X1%2C%20X2))%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20X1%2C%20COLOUR_X1%2C%20%22X1%22%2C%206))%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20X2%2C%20COLOUR_X2%2C%20%22X2%22%2C%206))%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20y%2C%20COLOUR_Y%2C%20%22y%22%2C%206))%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20y_hat%2C%20COLOUR_YHAT%2C%20%22%C5%B7%20%3D%20P_X%20y%22%2C%205))%0A%20%20%20%20origin_traces.append(make_vec(y_hat%2C%20y%2C%20COLOUR_RESIDUAL%2C%20%22e%20%3D%20y%20%E2%88%92%20%C5%B7%22%2C%204%2C%20%22dash%22))%0A%0A%20%20%20%20%23%20Step%201%3A%20y%20residualised%20w.r.t.%20X2%20%E2%80%94%20from%20origin%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20y_proj_X2%2C%20COLOUR_PROJ_Y%2C%20%22P_%7BX2%7D%20y%22%2C%204%2C%20%22dot%22%2C%20visible%3D_step%20%3E%3D%201))%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20y_tilde%2C%20COLOUR_TILDE_Y%2C%20%22M_%7BX2%7D%20y%22%2C%205%2C%20visible%3D_step%20%3E%3D%201))%0A%0A%20%20%20%20%23%20Step%202%3A%20X1%20residualised%20w.r.t.%20X2%20%E2%80%94%20from%20origin%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20X1_proj_X2%2C%20COLOUR_PROJ_X1%2C%20%22P_%7BX2%7D%20X1%22%2C%204%2C%20%22dot%22%2C%20visible%3D_step%20%3E%3D%202))%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20X1_tilde%2C%20COLOUR_TILDE_X1%2C%20%22M_%7BX2%7D%20X1%22%2C%205%2C%20visible%3D_step%20%3E%3D%202))%0A%0A%20%20%20%20%23%20Step%203%3A%20FWL%20projection%20%E2%80%94%20from%20origin%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20y_tilde_hat%2C%20COLOUR_FWL_PROJ%2C%20%22%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%20(FWL%20fit)%22%2C%204%2C%20visible%3D_step%20%3E%3D%203))%0A%0A%20%20%20%20%23%20Step%204%3A%20decompose%20%C5%B7%20%3D%20P_%7BX2%7D%C5%B7%20%2B%20%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%0A%20%20%20%20origin_traces.append(make_vec(_origin%2C%20y_hat_proj_X2%2C%20COLOUR_YHAT_DECOMP%2C%20%22P_%7BX2%7D%20%C5%B7%22%2C%204%2C%20%22dot%22%2C%20visible%3D_step%20%3E%3D%204))%0A%20%20%20%20origin_traces.append(make_vec(y_hat_proj_X2%2C%20y_hat%2C%20COLOUR_FWL_PROJ%2C%20%22%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%20%E2%86%92%20%C5%B7%22%2C%205%2C%20visible%3D_step%20%3E%3D%204))%0A%0A%20%20%20%20%23%20Labels%0A%20%20%20%20origin_traces.append(make_label(X1%2C%20%22X%E2%82%81%22%2C%20COLOUR_X1%2C%20visible%3D_labels))%0A%20%20%20%20origin_traces.append(make_label(X2%2C%20%22X%E2%82%82%22%2C%20COLOUR_X2%2C%20visible%3D_labels))%0A%20%20%20%20origin_traces.append(make_label(y%2C%20%22y%22%2C%20COLOUR_Y%2C%20visible%3D_labels))%0A%20%20%20%20origin_traces.append(make_label(y_hat%2C%20%22%C5%B7%22%2C%20COLOUR_YHAT%2C%20%22bottom%20right%22%2C%20visible%3D_labels))%0A%20%20%20%20origin_traces.append(make_label(y_proj_X2%2C%20%22P_%7BX%E2%82%82%7D%20y%22%2C%20COLOUR_PROJ_Y%2C%20%22middle%20right%22%2C%20visible%3D_labels%20and%20_step%20%3E%3D%201))%0A%20%20%20%20origin_traces.append(make_label(y_tilde%2C%20%22M_%7BX%E2%82%82%7D%20y%22%2C%20COLOUR_TILDE_Y%2C%20%22top%20left%22%2C%20visible%3D_labels%20and%20_step%20%3E%3D%201))%0A%20%20%20%20origin_traces.append(make_label(X1_proj_X2%2C%20%22P_%7BX%E2%82%82%7D%20X%E2%82%81%22%2C%20COLOUR_PROJ_X1%2C%20visible%3D_labels%20and%20_step%20%3E%3D%202))%0A%20%20%20%20origin_traces.append(make_label(X1_tilde%2C%20%22M_%7BX%E2%82%82%7D%20X%E2%82%81%22%2C%20COLOUR_TILDE_X1%2C%20%22top%20left%22%2C%20visible%3D_labels%20and%20_step%20%3E%3D%202))%0A%20%20%20%20origin_traces.append(make_label(y_tilde_hat%2C%20%22%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%22%2C%20COLOUR_FWL_PROJ%2C%20visible%3D_labels%20and%20_step%20%3E%3D%203))%0A%20%20%20%20origin_traces.append(make_label(y_hat_proj_X2%2C%20%22P_%7BX%E2%82%82%7D%20%C5%B7%22%2C%20COLOUR_YHAT_DECOMP%2C%20%22middle%20right%22%2C%20visible%3D_labels%20and%20_step%20%3E%3D%204))%0A%20%20%20%20return%20(origin_traces%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLOUR_FWL_PROJ%2C%0A%20%20%20%20COLOUR_PROJ_X1%2C%0A%20%20%20%20COLOUR_PROJ_Y%2C%0A%20%20%20%20COLOUR_RESIDUAL%2C%0A%20%20%20%20COLOUR_TILDE_X1%2C%0A%20%20%20%20COLOUR_TILDE_Y%2C%0A%20%20%20%20COLOUR_X1%2C%0A%20%20%20%20COLOUR_X2%2C%0A%20%20%20%20COLOUR_Y%2C%0A%20%20%20%20COLOUR_YHAT%2C%0A%20%20%20%20COLOUR_YHAT_DECOMP%2C%0A%20%20%20%20fwl_step%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20def%20_c(colour%2C%20text)%3A%0A%20%20%20%20%20%20%20%20return%20f'%3Cspan%20style%3D%22color%3A%7Bcolour%7D%3Bfont-weight%3Abold%22%3E%7Btext%7D%3C%2Fspan%3E'%0A%0A%20%20%20%20_step%20%3D%20fwl_step.value%0A%20%20%20%20_x1%20%3D%20_c(COLOUR_X1%2C%20%22X%E2%82%81%22)%0A%20%20%20%20_x2%20%3D%20_c(COLOUR_X2%2C%20%22X%E2%82%82%22)%0A%20%20%20%20_y%20%3D%20_c(COLOUR_Y%2C%20%22y%22)%0A%20%20%20%20_yhat%20%3D%20_c(COLOUR_YHAT%2C%20%22%C5%B7%22)%0A%20%20%20%20_resid%20%3D%20_c(COLOUR_RESIDUAL%2C%20%22e%22)%0A%20%20%20%20_fwl%20%3D%20_c(COLOUR_FWL_PROJ%2C%20%22%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%22)%0A%20%20%20%20_decomp%20%3D%20_c(COLOUR_YHAT_DECOMP%2C%20%22P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20%C5%B7%22)%0A%0A%20%20%20%20_sections%20%3D%20%5B%0A%20%20%20%20%20%20%20%20f%22**Step%200%20%E2%80%94%20Full%20OLS%20regression.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20f%22The%20model%20is%20%7B_y%7D%20%3D%20%CE%B2%E2%82%81%20%7B_x1%7D%20%2B%20%CE%B2%E2%82%82%20%7B_x2%7D%20%2B%20%CE%B5.%20%22%0A%20%20%20%20%20%20%20%20f%22OLS%20projects%20%7B_y%7D%20orthogonally%20onto%20Span(%7B_x1%7D%2C%20%7B_x2%7D)%20to%20obtain%20%22%0A%20%20%20%20%20%20%20%20f%22%7B_yhat%7D.%20The%20%7B_resid%7D%20%3D%20%7B_y%7D%20%E2%88%92%20%7B_yhat%7D%20(dashed)%20is%20perpendicular%20%22%0A%20%20%20%20%20%20%20%20f%22to%20the%20plane.%22%0A%20%20%20%20%5D%0A%0A%20%20%20%20if%20_step%20%3E%3D%201%3A%0A%20%20%20%20%20%20%20%20_sections.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Step%201%20%E2%80%94%20Partial%20out%20%7B_x2%7D%20from%20%7B_y%7D.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Project%20%7B_y%7D%20onto%20%7B_x2%7D%20to%20get%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_PROJ_Y%2C%20'P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20y')%7D%20(dotted%2C%20from%20origin).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20residual%20%7B_c(COLOUR_TILDE_Y%2C%20'M%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20y')%7D%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22displaced%20segment%20from%20the%20tip%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_PROJ_Y%2C%20'P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20y')%7D%20to%20%7B_y%7D%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22showing%20the%20subtraction%20%7B_y%7D%20%E2%88%92%20P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20y%20geometrically.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20if%20_step%20%3E%3D%202%3A%0A%20%20%20%20%20%20%20%20_sections.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Step%202%20%E2%80%94%20Partial%20out%20%7B_x2%7D%20from%20%7B_x1%7D.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Project%20%7B_x1%7D%20onto%20%7B_x2%7D%20to%20get%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_PROJ_X1%2C%20'P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20X%E2%82%81')%7D%20(dotted%2C%20from%20origin).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20residual%20%7B_c(COLOUR_TILDE_X1%2C%20'M%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20X%E2%82%81')%7D%20%3D%20X%CC%83%E2%82%81%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22is%20the%20displaced%20segment%20from%20the%20tip%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_PROJ_X1%2C%20'P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20X%E2%82%81')%7D%20to%20%7B_x1%7D%20%E2%80%94%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20unique%20direction%20of%20%7B_x1%7D%20not%20collinear%20with%20%7B_x2%7D.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20if%20_step%20%3E%3D%203%3A%0A%20%20%20%20%20%20%20%20_sections.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Step%203%20%E2%80%94%20FWL%20regression.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Regress%20%7B_c(COLOUR_TILDE_Y%2C%20'M%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20y')%7D%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_TILDE_X1%2C%20'M%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20X%E2%82%81')%7D%20%3D%20X%CC%83%E2%82%81.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20fitted%20value%20%7B_fwl%7D%20is%20drawn%20starting%20from%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_PROJ_Y%2C%20'P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20y')%7D%2C%20parallel%20to%20X%CC%83%E2%82%81%20%E2%80%94%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22easy%20to%20see%20it%20shares%20the%20direction%20of%20the%20displaced%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_TILDE_X1%2C%20'M%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20X%E2%82%81')%7D.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20if%20_step%20%3E%3D%204%3A%0A%20%20%20%20%20%20%20%20_sections.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Step%204%20%E2%80%94%20Why%20it%20works%3A%20decompose%20%7B_yhat%7D.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Project%20%7B_yhat%7D%20onto%20%7B_x2%7D%20to%20get%20%7B_decomp%7D%20(dotted).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20displaced%20vector%20from%20%7B_decomp%7D%20to%20%7B_yhat%7D%20is%20exactly%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_fwl%7D.%20This%20confirms%20%7B_yhat%7D%20%3D%20%7B_decomp%7D%20%2B%20%7B_fwl%7D%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20FWL%20fitted%20value%20is%20the%20component%20of%20%7B_yhat%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22orthogonal%20to%20%7B_x2%7D.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20displaced_explanation%20%3D%20mo.md(%22%5Cn%5Cn%22.join(_sections))%0A%20%20%20%20return%20(displaced_explanation%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLOUR_FWL_PROJ%2C%0A%20%20%20%20COLOUR_PROJ_X1%2C%0A%20%20%20%20COLOUR_PROJ_Y%2C%0A%20%20%20%20COLOUR_RESIDUAL%2C%0A%20%20%20%20COLOUR_TILDE_X1%2C%0A%20%20%20%20COLOUR_TILDE_Y%2C%0A%20%20%20%20COLOUR_X1%2C%0A%20%20%20%20COLOUR_X2%2C%0A%20%20%20%20COLOUR_Y%2C%0A%20%20%20%20COLOUR_YHAT%2C%0A%20%20%20%20COLOUR_YHAT_DECOMP%2C%0A%20%20%20%20fwl_step%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20def%20_c(colour%2C%20text)%3A%0A%20%20%20%20%20%20%20%20return%20f'%3Cspan%20style%3D%22color%3A%7Bcolour%7D%3Bfont-weight%3Abold%22%3E%7Btext%7D%3C%2Fspan%3E'%0A%0A%20%20%20%20_step%20%3D%20fwl_step.value%0A%20%20%20%20_x1%20%3D%20_c(COLOUR_X1%2C%20%22X%E2%82%81%22)%0A%20%20%20%20_x2%20%3D%20_c(COLOUR_X2%2C%20%22X%E2%82%82%22)%0A%20%20%20%20_y%20%3D%20_c(COLOUR_Y%2C%20%22y%22)%0A%20%20%20%20_yhat%20%3D%20_c(COLOUR_YHAT%2C%20%22%C5%B7%22)%0A%20%20%20%20_resid%20%3D%20_c(COLOUR_RESIDUAL%2C%20%22e%22)%0A%20%20%20%20_fwl%20%3D%20_c(COLOUR_FWL_PROJ%2C%20%22%CE%B2%CC%82%E2%82%81%20X%CC%83%E2%82%81%22)%0A%20%20%20%20_decomp%20%3D%20_c(COLOUR_YHAT_DECOMP%2C%20%22P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20%C5%B7%22)%0A%0A%20%20%20%20_sections%20%3D%20%5B%0A%20%20%20%20%20%20%20%20f%22**Step%200%20%E2%80%94%20Full%20OLS%20regression.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20f%22The%20model%20is%20%7B_y%7D%20%3D%20%CE%B2%E2%82%81%20%7B_x1%7D%20%2B%20%CE%B2%E2%82%82%20%7B_x2%7D%20%2B%20%CE%B5.%20%22%0A%20%20%20%20%20%20%20%20f%22OLS%20projects%20%7B_y%7D%20orthogonally%20onto%20Span(%7B_x1%7D%2C%20%7B_x2%7D)%20to%20obtain%20%22%0A%20%20%20%20%20%20%20%20f%22%7B_yhat%7D.%20The%20%7B_resid%7D%20%3D%20%7B_y%7D%20%E2%88%92%20%7B_yhat%7D%20(dashed)%20is%20perpendicular%20%22%0A%20%20%20%20%20%20%20%20f%22to%20the%20plane.%22%0A%20%20%20%20%5D%0A%0A%20%20%20%20if%20_step%20%3E%3D%201%3A%0A%20%20%20%20%20%20%20%20_sections.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Step%201%20%E2%80%94%20Partial%20out%20%7B_x2%7D%20from%20%7B_y%7D.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Project%20%7B_y%7D%20onto%20%7B_x2%7D%20to%20get%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_PROJ_Y%2C%20'P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20y')%7D%20(dotted).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20residual%20%7B_c(COLOUR_TILDE_Y%2C%20'M%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20y')%7D%20is%20drawn%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22from%20the%20origin%20%E2%80%94%20the%20component%20of%20%7B_y%7D%20orthogonal%20to%20%7B_x2%7D.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20if%20_step%20%3E%3D%202%3A%0A%20%20%20%20%20%20%20%20_sections.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Step%202%20%E2%80%94%20Partial%20out%20%7B_x2%7D%20from%20%7B_x1%7D.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Project%20%7B_x1%7D%20onto%20%7B_x2%7D%20to%20get%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_PROJ_X1%2C%20'P%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20X%E2%82%81')%7D%20(dotted).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20residual%20%7B_c(COLOUR_TILDE_X1%2C%20'M%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20X%E2%82%81')%7D%20%3D%20X%CC%83%E2%82%81%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22is%20drawn%20from%20the%20origin%20%E2%80%94%20the%20unique%20direction%20of%20%7B_x1%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22after%20removing%20the%20part%20collinear%20with%20%7B_x2%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Notice%20X%CC%83%E2%82%81%20is%20perpendicular%20to%20%7B_x2%7D.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20if%20_step%20%3E%3D%203%3A%0A%20%20%20%20%20%20%20%20_sections.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Step%203%20%E2%80%94%20FWL%20regression.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Regress%20%7B_c(COLOUR_TILDE_Y%2C%20'M%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20y')%7D%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_TILDE_X1%2C%20'M%3Csub%3EX%E2%82%82%3C%2Fsub%3E%20X%E2%82%81')%7D%20%3D%20X%CC%83%E2%82%81.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20fitted%20value%20%7B_fwl%7D%20is%20drawn%20from%20the%20origin%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22visually%20confirming%20it%20lies%20along%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_c(COLOUR_TILDE_X1%2C%20'X%CC%83%E2%82%81')%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20simple%20regression%20recovers%20the%20same%20%CE%B2%CC%82%E2%82%81%20as%20full%20OLS.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20if%20_step%20%3E%3D%204%3A%0A%20%20%20%20%20%20%20%20_sections.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Step%204%20%E2%80%94%20Why%20it%20works%3A%20decompose%20%7B_yhat%7D.**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Project%20%7B_yhat%7D%20onto%20%7B_x2%7D%20to%20get%20%7B_decomp%7D%20(dotted).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22From%20%7B_decomp%7D%2C%20the%20vector%20%7B_fwl%7D%20reaches%20%7B_yhat%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Both%20are%20shown%20from%20the%20origin%3B%20their%20sum%20equals%20%7B_yhat%7D%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22confirming%20%7B_yhat%7D%20%3D%20%7B_decomp%7D%20%2B%20%7B_fwl%7D.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20origin_explanation%20%3D%20mo.md(%22%5Cn%5Cn%22.join(_sections))%0A%20%20%20%20return%20(origin_explanation%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20X1_tilde_norm%2C%0A%20%20%20%20beta1%2C%0A%20%20%20%20beta1_full%2C%0A%20%20%20%20beta1_fwl%2C%0A%20%20%20%20beta2%2C%0A%20%20%20%20beta2_full%2C%0A%20%20%20%20beta_diff%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rho%2C%0A)%3A%0A%20%20%20%20eq_symbol%20%3D%20%22%E2%9C%93%22%20if%20beta_diff%20%3C%201e-10%20else%20%22%E2%9C%97%22%0A%20%20%20%20mc_warn%20%3D%20f%22%E2%9A%A0%EF%B8%8F%20High%20collinearity%3A%20%E2%80%96X1%E2%8A%A5X2%E2%80%96%20%3D%20%7BX1_tilde_norm%3A.4f%7D%22%20if%20abs(rho.value)%20%3E%200.9%20else%20f%22%E2%80%96X1%E2%8A%A5X2%E2%80%96%20%3D%20%7BX1_tilde_norm%3A.4f%7D%22%0A%0A%20%20%20%20stats_md%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Coefficient%20Comparison%0A%0A%20%20%20%20%20%20%20%20%7C%20Method%20%20%20%20%20%7C%20%CE%B2%CC%821%20%20%20%20%20%20%7C%20%CE%B2%CC%822%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%3A-----------%7C--------%3A%7C--------%3A%7C%0A%20%20%20%20%20%20%20%20%7C%20True%20%20%20%20%20%20%20%7C%20%7Bbeta1.value%3A.2f%7D%20%7C%20%7Bbeta2.value%3A.2f%7D%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Full%20OLS%20%20%20%7C%20**%7Bbeta1_full%3A.4f%7D**%20%7C%20%7Bbeta2_full%3A.4f%7D%20%7C%0A%20%20%20%20%20%20%20%20%7C%20FWL%20%20%20%20%20%20%20%20%7C%20**%7Bbeta1_fwl%3A.4f%7D**%20%7C%20%E2%80%94%20%7C%0A%0A%20%20%20%20%20%20%20%20%7Beq_symbol%7D%20%7C%CE%B2%CC%821%5Efull%20%E2%88%92%20%CE%B2%CC%821%5EFWL%7C%20%3D%20%7Bbeta_diff%3A.2e%7D%0A%0A%20%20%20%20%20%20%20%20%7Bmc_warn%7D%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(stats_md%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20controls_grid%2C%0A%20%20%20%20displaced_explanation%2C%0A%20%20%20%20displaced_traces%2C%0A%20%20%20%20go%2C%0A%20%20%20%20hide_spines%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20origin_explanation%2C%0A%20%20%20%20origin_traces%2C%0A%20%20%20%20stats_md%2C%0A%20%20%20%20step_description%2C%0A)%3A%0A%20%20%20%20_axis_props%20%3D%20%7B%22visible%22%3A%20False%7D%20if%20hide_spines.value%20else%20%7B%0A%20%20%20%20%20%20%20%20%22visible%22%3A%20True%2C%20%22showgrid%22%3A%20True%2C%20%22zeroline%22%3A%20False%2C%0A%20%20%20%20%20%20%20%20%22showline%22%3A%20True%2C%20%22showticklabels%22%3A%20False%2C%20%22title%22%3A%20%22%22%2C%20%22showbackground%22%3A%20False%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20_layout%20%3D%20dict(%0A%20%20%20%20%20%20%20%20scene%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20aspectmode%3D%22cube%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3D_axis_props%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3D_axis_props%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zaxis%3D_axis_props%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20camera%3Ddict(eye%3Ddict(x%3D1.65%2C%20y%3D1.45%2C%20z%3D1.25))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20uirevision%3D%22keep%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20uirevision%3D%22keep%22%2C%0A%20%20%20%20%20%20%20%20dragmode%3D%22orbit%22%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D0%2C%20r%3D0%2C%20t%3D25%2C%20b%3D0)%2C%0A%20%20%20%20%20%20%20%20height%3D580%2C%0A%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_fig_displaced%20%3D%20go.Figure(data%3Ddisplaced_traces)%0A%20%20%20%20_fig_displaced.update_layout(**_layout)%0A%0A%20%20%20%20_fig_origin%20%3D%20go.Figure(data%3Dorigin_traces)%0A%20%20%20%20_fig_origin.update_layout(**_layout)%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%23%20Parameters%22)%2C%20controls_grid%2C%20step_description%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%93%90%20Displaced%20Path%22%3A%20mo.vstack(%5B_fig_displaced%2C%20displaced_explanation%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%8E%AF%20Origin%20Directions%22%3A%20mo.vstack(%5B_fig_origin%2C%20origin_explanation%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%93%8B%20Statistics%22%3A%20stats_md%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%5B1%2C%203%5D%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A