{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# Phystech@DataScience " ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "# Bot check\n", "\n", "# HW_ID: phds_sem6\n", "# Бот проверит этот ID и предупредит, если случайно сдать что-то не то.\n", "\n", "# Status: not final\n", "# Перед отправкой в финальном решении удали \"not\" в строчке выше.\n", "# Так бот проверит, что ты отправляешь финальную версию, а не промежуточную.\n", "# Никакие значения в этой ячейке не влияют на факт сдачи работы.\n", "\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "import numpy as np\n", "import scipy.stats as sps\n", "import matplotlib.pyplot as plt\n", "import pandas as pd\n", "import seaborn as sns\n", "\n", "%matplotlib inline\n", "sns.set_style(\"darkgrid\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Задача 2\n", "### Функция правдоподобия" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "\n", "Дана параметрическая модель и 3 выборки, состоящие из 2-3 наблюдений. Для удобства, выборки представлены в виде python-кода — каждая выборка записана как список ее элементов; множество выборок представлено как список списков, соответствующих выборкам из множества. Нужно для каждой выборки построить график функции правдоподобия.\n", "\n", "*a).* Параметрическая модель $\\mathcal{N}(\\theta, 1)$, выборки: `[[-1, 1], [-5, 5], [-1, 5]]`\n", "\n", "*b).* Параметрическая модель $Exp(\\theta)$, выборки: `[[1, 2], [0.1, 1], [1, 10]]`\n", "\n", "*c).* Параметрическая модель $U[0, \\theta]$, выборки: `[[0.2, 0.8], [0.5, 1], [0.5, 1.3]]`\n", "\n", "*d).* Параметрическая модель $Bin(5, \\theta)$, выборки: `[[0, 1], [5, 5], [0, 5]]`\n", "\n", "*e).* Параметрическая модель $Pois(\\theta)$, выборки: `[[0, 1], [0, 10], [5, 10]]`\n", "\n", "*f).* Параметрическая модель $Сauchy(\\theta)$, где $\\theta$ — параметр сдвига, выборки: `[[-0.5, 0.5], [-2, 2], [-4, 0, 4]]`\n", "\n", "Выполнить задание, не создавая много кода, поможет следующая функция." ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "def draw_likelihood(density_function, grid, samples, label):\n", " \"\"\"Изображает график функции правдоподобия для каждой из 3 выборок.\n", "\n", " Аргументы:\n", " density_function --- функция, считающая плотность (обычную или дискретную).\n", " На вход данная функция должна принимать массив размера (1, len_sample)\n", " и возвращать массив размера (len_grid, len_sample).\n", " grid --- массив размера (len_grid, 1) --- сетка для построения графика;\n", " samples --- три выборки;\n", " label --- latex-код параметрической модели.\n", " \"\"\"\n", " assert len(samples) == 3, \"Число выборок не равно 3.\"\n", "\n", " plt.figure(figsize=(18, 5))\n", " for i, sample in enumerate(samples):\n", " sample = np.array(sample)[np.newaxis, :]\n", " likelihood = <...>\n", "\n", " plt.subplot(1, 3, i+1)\n", " plt.plot(grid, likelihood)\n", " plt.xlabel('$\\\\theta$', fontsize=16)\n", " plt.grid(ls=':')\n", " plt.title(label + ', sample=' + str(sample), fontsize=16)\n", " plt.show()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Первый пункт можно выполнить с помощью следующего кода:" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "grid = np.linspace(-5, 5, 1000).reshape((-1, 1))\n", "draw_likelihood(sps.norm(loc=grid).pdf, grid,\n", " [[-1, 1], [-5, 5], [-1, 5]], '$\\\\mathcal{N}(\\\\theta, 1)$')" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Выполните остальные:" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "# ваш код\n", "grid = np.linspace(-0.55, 10, 1000).reshape((-1, 1))\n", "draw_likelihood(<...>, grid,\n", " [[1, 2], [0.1, 1], [1, 10]], '$Exp(\\\\theta)$')\n", "\n", "grid = np.linspace(0.1, 2, 1000).reshape((-1, 1))\n", "draw_likelihood(<...>, grid,\n", " [[0.2, 0.8], [0.5, 1], [0.5, 1.3]], '$U(0, \\\\theta)$')\n", "\n", "grid = np.linspace(0, 1, 1000).reshape((-1, 1))\n", "draw_likelihood(<...>, grid,\n", " [[0, 1], [5, 5], [0, 5]], '$Bin(5, \\\\theta)$')\n", "\n", "grid = np.linspace(0, 15, 1000).reshape((-1, 1))\n", "draw_likelihood(<...>, grid,\n", " [[0, 1], [0, 10], [5, 10]], '$Pois(\\\\theta)$')\n", "\n", "grid = np.linspace(-7, 7, 1000).reshape((-1, 1))\n", "draw_likelihood(<...>, grid,\n", " [[-0.5, 0.5], [-2, 2], [-4, 0, 4]], '$Cauchy(\\\\theta)$')" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Прокомментируйте полученные графики. Сделайте вывод о том, как функция правдоподобия для каждой модели зависит от выборки. Является ли функция правдоподобия плотностью?" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Вывод:**\n", "\n", "*Примечание:* В выводе для каждой модели требуется описать, как меняются значения функции (сдвиг, масштаб, форма) при изменении выборки, где достигается максимум, а также какие значения параметра более правдоподобны для данной выборки, какие — менее.\n", "\n", "<...>" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Сгенерируем выборку большого размера из стандартного нормального распределения и посчитаем ее функцию правдоподобия в модели $\\mathcal{N}(\\theta, 1)$. Выполните код ниже:" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "sample = sps.norm.rvs(size=10**5)\n", "likelihood = sps.norm.pdf(sample).prod()\n", "print(likelihood)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Почему результат отличается от ожидаемого? Как обойти эту неприятность для подсчета оценки максимального правдоподобия? Реализуйте это.\n", "\n", "*Подсказка:* нужно использовать некоторый метод класса, реализующий это распределение" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Ответ на вопрос и описание метода решения проблемы:**\n", "<...>" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "# ваш код\n", "<...>" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.11.5" }, "varInspector": { "cols": { "lenName": 16, "lenType": 16, "lenVar": 40 }, "kernels_config": { "python": { "delete_cmd_postfix": "", "delete_cmd_prefix": "del ", "library": "var_list.py", "varRefreshCmd": "print(var_dic_list())" }, "r": { "delete_cmd_postfix": ") ", "delete_cmd_prefix": "rm(", "library": "var_list.r", "varRefreshCmd": "cat(var_dic_list()) " } }, "types_to_exclude": [ "module", "function", "builtin_function_or_method", "instance", "_Feature" ], "window_display": false } }, "nbformat": 4, "nbformat_minor": 2 }