gridsearchcv.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import cross_val_score\n",
    "from sklearn.neighbors import KNeighborsClassifier\n",
    "from sklearn import datasets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "iris = datasets.load_iris()\n",
    "X = iris.data\n",
    "y = iris.target"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[1.         0.93333333 1.         1.         0.86666667 0.93333333\n",
      " 0.93333333 1.         1.         1.        ]\n"
     ]
    }
   ],
   "source": [
    "knn = KNeighborsClassifier(n_neighbors=5)\n",
    "scores = cross_val_score(knn, X, y, cv=10, scoring='accuracy')\n",
    "print(scores)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import cross_val_score\n",
    "from sklearn.neighbors import KNeighborsClassifier\n",
    "from sklearn import datasets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "iris = datasets.load_iris()\n",
    "X = iris.data\n",
    "y = iris.target"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.86666667, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.86666667, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.86666667, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.86666667, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.86666667, 0.93333333, 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.86666667, 0.93333333, 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.86666667, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.86666667, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 0.93333333, 0.86666667,\n",
      "       1.        , 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 1.        ,\n",
      "       0.86666667, 0.93333333, 0.93333333, 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 1.        ,\n",
      "       0.86666667, 0.93333333, 0.93333333, 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.86666667,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 1.        ,\n",
      "       0.93333333, 0.93333333, 0.93333333, 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 1.        ,\n",
      "       0.93333333, 0.93333333, 0.93333333, 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.93333333,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.93333333,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 1.        ,\n",
      "       0.86666667, 0.93333333, 0.93333333, 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 1.        ,\n",
      "       0.86666667, 0.93333333, 0.93333333, 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.93333333,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ]), array([1.        , 0.93333333, 1.        , 1.        , 0.93333333,\n",
      "       0.93333333, 0.93333333, 1.        , 1.        , 1.        ])]\n"
     ]
    }
   ],
   "source": [
    "n_neighbors = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]\n",
    "weights = ['uniform', 'distance']\n",
    "algorithms = ['auto', 'kd_tree']\n",
    "\n",
    "score_collection = []\n",
    "for n in n_neighbors:\n",
    "    for w in weights:\n",
    "        for a in algorithms:\n",
    "            knn = KNeighborsClassifier(n_neighbors=n, weights=w, algorithm=a)\n",
    "            scores = cross_val_score(knn, X, y, cv=10, scoring='accuracy')\n",
    "            score_collection.append(scores)\n",
    "            \n",
    "print(score_collection)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import GridSearchCV\n",
    "from sklearn.neighbors import KNeighborsClassifier\n",
    "from sklearn import datasets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "iris = datasets.load_iris()\n",
    "X = iris.data\n",
    "y = iris.target"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "param_grid = dict(\n",
    "    n_neighbors=[1, 2, 3, 4, 5, 6, 7, 8, 9, 10],\n",
    "    weights=['uniform', 'distance'],\n",
    "    algorithm=['auto', 'kd_tree']\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "GridSearchCV(cv=10, error_score='raise-deprecating',\n",
       "       estimator=KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',\n",
       "           metric_params=None, n_jobs=None, n_neighbors=5, p=2,\n",
       "           weights='uniform'),\n",
       "       fit_params=None, iid='warn', n_jobs=None,\n",
       "       param_grid={'n_neighbors': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 'weights': ['uniform', 'distance'], 'algorithm': ['auto', 'kd_tree']},\n",
       "       pre_dispatch='2*n_jobs', refit=True, return_train_score='warn',\n",
       "       scoring=None, verbose=0)"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "knn = KNeighborsClassifier()\n",
    "clf = GridSearchCV(knn, param_grid=param_grid, cv=10)\n",
    "clf.fit(X, y)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'algorithm': 'auto', 'n_neighbors': 9, 'weights': 'uniform'}"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clf.best_params_"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([1])"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clf.predict([[3, 5, 4, 2],])"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}