Categories: Python

Как скачать куки и хедеры с сайта в json файл для работы в программах Python

В этой статье будет краткое руководство как скачать куки с сайта быстро – мой личный опыт, как я копирую нужные мне куки и хедеры для использования в своих программах. Способов сделать это много, я же расскажу как делаю это я. Все действия будем делать на примере моего сайта в браузере Google Chrome (это важно)

5 шагов как скачать куки с сайта

Зайдите на нужный сайт и нажмите F12. Перейдите в вкладку Network.
Обязательно еще раз обновите страницу сайта.
Далее в самом верху списка запросов найдите саму странцу сайта (обычно сопроваждается синей иконкой документа)
Выбирите ALL (обычно выбрано по умолчанию)
нажите правой кнопкой мышки. Выбирите Copy, а далее Copy cUrl (bash)
Поздравляю! Вы скопировали основной запрос для сайта со всеми хедерами и куки.

cUrl to Json

5. Далее все просто. Перейдите по ссылке https://curlconverter.com/json/ и в верхнее поле вставьте скопированную информацию. В данном примере она такая

{
    "url": "https://stepfor.top/cookies_copy_to_json",
    "raw_url": "https://stepfor.top/cookies_copy_to_json/",
    "method": "get",
    "cookies": {
        "_fbp": "fb.1.1686766700123.743816480",
        "_ga": "GA1.1.1525614153.1686766700",
        "FCCDCF": "%5Bnull%2Cnull%2Cnull%2C%5B%22CP2APYAP2APYAEsACBENAcEgAAAAAEPgACgAAAAQaQD2F2K2kKFkPCmQWYAQBCijYEAhQAAAAkCBIAAgAUgQAgFIIAgAIFAAAAAAAAAQEgCQAAQABAAAIACgAAAAAAIAAAAAAAQQAAAAAIAAAAAAAAEAQAAAAAQAAAAIAABEhCAAQQAEAAAAAAAQAAAAAAAAAAABAAAAAAAAAAAAAAAAAAAAgAA%22%2C%221~%22%2C%222BAEC5F7-7581-485F-BF6E-7795084BAF5A%22%5D%2Cnull%2Cnull%2C%5B%5D%5D",
        "wp-settings-time-1": "1701446889",
        "wp-settings-1": "editor%3Dhtml%26ampamplibraryContent%3Dbrowse%26ampampalign%3Dcenter%26ampampimgsize%3Dmedium%26ampampwplink%3D1%26ampampurlbutton%3Dfile%26ampampposts_list_mode%3Dlist%26ampamppost_dfw%3Doff%26ampamptemplate_window_vcUIPanelWidth%3D1344%26ampamptemplate_window_vcUIPanelLeft%3D2px%26ampamptemplate_window_vcUIPanelTop%3D74px%26ampampedit_element_vcUIPanelWidth%3D1104%26ampampedit_element_vcUIPanelLeft%3D242px%26ampampedit_element_vcUIPanelTop%3D121px%26posts_list_mode%3Dlist%26libraryContent%3Dbrowse",
        "__wpdm_client": "811affe3a6ae702a1bb1c87d6209a6ab",
        "PHPSESSID": "bc44cad023d163e691caf975be98cf00",
        "__eoi": "ID=f227a866dbc2f5cf:T=1723649598:RT=1727755037:S=AA-AfjYj-8DH8BKoPpjXyce1TuaM",
        "wordpress_test_cookie": "WP%20Cookie%20check",
        "wordpress_logged_in_d6f4b0785bff97c2beef95084219a3db": "natrud%7C1727927977%7CcFXb1gPLWhEF73TX3Yy24wzuX5zwVuEgcf916L6JEMZ%7C2d40e4b3432dafd6a30425df60cdd36184e97e884f6650c862481d540d2a01de",
        "wp_lang": "ru_RU",
        "_ga_0XVL3ESJJR": "GS1.1.1727755029.228.1.1727755333.60.0.0",
        "_ga_RXCNVVDG8L": "GS1.1.1727755030.57.1.1727755333.60.0.0"
    },
    "headers": {
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
        "accept-language": "ru,uk;q=0.9,uk-UA;q=0.8,ru-UA;q=0.7,en-US;q=0.6,en;q=0.5",
        "cache-control": "max-age=0",
        "cookie": "_fbp=fb.1.1686766700123.743816480; _ga=GA1.1.1525614153.1686766700; FCCDCF=%5Bnull%2Cnull%2Cnull%2C%5B%22CP2APYAP2APYAEsACBENAcEgAAAAAEPgACgAAAAQaQD2F2K2kKFkPCmQWYAQBCijYEAhQAAAAkCBIAAgAUgQAgFIIAgAIFAAAAAAAAAQEgCQAAQABAAAIACgAAAAAAIAAAAAAAQQAAAAAIAAAAAAAAEAQAAAAAQAAAAIAABEhCAAQQAEAAAAAAAQAAAAAAAAAAABAAAAAAAAAAAAAAAAAAAAgAA%22%2C%221~%22%2C%222BAEC5F7-7581-485F-BF6E-7795084BAF5A%22%5D%2Cnull%2Cnull%2C%5B%5D%5D; wp-settings-time-1=1701446889; wp-settings-1=editor%3Dhtml%26ampamplibraryContent%3Dbrowse%26ampampalign%3Dcenter%26ampampimgsize%3Dmedium%26ampampwplink%3D1%26ampampurlbutton%3Dfile%26ampampposts_list_mode%3Dlist%26ampamppost_dfw%3Doff%26ampamptemplate_window_vcUIPanelWidth%3D1344%26ampamptemplate_window_vcUIPanelLeft%3D2px%26ampamptemplate_window_vcUIPanelTop%3D74px%26ampampedit_element_vcUIPanelWidth%3D1104%26ampampedit_element_vcUIPanelLeft%3D242px%26ampampedit_element_vcUIPanelTop%3D121px%26posts_list_mode%3Dlist%26libraryContent%3Dbrowse; __wpdm_client=811affe3a6ae702a1bb1c87d6209a6ab; PHPSESSID=bc44cad023d163e691caf975be98cf00; __eoi=ID=f227a866dbc2f5cf:T=1723649598:RT=1727755037:S=AA-AfjYj-8DH8BKoPpjXyce1TuaM; wordpress_test_cookie=WP%20Cookie%20check; wordpress_logged_in_d6f4b0785bff97c2beef95084219a3db=natrud%7C1727927977%7CcFXb1gPLWhEF73TX3Yy24wzuX5zwVuEgcf916L6JEMZ%7C2d40e4b3432dafd6a30425df60cdd36184e97e884f6650c862481d540d2a01de; wp_lang=ru_RU; _ga_0XVL3ESJJR=GS1.1.1727755029.228.1.1727755333.60.0.0; _ga_RXCNVVDG8L=GS1.1.1727755030.57.1.1727755333.60.0.0",
        "if-modified-since": "Mon, 30 Sep 2024 13:27:27 GMT",
        "priority": "u=0, i",
        "referer": "https://stepfor.top/",
        "sec-ch-ua": "\"Google Chrome\";v=\"129\", \"Not=A?Brand\";v=\"8\", \"Chromium\";v=\"129\"",
        "sec-ch-ua-mobile": "?0",
        "sec-ch-ua-platform": "\"Windows\"",
        "sec-fetch-dest": "document",
        "sec-fetch-mode": "navigate",
        "sec-fetch-site": "same-origin",
        "sec-fetch-user": "?1",
        "upgrade-insecure-requests": "1",
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36"
    }
}

В нашем случае нужны будут только данные после слова cookies (куки) и headers (хедеры, заголовки). Скопируйте в отдельный текстовый файл все после cookies от первой фигурной скобки до последней (фигурные скобки тоже копируйте 🙂
В кокоретном примере куки выглядят так. Обратите внимание, это только данные в фигруных скобках. Слово cookies тут отсутствует:

{
        "_fbp": "fb.1.1686766700123.743816480",
        "_ga": "GA1.1.1525614153.1686766700",
        "FCCDCF": "%5Bnull%2Cnull%2Cnull%2C%5B%22CP2APYAP2APYAEsACBENAcEgAAAAAEPgACgAAAAQaQD2F2K2kKFkPCmQWYAQBCijYEAhQAAAAkCBIAAgAUgQAgFIIAgAIFAAAAAAAAAQEgCQAAQABAAAIACgAAAAAAIAAAAAAAQQAAAAAIAAAAAAAAEAQAAAAAQAAAAIAABEhCAAQQAEAAAAAAAQAAAAAAAAAAABAAAAAAAAAAAAAAAAAAAAgAA%22%2C%221~%22%2C%222BAEC5F7-7581-485F-BF6E-7795084BAF5A%22%5D%2Cnull%2Cnull%2C%5B%5D%5D",
        "wp-settings-time-1": "1701446889",
        "wp-settings-1": "editor%3Dhtml%26ampamplibraryContent%3Dbrowse%26ampampalign%3Dcenter%26ampampimgsize%3Dmedium%26ampampwplink%3D1%26ampampurlbutton%3Dfile%26ampampposts_list_mode%3Dlist%26ampamppost_dfw%3Doff%26ampamptemplate_window_vcUIPanelWidth%3D1344%26ampamptemplate_window_vcUIPanelLeft%3D2px%26ampamptemplate_window_vcUIPanelTop%3D74px%26ampampedit_element_vcUIPanelWidth%3D1104%26ampampedit_element_vcUIPanelLeft%3D242px%26ampampedit_element_vcUIPanelTop%3D121px%26posts_list_mode%3Dlist%26libraryContent%3Dbrowse",
        "__wpdm_client": "811affe3a6ae702a1bb1c87d6209a6ab",
        "PHPSESSID": "bc44cad023d163e691caf975be98cf00",
        "__eoi": "ID=f227a866dbc2f5cf:T=1723649598:RT=1727755037:S=AA-AfjYj-8DH8BKoPpjXyce1TuaM",
        "wordpress_test_cookie": "WP%20Cookie%20check",
        "wordpress_logged_in_d6f4b0785bff97c2beef95084219a3db": "natrud%7C1727927977%7CcFXb1gPLWhEF73TX3Yy24wzuX5zwVuEgcf916L6JEMZ%7C2d40e4b3432dafd6a30425df60cdd36184e97e884f6650c862481d540d2a01de",
        "wp_lang": "ru_RU",
        "_ga_0XVL3ESJJR": "GS1.1.1727755029.228.1.1727755333.60.0.0",
        "_ga_RXCNVVDG8L": "GS1.1.1727755030.57.1.1727755333.60.0.0"
    }

Готово! Вы скопировали нужные Вам куки. Теперь сохраните этот файл как cookies.json
Также скорируйте все по headers = , начиная с фигурной скобки и аналогично сохраните в файл headers.json

Больше статей: Коллекция из 25 потрясающих скриптов Python