Python Materials For Beginners

Знову про GIT але англійською. https://www.youtube.com/watch?v=Ala6PHlYjmw

🟢 Потоки введення/виведення. Практика. У Python для створення підпроцесів використовується бібліотека subprocess. Вона дозволяє запускати програми та працювати з їхніми потоками введення/виведення. subprocess добре підходить для простих випадків з синхронном кодом. Але цікавіше розглянути асинхронний приклад з asyncio, який працює одразу з усіма трьома потоками введення/виведення. Ідея проста: запускаємо Python у інтерактивному режимі та виконуємо дві операції — 2+2 і 1/0. import asyncio import sys async def read_stream(name: str, stream: asyncio.StreamReader): while data := await stream.readline(): line = data.decode("utf8").rstrip() print(f"[{name}]", line) async def main(): process = await asyncio.create_subprocess_exec( sys.executable, "-i", # python -i stdin=asyncio.subprocess.PIPE, stdout=asyncio.subprocess.PIPE, stderr=asyncio.subprocess.PIPE, ) stdout_task = asyncio.create_task( read_stream("stdout", process.stdout), ) stderr_task = asyncio.create_task( read_stream("stderr", process.stderr), ) process.stdin.write(b"2+2\n") await process.stdin.drain() process.stdin.write(b"1/0\n") await process.stdin.drain() process.stdin.write(b"exit()\n") await process.stdin.drain() await process.wait() # Чекаємо завершення підпроцесу Вивід у консоль: [stderr] Python 3.11.6 (tags/v3.11.6:8b6ee5b, Oct 2 2023, 14:57:12) [MSC v.1935 64 bit (AMD64)] on win32 [stderr] Type "help", "copyright", "credits" or "license" for more information. [stdout] 4 [stderr] >>> >>> Traceback (most recent call last): [stderr] File "<stdin>", line 1, in <module> [stderr] ZeroDivisionError: division by zero [stderr] >>> Як бачимо ми отримали текст окремо stdout і окремо stderr. Звісно аналогічним чином ми можемо запускати системі утіліти або інші програми написані на інших мовах програмування — це простір для автоматизації. Але трохи дивно чому python пише

Знову git www.youtube.com/watch?v=y6meVhckYmQ #git

Непогане відео про "Environment variables" та .env файли. https://www.youtube.com/watch?v=Hn5sgLafAMQ

Цікаве відео про черги повідомлень. #rabbitmq #kafka https://www.youtube.com/watch?v=byCvosoavLw&pp=ugUEEgJ1aw%3D%3D

https://www.youtube.com/watch?v=tge4ojz5w1w&pp=ugUEEgJ1aw%3D%3D #logging

Трошки філософії https://www.youtube.com/watch?v=BeLFcsegddc

Трохи про Rotating Proxy. (Гадаю ця інформація буде корисна при покупці проксі для скрапінгу даних.) По режиму керування: 1. Per-request rotation 2. Session-based rotation 3. Automated request management За типом інфраструктури/провайдера: 1. Residential High reliability Real home IPs 2. Datacenter Fast & cost-efficient Server IPs 3. Mobile Carrier IPs Mobile-network routing 4. ISP Datacenter speed Consumer-ISP routing #proxy https://www.youtube.com/watch?v=YTQVusxV-Bs

Як на мене дуже цікаво буде спробувати RAG. #rag #embedding https://www.youtube.com/watch?v=QmiaI5HiLmg

Ще одне корисне відео, рекомендую до ознайомлення. #pydantic https://www.youtube.com/watch?v=H0Q-o-4ebb4

Дуже коротко про індекси у БД. #db #бд #індекс https://www.youtube.com/watch?v=gBauJAfvBSo

https://www.youtube.com/watch?v=ISArnKKKveE&pp=ugUEEgJ1aw%3D%3D #sql #db #бд #join

Підбірка відео по конкурентності: Асинхронний Пайтон за 5 хвилин / Python - AsyncIO Введення у Асинхронне Програмування - Процеси, Потоки, GIL та Asyncio Основи роботи з Процесами та Потоками у Пайтоні #asyncio

На жаль в багатьох відео пояснення асинхронки у python якесь не дуже (у тому числі у відео що я привів вище). Чомусь багато авторів лізуть під капот діставати генератори, які не дуже й то пояснюють основну суть. На мою думку варто більше акцентувати свою увагу на розумінні IO-bound та CPU-bound задачах. Також важливі моменти asyncio.gather та asyncio.wait, asyncio.wait_for які як раз дають змогу отримувати виграш у часі виконання програми за рахунок IO-bound. #asyncio

I/O-bound задача (Input/Output bound — задача, обмежена вводом-виводом) — це тип задач у програмуванні, під час виконання яких процесор більшість часу простоює в очікуванні, поки завершиться зовнішня операція. У таких задачах швидкість виконання програми залежить не від потужності процесора (CPU), а від швидкості зовнішніх систем чи пристроїв. До I/O-bound можна віднести: 1. Роботу з мережею (у тому числі HTTP-запити та роботу з БД). 2. Роботу з пристроями (наприклад, роботу через serial port). 3. Роботу з файлами. Операційна система надає спеціальний набір функцій для асинхронної роботи, які зазвичай називають неблокуючими (non-blocking). Python будує над ними свою обгортку яка підтримує синтаксис async/await #asyncio

Бібліотеки httpx і curl_cffi (на відміну від requests) надають як синхроний так і асинхронний інтерфейси: import httpx def main(): with httpx.Client() as client: response = client.get("https://httpbin.org/get") print(response.status_code) main() import asyncio import httpx async def main(): async with httpx.AsyncClient() as client: response = await client.get("https://httpbin.org/get") print(response.status_code) asyncio.run(main()) За виключенням синтаксису async/await і запуску через asyncio.run різниці немає. І що варто підкреслити не має виграшу у часі виконання. Обидва приклади відправляють HTTP запит на сервер, а потім чекають від нього відповіді. #asyncio

Тут на DOU рекламують наче новий сервіс с задачками. Поки немає часу та бажання дивитись, але якщо хтось пробував/спробує - відпишіть як воно, норм або черговий стрьом? https://genepy.org/exercises/sapin