Herramientas of-scraper ahora con soporte DRM

  • Iniciador del tema Iniciador del tema graytin6
  • Fecha de inicio Fecha de inicio
graytin6

graytin6

Lurker
Registrado
1 Abr 2023
Mensajes
21
Puntos de reacción
0
ofscraper
ofscaper es un fork de onlyfans-scraper con funciones y correcciones adicionales.
Muchos de estos cambios tienen que ver con la gestión de archivos. Por ejemplo, con los cambios hechos puedes controlar qué tipos de archivos se descargan, y tener más control sobre el destino final de esos archivos. También agregamos soporte para archivos de metadatos.
Para los que actualmente usan el script de digitalcriminals. Estamos usando la misma estructura de user_data.db. Así que esos archivos son completamente compatibles. Siempre que uses una configuración adecuada para metadata en tu config.json. Tu user_data.db se puede usar para saltar archivos ya descargados.
Ejecutando
Código: 
ofscraper
Te permite no solo scrapear contenido, sino también dar y quitar likes en masa
También te permite gestionar la mayor parte del programa. Por ejemplo cambiar de perfil, cambiar configuraciones, o resetear el archivo de auth
Para usuarios cómodos con la línea de comandos, ofrecemos la posibilidad de potenciar la automatización y saltarse cualquier menú
Por ejemplo un comando que he estado usando es
Código: 
ofscraper --posts all --purchased --renewal disabled --sub-status active --account-type paid
Que está pensado para scrapear solo todo el contenido del wall y contenido pago. Solo para cuentas de pago que estén activas y tengan la renovación desactivada
También hay un daemon disponible
Código: 
--daemon {minutes}
Cambios
Muchos de los cambios se pueden encontrar en changes.md
Sin embargo algunos de los que me gustan son
- scrapear mensajes, y contenido pago de modelos específicas
- filtrar por tipo de cuenta, estado de suscripción, y estado de renovación
- búsqueda difusa al seleccionar modelo
- posibilidad de elegir el tipo específico de posts a descargar
- soporte de daemon en segundo plano
Esto está pensado para ser un programa bien directo. Por ahora el plan es soportar solo onlyfans, ya que hay otros scripts que pueden soportar fansly por ejemplo.
Enlaces
Repo
Pypi
 
Probé rápido este script, y funciona muy bien. Sin embargo me encontré con cuatro bugs pequeños:
Primero, obtuve run failed with exception: 'text' en un solo perfil, resultando en ninguna descarga en absoluto. Sin embargo no pude replicar esto en ningún otro perfil.
Código: 
? Which models do you want to scrape: auroraangel1
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for auroraangel1
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: aurora angel | Username: auroraangel1 | ID: 66748071 | Joined: 2020-09-03T00:00:00+00:00
- 501 posts
-- 452 photos
-- 207 videos
-- 0 audios
- 2 archived posts
Pages Progress: 12: : 12it [01:05, 5.49s/it]
run failed with exception: 'text'
Using profile: main_profile[01:03, 4.17s/it]
Status - UP
Getting paid content for auroraangel1
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: auroraangel1
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
El segundo bug es que el script, por alguna razón, se salta un solo archivo al scrapear. Probando tanto con como sin --dupe no cambia esto. Sin embargo, corriendo el scrape 1 o 2 veces más en el mismo perfil parece arreglarlo y el archivo misteriosamente saltado se descarga. No estoy seguro exactamente de qué archivo se trata, lamentablemente.
El tercer bug es que el script a veces no descarga nada del contenido archivado de un perfil. --dupe no cambia esto, ni tampoco seleccionar solo contenido archivado. :SadgeCry:
Código: 
? Which models do you want to scrape: avaxreyes
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for avaxreyes
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: Ava Reyes 💖 | Username: avaxreyes | ID: 125000045 | Joined: 2021-03-11T00:00:00+00:00
- 261 posts
-- 286 photos
-- 8 videos
-- 0 audios
- 30 archived posts
Pages Progress: 9: : 9it [00:05, 1.60it/s]
Pages Progress: 3: : 3it [00:46, 15.52s/it]
forcing all downloads

Downloading to ofscraper/{model_username}/{responsetype}/{mediatype}/

Progress: (300 photos, 8 videos, 0 skipped || 308/308||150.15 MB): : 308it [00:43, 7.08it/s]
Using profile: main_profile
Status - UP
Getting paid content for avaxreyes
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: avaxreyes
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
Y por último, el cuarto bug es que los avatares se descargan sin extensión de archivo. No es algo importante para mí, pero pensé en compartirlo por si alguien lo necesita. 👍
Aparte de esos cuatro pequeños bugs, el script funciona absolutamente perfecto y es súper fácil de usar. ¡Gracias por compartirlo! :MLADY:👍
 
Gracias por las palabras amables, y también los reportes de bugs son muy útiles
 
He recibido mucha ayuda para mejorar este script, como en el post citado
Con el lanzamiento de la 1.82
Pensé en venir aquí y ver si algunos de los bugs de por aquí ya se habían solucionado
Con eso, he podido corregir muchos problemas de versiones anteriores e implementar formas de mejorar el script.
1. El error de texto puede significar que el archivo de configuración no está bien o que la respuesta de onlyfans no tiene el valor esperado. Como esto solo pasa con un modelo específico, probablemente sea lo segundo. He renovado el script para que maneje mejor todos los distintos tipos de respuestas que da onlyfans. He recibido reportes de errores parecidos, pero la mayoría parecen haberse ido con actualizaciones posteriores.
2. Las descargas fallidas son casi siempre culpa de onlyfans, a veces simplemente mandan una respuesta mala. Las versiones anteriores estaban pensadas para reintentar la petición, pero eso no estaba bien implementado. Con la nueva versión lo he corregido. Ahora cada descarga se intentará 5 veces, con una pausa entre intentos. Espero que esto reduzca mucho o elimine las descargas saltadas.
3. De esto no estoy seguro. Hay buenas posibilidades de que se haya arreglado con todos los cambios hechos al script.
4. Implementé un arreglo para esto en la 1.82
 
Quité la 1.82 por un bug que metí en esa versión
la última versión es la 1.87
 
Buenas noticias
ofscraper 1.95 ahora soporta contenido con DRM
 
¡Gracias, hornyone! Nunca me puse a usar digitalcriminal y estaba descargando el contenido a mano... Probé tu script y me ha hecho la vida muchísimo más fácil.
 
Añadí una función beta
Es una forma de visualizar rápidamente información de la db, junto con información sacada de la api
Esto es parte del próximo lanzamiento de la 2.2
Probablemente habrá una forma de descargar posts individuales que se desbloqueen así, además de poder hacerlo directamente desde la línea de comandos
dp-Y8eWwsgY.png
 
No sé si estoy haciendo algo mal o si hay una forma de hacerlo, pero al scrapear mensajes con DRM no se le añade la calidad al nombre del archivo (ej. _source). Todavía no lo he probado con posts, porque por ahora solo estoy usando la herramienta para mensajes.
 
Solo a algunos archivos se les añade _source
Depende de la URL que devuelva la API
 
No creo que sea así. Porque usé el scraper de sim0n00ps para los mismos mensajes y devolvió con _source añadido, mientras que el tuyo no, para los mismos archivos.
 
Sí, he estado usando lo que dijera la URL original
Eché un vistazo rápido a su código y él añade eso al nombre del archivo
folder + path + "/" + filename + "_source.mp4"
Algunos archivos sí lo tienen dentro de la URL, pero no es consistente
Probablemente haga algo parecido para evitar confusiones
 
Usando ofscraper 2.4.5 en macOS. Descargó todo lo de mis compras bien... excepto que el video DRM no se descarga correctamente. Descarga el video DRM, pero el video DRM no se puede abrir. QuickTime de macOS (el software para reproducir mp4 en macOS) dice: "The file isn't compatible with QuickTime Player.". También intenté subir ese archivo a gofile para ver si reproducía ahí, y tampoco.
Estoy usando esto para mp4decrypt: https://formulae.brew.sh/formula/bento4
Y también apunté mi config al ejecutable de ffmpeg (ya uso ffmpeg regularmente)
Al inspeccionar los metadatos del video DRM descargado que no abre... noté que la diferencia entre este y los otros videos que no son DRM es que el DRM no tiene información sobre dimensiones, códec, etc. Le falta esa metadata, que es lo que supongo que puede hacer que esté roto para mí. ¿Alguna idea?
 
Además, ¿cómo reintento descargas de contenido descargado anteriormente? Noté que cuando vuelvo a ejecutarlo en los mensajes de una modelo, no descarga los que ya he descargado antes.
 
El problema está en la extensión
Algunos reproductores de video pueden saltárselo.
En el discord parece que vlc es uno de ellos
pero cambiar los nombres a .mkv o
volver a descargar con --dupe arreglará el problema
https://github.com/datawhores/OF-Scraper/issues/85
podés correr
ofscraper --dupe
Esto se saltará el chequeo de duplicados y volverá a descargar todos los archivos
 
Perdón de verdad.
¿me podés explicar como si tuviera 5 años cómo usar esto?
 
Volví a descargar el archivo DRM y salió bien, todo funciona. ¡Gracias por tu trabajo!
 
Hola, descargué un video pago con DRM (mensaje) y quiero volver a descargarlo, ¿cómo puedo hacerlo? El archivo figura como descargado en la DB.
 
Debes iniciar sesión o registrarte para responder aquí.
Atrás
Arriba