همه ما گاهی اوقات فایل ها را از اینترنت دانلود می کنیم. اگر از برنامه هایی با رابط گرافیکی، سپس همه چیز بسیار ساده به نظر می رسد. با این حال، هنگام کار بر روی خط فرمان لینوکس، همه چیز تا حدودی پیچیده تر می شود. به خصوص برای کسانی که با ابزار مناسب آشنایی ندارند. یکی از این ابزارها فوق العاده است ابزار قدرتمند wget که برای انجام انواع دانلودها مناسب است. ما دوازده مثال را به شما معرفی می کنیم که با تجزیه و تحلیل آنها می توانید بر قابلیت های اساسی wget تسلط پیدا کنید.

$ wget https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia
پس از وارد کردن این دستور، دانلود Nagios Core آغاز می شود. در طول این فرآیند، می‌توانید داده‌های مربوط به بارگیری را مشاهده کنید، به عنوان مثال - اطلاعاتی در مورد میزان داده‌ای که قبلاً دانلود شده است، سرعت فعلی و مدت زمان باقی‌مانده تا پایان دانلود.

2. فایل را دانلود کرده و با نام جدید ذخیره کنید

اگر بخواهیم فایل دانلود شده را با نامی متفاوت از نام اصلی ذخیره کنیم، به دستور wget با پارامتر -O نیاز داریم:

$ wget -O nagios_latest https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia
با این روش، فایل دانلود شده با نام nagios_latest ذخیره می شود.

3. محدود کردن سرعت دانلود فایل

در صورت لزوم می توان سرعت دانلود فایل ها با استفاده از wget را محدود کرد. در نتیجه، این عملیات کل کانال داده موجود را اشغال نخواهد کرد و بر سایر فرآیندهای مرتبط با شبکه تأثیری نخواهد گذاشت. می توانید این کار را با استفاده از گزینه --limit-rate و تعیین یک محدودیت نرخ بیان شده در بایت (به عنوان یک عدد معمولی)، کیلوبایت (با K بعد از عدد)، یا مگابایت (M) در ثانیه انجام دهید:

$ wget ––limit-rate=500K https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror =excellmedia
محدودیت سرعت دانلود در اینجا 500 کیلوبایت بر ثانیه تعیین شده است.

4. تکمیل دانلود قطع شده

اگر عملیات در حین دانلود فایل ها قطع شد، می توانید با استفاده از گزینه -c دستور wget، دانلود را از سر بگیرید:

$ wget –c https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia
در صورت عدم استفاده از این پارامتر، دانلود فایل ناقص دانلود شده از ابتدا شروع می شود.

اگر در حال آپلود فایل هستید اندازه بزرگو می خواهید این عملیات را در پس زمینه انجام دهید، می توانید این کار را با استفاده از پارامتر -b انجام دهید:

$ wget –b https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

اگر فهرستی از URLها برای فایل‌ها برای دانلود دارید، اما نمی‌خواهید به صورت دستی دانلود آن فایل‌ها را شروع کنید، می‌توانید از گزینه -I استفاده کنید. با این حال، قبل از شروع دانلود، باید یک فایل حاوی تمام آدرس ها ایجاد کنید. برای مثال می توانید با دستور زیر این کار را انجام دهید:

$vi url.txt
شما باید آدرس هایی را در این فایل قرار دهید - یکی در هر خط. در مرحله بعد، تنها چیزی که باقی می ماند اجرای wget است و فایل جدید ایجاد شده را به همراه فهرستی از دانلودها به این ابزار ارسال می کند:

$ wget –I url.txt
با اجرای این دستور تمامی فایل ها از لیست یک به یک دانلود می شوند.

7. تعداد کل دفعات دانلود فایل را افزایش دهید

برای پیکربندی تعداد دفعات تکرار برای دانلود یک فایل، می‌توانید از پارامتر --tries استفاده کنید:

Wget ––tries=100 https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

دستور دانلود فایل از سرور FTP ناشناسبا استفاده از wget به نظر می رسد:

$wget FTP-URL
اگر برای دسترسی به فایل به نام کاربری و رمز عبور نیاز باشد، دستور به شکل زیر خواهد بود:

$ wget –-ftp-user=dan ––ftp-password=************ FTP-URL

9. یک کپی محلی از وب سایت ایجاد کنید

اگر نیاز به دانلود محتوای کل یک وب سایت دارید، می توانید این کار را با استفاده از گزینه --mirror انجام دهید:

$ wget --mirror -p --convert-links -P /home/dan xyz.com
توجه کن به گزینه های اضافی خط فرمان:

• -p: تمام فایل های مورد نیاز را دانلود می کند نمایش صحیحصفحات HTML
• --convert-links: پیوندهای موجود در اسناد برای اهدافی تبدیل می شوند مشاهده محلیسایت.
• -P /home/dan: مواد در پوشه /home/dan ذخیره خواهند شد.

10. فقط فایل هایی از نوع خاصی را از سایت دانلود کنید

برای دانلود فقط فایل ها از سایت نوع خاصی، می توانید از پارامترهای -r -A استفاده کنید:

$ wget -r -A.txt Website_url

11. از فایل های نوع خاصی پرش کنید

اگر می خواهید کل یک وب سایت را کپی کنید، اما به نوع خاصی از فایل نیاز ندارید، می توانید دانلود را با استفاده از گزینه --reject غیرفعال کنید:

$ wget --reject=png Website_url

12. با استفاده از فایل .log خود آپلود کنید

برای دانلود یک فایل و استفاده از فایل log خود، از گزینه -o استفاده کنید و نام فایل log را مشخص کنید:

$ wget -o wgetfile.log https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

نتایج

استفاده از Wget بسیار آسان است، اما بسیار ابزار مفیدلینوکس. و در واقع، آنچه در مورد آن صحبت کردیم، تنها بخش کوچکی از کاری است که او می تواند انجام دهد. امیدواریم این بررسی به افراد جدید کمک کند تا از این برنامه قدردانی کنند و شاید آن را به زرادخانه ابزار خط فرمان روزانه خود اضافه کنند.

خوانندگان عزیز!آیا از ابزارهای خط فرمان استفاده می کنید؟ رشته های لینوکسبرای دانلود فایل ها؟ اگر بله، لطفاً در مورد آنها به ما بگویید.

جاوا اسکریپت در مرورگر شما مسدود شده است. لطفا جاوا اسکریپت را برای عملکرد سایت فعال کنید!

WGet برنامه ای برای دانلود فایل ها و
دانلود کل سایت

ابزار رایگان توزیع شده Wget که از دنیای لینوکس آمده است به شما امکان می دهد به عنوان دانلود کنید فایل های جداگانهاز اینترنت و کل سایت ها با دنبال کردن پیوندها در صفحات وب.

برای دریافت کمک در مورد پارامترهای WGet، man wget را در لینوکس یا wget.exe --help را در ویندوز تایپ کنید.

فرض کنید می خواهیم ایجاد کنیم کپی کاملسایت www.site.com بر روی دیسک شما. برای انجام این کار، خط فرمان را باز کنید (Wget یک ابزار کنسول است) و دستور زیر را بنویسید:

Wget.exe -r -l10 -k -p -E -nc http://www.site.com WGET به صورت بازگشتی (پارامتر -r) دایرکتوری ها و زیر شاخه ها را در سرور راه دور از جمله سبک های css (-k) با حداکثر پیمایش می کند. عمق بازگشت برابر با ده (-l)، و سپس پیوندهای مطلق را در اسناد HTML دانلود شده با پیوندهای نسبی (-k) و پسوندها با html(-E) برای مشاهده محلی بعدی سایت دانلود شده جایگزین کنید. هنگام بارگیری مجدد، هیچ چهره ای وجود نخواهد داشت و پخش مجدد (-nc) رونویسی می شود. متأسفانه استایل های داخلی و تصاویر مشخص شده در استایل ها دانلود نمی شوند

اگر قصد دارید هر دایرکتوری را از سایت دانلود کنید (با تمام زیرپوشه های آن)، منطقی تر است که پارامتر -np را در خط فرمان قرار دهید. هنگام جستجوی فایل‌ها، این ابزار به ابزار اجازه نمی‌دهد تا از سلسله مراتب دایرکتوری بالاتر از دایرکتوری مشخص شده بالا برود:

Wget.exe -r -l10 -k http://www.site.com -np

Wget.exe -r -l10 -k http://www.site.com -c

به طور پیش فرض، همه چیز دانلود شده در دایرکتوری کاری برنامه ذخیره می شود. پارامتر -P به تعیین مکان متفاوت برای فایل های کپی شده کمک می کند:

Wget.exe -r -l10 -k http://www.site.com -P c:\internet\files

در نهایت، اگر تنظیمات شبکهاگر شبکه شما نیاز به استفاده از سرور پراکسی دارد، تنظیمات آن باید به برنامه اطلاع داده شود. سانتی متر.

Wget -m -k -nv -np -p --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" SITE_ADDRESS

Wget -i FILE

دانلود فایل به دایرکتوری مشخص شده(-پ):

Wget -P /path/for/save ftp://ftp.example.org/some_file.iso

استفاده از نام کاربری و رمز عبور در FTP/HTTP (گزینه 1):

Wget ftp://login: [ایمیل محافظت شده]/some_file.iso

استفاده از نام کاربری و رمز عبور در FTP/HTTP (گزینه 2):

Wget --user=login --password=password ftp://ftp.example.org/some_file.iso

دانلود به زمینه(-b):

Wget -b ftp://ftp.example.org/some_file.iso

بارگیری فایلی که قبلاً ناقص دانلود شده است را ادامه دهید (-c continue):

Wget -c http://example.org/file.iso

صفحه را با عمق 10 دانلود کنید و گزارش را در فایل لاگ بنویسید:

Wget -r -l 10 http://example.org/ -o log

محتویات دایرکتوری http://example.org/~luzer/my-archive/ و همه زیرشاخه های آن را بدون رفتن به بالاتر در سلسله مراتب دایرکتوری دانلود کنید:

Wget -r --no-parent http://example.org/~luzer/my-archive/

برای اطمینان از اینکه پیوندها در تمام صفحات دانلود شده برای مشاهده محلی به پیوندهای نسبی تبدیل می شوند، باید از سوئیچ -k استفاده کنید:

Wget -r -l 10 -k http://example.org/

شناسایی در سرور نیز پشتیبانی می شود:

Wget --save-cookies cookies.txt --post-data "user=foo&password=bar" http://example.org/auth.php

کل سایت را کپی کنید:

Wget -r -l0 -k http://example.org/

به عنوان مثال، بایگانی های فشرده را دانلود نکنید:

Wget -r -R "*.zip" http://freeware.ru

وارد شوید و فایل کلید را دانلود کنید

@echo off wget --save-cookies cookies.txt --post-data "login=YOURLOGIN&password=YOUR PASSWORD" http://beta.drweb.com/files/ -O- wget --load-cookies cookies.txt " http://beta.drweb.com/files/?p=win%%2Fdrweb32-betatesting.key&t=f" -O drweb32-betatesting.key

توجه!ثبات پارامتر WGet متفاوت است!

کلیدهای راه اندازی اولیه

-V
-- نسخه
نسخه Wget را نمایش می دهد.

-h
--کمک
کمکی را با شرحی از تمام سوئیچ های خط فرمان Wget نمایش می دهد.

-ب
--زمینه
بلافاصله پس از راه اندازی به حالت پس زمینه می رود. اگر فایل خروجی -o مشخص نشده باشد، خروجی به wget-log هدایت می شود.

فرمان -e
-- اجرای دستور
دستور را طوری اجرا کنید که انگار بخشی از . دستوری که به این ترتیب اجرا می شود بعد از دستورات در wgetrc. اجرا می شود و بر آنها اولویت دارد. برای صدور بیش از یک دستور wgetrc، از چندین سوئیچ -e استفاده کنید.

ورود به سیستم و کلیدهای فایل

-o logfile
--output-file=logfile
همه پیام ها را به یک logfile وارد کنید. معمولاً پیام ها به عنوان خطای استاندارد نمایش داده می شوند.

-a logfile
--append-output=logfile
به logfile اضافه کنید. همانند -o، فقط فایل لاگ بازنویسی نمی شود، بلکه ضمیمه می شود. اگر logfile وجود نداشته باشد، یک فایل جدید ایجاد خواهد شد.

-د
-- اشکال زدایی
خروجی اطلاعات اشکال زدایی را فعال می کند، یعنی. اطلاعات مختلف، برای توسعه دهندگان Wget در صورت عملکرد نادرست مفید است. ممکن است مدیر سیستم ساخت Wget را بدون پشتیبانی از اشکال زدایی انتخاب کرده باشد، در این صورت -d کار نخواهد کرد. به یاد داشته باشید که یک ساخت با اشکال زدایی همیشه ایمن است - Wget اطلاعات اشکال زدایی را خروجی نمی دهد مگر اینکه به صراحت از طریق -d درخواست شده باشد.

-q
--ساکت
خروجی Wget را خاموش می کند.

-v
-- پرحرف
شامل خروجی دقیق با تمام اطلاعات ممکن است. به صورت پیش فرض تنظیم شود.

-nv
-- غیر پرحرف
خروجی غیرکلامی - پرحرفی را غیرفعال می کند اما کاملاً بی صدا نمی شود (برای این کار از -q استفاده کنید)، پیام های خطا و اطلاعات اولیه نمایش داده می شوند.

فایل -i
--input-file=فایل
URL را از فایل ورودی بخوانید، در این صورت نیازی نیست URL در خط فرمان مشخص شود. اگر URL ها در خط فرمان و در فایل ورودی مشخص شده باشند، ابتدا URL های خط فرمان درخواست می شوند. فایل لازم نیست (اما می تواند) یک سند HTML باشد - یک لیست متوالی از URL ها کافی است. اما اگر --force-html مشخص شده باشد، فایل ورودی html در نظر گرفته می شود. در این صورت ممکن است در مراجع نسبی مشکلاتی وجود داشته باشد که با مشخص کردن این مشکل برطرف می شود داخل فایل ورودی یا --base=url در خط فرمان.

-اف
--force-html
هنگام خواندن لیستی از آدرس ها از یک فایل، فرمت فایل را روی HTML تنظیم می کند. این به شما این امکان را می دهد که هنگام تعیین بارگیری ها را با استفاده از پیوندهای نسبی در یک فایل HTML محلی سازماندهی کنید داخل فایل ورودی یا --base=url در خط فرمان.

-B URL
--base=URL
در ارتباط با -F برای الحاق یک URL به ابتدای پیوندهای نسبی در فایل ورودی مشخص شده توسط -i استفاده می شود.

کلیدهای دانلود

--bind-address=ADDRESS
هنگام باز کردن اتصالات TCP/IP کلاینت، bind() را در ADDRESS ماشین محلی انجام دهید. ADDRESS را می توان به عنوان نام میزبان یا آدرس IP تعیین کرد. اگر چندین آدرس IP به دستگاه اختصاص داده شود، این کلید می تواند مفید باشد.

-تعداد
--تلاش = عدد
تعداد تلاش ها را برای شماره گذاری تنظیم می کند. تنظیم 0 یا inf مطابقت دارد عدد بی نهایتتلاش می کند. پیش فرض 20 به جز خطاهای بحرانینوع "اتصال رد شد" یا "پرونده یافت نشد" (404)، که در آن تلاش ها از سر گرفته نمی شوند.

فایل O
--output-document=فایل
اسناد در فایل های مربوطه ذخیره نمی شوند، بلکه در فایلی به نام فایل الحاق می شوند. اگر فایل از قبل وجود داشته باشد، بازنویسی می شود. اگر فایل - داده شود، اسناد در خروجی استاندارد نوشته می‌شوند (با -k). به یاد داشته باشید که ترکیب با -k معمولاً فقط برای دانلود یک سند تعریف می شود.

-nc
-- بدون کلوخ
اگر یک فایل بیش از یک بار در یک دایرکتوری دانلود شود، رفتار Wget توسط چندین سوئیچ از جمله -nc تعیین می شود. در بعضی موارد فایل محلیهنگام بارگیری مجدد پاک یا بازنویسی می شود، در موارد دیگر ذخیره می شود.
هنگام اجرای Wget بدون -N، -nc یا -r، دانلود یک فایل در همان فهرست باعث می شود کپی اصلی فایل حفظ شود، اما کپی جدیدبا نام فایل نوشته می شود.1. در صورت دانلود مجدد فایل، کپی سوم به نام file.2 و غیره خواهد بود. اگر سوئیچ -nc مشخص شده باشد، این رفتار سرکوب می‌شود و Wget از دانلود کپی‌های جدید فایل خودداری می‌کند. بنابراین، "no-clobber" یک نام اشتباه است این حالت- از رونویسی فایل‌ها جلوگیری می‌شود (پسوندهای دیجیتال قبلاً از بازنویسی جلوگیری می‌کنند)، بلکه ایجاد چندین نسخه است.
هنگام اجرای Wget با سوئیچ -r، اما بدون -N یا -nc، بارگیری مجدد فایل منجر به بازنویسی فایل قدیمی در جای خود می شود. افزودن -nc با حفظ نسخه های اصلی فایل ها و نادیده گرفتن نسخه های جدید روی سرور از این رفتار جلوگیری می کند.
هنگام اجرای Wget با سوئیچ -N، با یا بدون -r، تصمیم دانلود است نسخه جدیدفایل به مهرهای زمانی محلی و راه دور و اندازه فایل بستگی دارد. -nc را نمی توان با -N مشخص کرد.
وقتی -nc مشخص شود، فایل‌های با پسوندهای html. و .htm از آنها بارگیری می‌شوند دیسک محلیو طوری پردازش می شوند که گویی از اینترنت دانلود شده اند.

-ج
--ادامه هید
به دانلود فایل نیمه دانلود شده ادامه دهید. این زمانی مفید است که باید دانلودی را که توسط فرآیند یا برنامه Wget دیگری آغاز شده است تکمیل کنید. مثلا:

Wget -c ftp://site/ls-lR.Z

اگر فایل ls-lR.Z در دایرکتوری فعلی وجود داشته باشد، Wget آن را اولین قسمت در نظر می گیرد فایل حذف شدهو از سرور می خواهد که دانلود را با یک تورفتگی از ابتدا برابر با طول فایل محلی ادامه دهد.

نیازی به تعیین این کلید نیست تا فرآیند Wget فعلی در صورت قطع اتصال در نیمه راه به دانلود ادامه دهد. این رفتار اصلی است. -c فقط بر دانلودهایی که قبل از فرآیند Wget فعلی شروع شده اند تأثیر می گذارد در صورتی که فایل های محلی از قبل وجود داشته باشند.

بدون -c، مثال قبلی فایل حذف شده را در ls-lR.Z.1 ذخیره می کند و ls-lR.Z را بدون تغییر باقی می گذارد.

از زمان Wget 1.7، هنگام استفاده از -c با یک فایل غیر خالی، اگر سرور از دانلود پشتیبانی نکند، Wget از شروع مجدد دانلود خودداری می کند، زیرا این منجر به از دست رفتن داده های دانلود شده می شود. اگر می خواهید دانلود را دوباره شروع کنید، فایل را حذف کنید.

همچنین از Wget نسخه 1.7، هنگام استفاده از -c در یک فایل طول مساوی Wget از دانلود فایل روی سرور خودداری می کند و یک پیام توضیحی نمایش می دهد. همین اتفاق می افتد اگر فایل راه دور کوچکتر از فایل محلی باشد (شاید از تلاش قبلی در سرور تغییر کرده باشد) - زیرا "ادامه" در این مورد بی معنی است، دانلود انجام نمی شود.

از طرف دیگر، هنگام استفاده از -c، در صورتی که طول فایل راه دور از طول فایل محلی بیشتر باشد، فایل محلی به صورت کم دانلود شده در نظر گرفته می شود. در این صورت، بایت (طول (از راه دور) - طول (محلی)) دانلود شده و در انتهای فایل محلی قرار می گیرد. این رفتار در برخی موارد مورد انتظار است: برای مثال، می‌توانید از -c برای دانلود دسته جدیدی از داده‌های جمع‌آوری‌شده یا فایل گزارش استفاده کنید.

با این حال، اگر فایل روی سرور اصلاح شده باشد و به سادگی اضافه نشده باشد، یک فایل خراب دریافت خواهید کرد. Wget هیچ مکانیزمی برای بررسی اینکه آیا یک فایل محلی آغاز یک فایل راه دور است یا خیر ندارد. هنگام استفاده از -c در رابطه با -r باید مراقب باشید، زیرا هر فایل دانلود نشده در نظر گرفته می شود.

هنگام استفاده از -c با پراکسی HTTP کج، که خط فرمان "دانلود قطع شده" را اضافه می کند، می توان یک فایل خراب را نیز به دست آورد. نسخه های آینده ممکن است یک سوئیچ "بازگشت" را برای اصلاح چنین مواردی اضافه کنند.

سوئیچ -c را فقط می توان با سرورهای FTP و HTTP که از هدر Range پشتیبانی می کنند استفاده کرد.

--پیشرفت=نوع
انتخاب نوع نشانگر پیشرفت دانلود. مقادیر ممکن: "نقطه" و "نوار".
نشانگر نوع "bar" به طور پیش فرض استفاده می شود. نوار پیشرفت ASCII (به اصطلاح "دما سنج") را نمایش می دهد. اگر خروجی در TTY نباشد، به طور پیش فرض از نوع نشانگر "dot" استفاده می شود.
برای تغییر حالت "dot"، --progress=dot را مشخص کنید. پیشرفت دانلود ردیابی می شود و به صورت نقطه نمایش داده می شود، جایی که هر نقطه نشان دهنده آن است اندازه ثابتداده های دانلود شده
هنگام بارگیری نقطه، می‌توانید سبک خروجی را با تعیین dot:style تغییر دهید. سبک های مختلف معانی مختلفی را برای یک نقطه تعریف می کنند. به طور پیش فرض، یک نقطه نشان دهنده 1K است، 10 نقطه یک خوشه را تشکیل می دهد، 50 نقطه در هر خط. سبک باینری بیشتر «کامپیوتر» است - 8K در هر نقطه، 16 امتیاز در هر خوشه و 48 نقطه در هر خط (384K در هر خط). سبک مگا برای دانلود فایل های بسیار بزرگ مناسب ترین است - هر نقطه مربوط به 64K، 8 امتیاز در هر خوشه و 48 نقطه در هر خط (خط مربوط به 3M است).
سبک پیش فرض را می توان از طریق .wgetrc تنظیم کرد. این تنظیم را می توان در خط فرمان لغو کرد. استثنا این است که اگر خروجی در TTY نباشد، «نقطه» بر «نوار» اولویت دارد. برای استفاده همیشه از نوار، --progress=bar:force را مشخص کنید.

-ن
-- مهر زمانی
استفاده از مهرهای زمانی را فعال می کند.

-س
---server-response
خروجی سرصفحه های سرور HTTP و پاسخ های سرور FTP.

--عنکبوت
هنگامی که Wget با این کلید راه اندازی می شود، مانند یک عنکبوت وب رفتار می کند؛ صفحات را دانلود نمی کند، بلکه فقط وجود آنها را بررسی می کند. به عنوان مثال، می توانید نشانک های خود را با استفاده از Wget بررسی کنید:

Wget --spider --force-html -i bookmarks.html

این ویژگی برای دستیابی به عملکرد عنکبوت های وب واقعی به کار زیادی برای Wget نیاز دارد.

-T ثانیه
--تایم اوت=ثانیه
زمان پایان شبکه را بر حسب ثانیه تنظیم می کند. معادل تعیین --dns-timeout، --connect-timeout و --read-timeout به طور همزمان.
هنگامی که Wget به یک میزبان راه دور متصل می شود یا از آن می خواند، مهلت زمانی را بررسی می کند و پس از انقضا، عملیات را لغو می کند. این از بروز ناهنجاری هایی مانند خواندن آویزان یا تلاش های بی پایان برای اتصال جلوگیری می کند. تنها مهلت زمانی پیش‌فرض، بازه زمانی خواندن 900 ثانیه است. تنظیم تایم اوت روی 0 بررسی ها را غیرفعال می کند.
اگر دقیقاً نمی دانید چه کاری انجام می دهید، بهتر است هیچ مقداری را برای کلیدهای تایم اوت تنظیم نکنید.

--dns-timeout=ثانیه
تایم اوت را برای پرس و جوهای DNSدر چند ثانیه ثانیه پرس و جوهای DNS که در مدت زمان مشخص شده تکمیل نشوند با شکست مواجه خواهند شد. به طور پیش فرض، هیچ مهلتی برای پرس و جوهای DNS تنظیم نشده است، به غیر از مواردی که توسط کتابخانه های سیستم تعریف شده است.

--connect-timeout=ثانیه
زمان پایان اتصال را بر حسب ثانیه تنظیم می کند. اتصالات TCP که راه اندازی آنها بیشتر طول می کشد حذف خواهند شد. به‌طور پیش‌فرض، به‌جز مقادیر تعریف‌شده توسط کتابخانه‌های سیستم، هیچ وقفه زمانی اتصال تنظیم نشده است.

--read-timeout=ثانیه
بازه زمانی خواندن (و نوشتن) را در چند ثانیه تنظیم می کند. خواندنی که به زمان بیشتری نیاز دارد موفقیت آمیز نخواهد بود. مقدار پیش فرض 900 ثانیه است.

--limit-rate=مقدار
محدودیت سرعت دانلود را روی مقدار بایت در ثانیه تنظیم می کند. مقدار را می توان در بایت، کیلوبایت با پسوند k یا مگابایت با پسوند m بیان کرد. برای مثال، --limit-rate=20k محدودیت سرعت دانلود را روی 20KB/s تنظیم می کند. این محدودیت زمانی مفید است که به دلایلی نمی خواهید Wget تمام پهنای باند موجود را هدر دهد. Wget محدودیت را از طریق خواب روشن پیاده سازی می کند زمان مورد نیازپس از خواندن یک شبکه که زمان کمتری از حد تعیین شده طول کشید. در نتیجه این استراتژی منجر به کاهش سرعت می شود انتقال TCPتقریبا تا سقف تعیین شده با این حال، برای ایجاد تعادل لازم است زمان مشخص، بنابراین اگر محدودیت برای فایل های کوچک به خوبی کار نمی کند، تعجب نکنید.

-w ثانیه
--wait=secons
تعداد ثانیه های مشخص شده بین دانلودها صبر کنید. استفاده از این تابع برای کاهش بار روی سرور با کاهش تعداد درخواست ها توصیه می شود. به جای ثانیه، زمان را می توان بر حسب دقیقه با پسوند m، ساعت ها با پسوند h و روزها را با پسوند d مشخص کرد.
تعیین یک مقدار بزرگ در صورتی مفید است که شبکه یا میزبان مقصد در دسترس نباشد، به طوری که Wget قبل از تلاش مجدد، زمان کافی برای رفع مشکلات شبکه صبر کند.

--waitretry=ثانیه
اگر نمی‌خواهید Wget بین دانلودهای مختلف منتظر بماند، بلکه فقط بین تلاش‌ها برای دانلود ناموفق منتظر بماند، می‌توانید از این سوئیچ استفاده کنید. Wget به صورت خطی مدت زمان را افزایش می دهد، 1 ثانیه پس از اولین شکست برای یک فایل مشخص، 2 ثانیه پس از شکست دوم، و به همین ترتیب تا زمانی که حداکثر مقدارثانیه بنابراین مقدار 10 باعث می شود که Wget تا (1 + 2 + ... + 10) = 55 ثانیه در هر فایل منتظر بماند. این سوئیچ به طور پیش فرض در wgetrc جهانی فعال است.

--تصادفی-انتظار
برخی از وب‌سایت‌ها می‌توانند با بررسی شباهت‌های آماری در مکث بین درخواست‌ها، گزارش‌ها را برای شناسایی دانلودکنندگان، مانند Wget، تجزیه و تحلیل کنند. این سوئیچ مکث های تصادفی را در محدوده 0 تا 2 * ثانیه انتظار تنظیم می کند، جایی که مقدار انتظار با سوئیچ --wait مشخص می شود. این اجازه می دهد تا Wget از چنین تحلیلی حذف شود. یک مقاله اخیر با موضوع توسعه پلتفرم‌های کاربر محبوب کدی را ارائه کرده است که امکان انجام چنین تحلیلی را در لحظه فراهم می‌کند. نویسنده پیشنهاد مسدود کردن زیرشبکه های کلاس C را برای مسدود کردن برنامه های دانلود خودکار، علی رغم تغییر احتمالی آدرس اختصاص داده شده توسط DHCP، ارائه کرد. ایجاد کلید --تصادفی-انتظار از این توصیه بیمار الهام گرفته شده است تا بسیاری از کاربران بی گناه را به دلیل تقصیر یکی مسدود کند.

-Y روشن/خاموش
--پروکسی=روشن/خاموش
پشتیبانی از پروکسی را فعال یا غیرفعال می کند. اگر متغیر محیطی مناسب تنظیم شده باشد، پشتیبانی از پروکسی به طور پیش فرض فعال می شود.

- سهمیه کیو
--quota=سهمیه
سهمیه ای برای دانلودهای خودکار. مقدار بر حسب بایت (پیش‌فرض)، کیلوبایت (با پسوند k) یا مگابایت (با پسوند m) مشخص می‌شود. سهمیه بر دانلود یک فایل ..gz تأثیر نمی گذارد، فایل ls-lR.gz به طور کلی دانلود می شود. هنگام تعیین چندین URL در خط فرمان، همین اتفاق می افتد. سهمیه در هنگام بارگیری بازگشتی یا هنگام تعیین آدرس در فایل ورودی اهمیت دارد. که شما می توانید با خیال راحت سایت های wget -Q2m -i را مشخص کنید - دانلود با رسیدن به سهمیه قطع می شود. تنظیم مقادیر روی 0 یا inf محدودیت ها را لغو می کند.

Dns-cache=خاموش
ذخیره پرس و جو DNS را غیرفعال می کند. Wget معمولاً آدرس‌های درخواست شده در DNS را به خاطر می‌آورد، بنابراین نیازی نیست به پرس و جو ادامه دهید سرور DNSتقریباً همان مجموعه (معمولاً کوچک) آدرس ها. این کش فقط در حافظه وجود دارد. فرآیند جدید Wget دوباره DNS را پرس و جو می کند. با این حال، در برخی موارد، هنگام اجرای برنامه هایی مانند Wget، ذخیره آدرس ها حتی برای مدت کوتاهی مطلوب نیست. به عنوان مثال، برخی از سرورهای HTTP به صورت پویا آدرس های IP را تخصیص داده اند که هر از گاهی تغییر می کنند. آنها رکوردهای DNSبا هر تغییر به روز می شود اگر دانلود Wget از چنین میزبانی به دلیل تغییر در آدرس IP قطع شود، Wget بارگیری را دوباره امتحان می کند، اما (به دلیل ذخیره DNS) سعی می کند به آدرس قدیمی متصل شود. با غیرفعال بودن حافظه پنهان DNS، Wget در هر اتصال پرس و جوهای DNS را انجام می دهد و بنابراین هر بار آدرس پویا صحیح را به دست می آورد. اگر توضیحات بالا را متوجه نشدید، احتمالاً به این کلید نیاز نخواهید داشت.

--restrict-file-names=mode
تعیین می کند که چه مجموعه کاراکتری می تواند هنگام ایجاد یک نام فایل محلی از یک URL راه دور استفاده شود. کاراکترهای ممنوع شده توسط این کلید فرار می شوند، یعنی. با %HH جایگزین می شوند، که در آن HH کد هگزادسیمال کاراکتر مربوطه است. به‌طور پیش‌فرض، Wget از کاراکترهایی فرار می‌کند که اجازه ندارند بخشی از نام فایل در سیستم عامل شما باشند، و همچنین کاراکترهای کنترلی که معمولاً قابل چاپ نیستند. اگر فایل را در یک پارتیشن غیر بومی ذخیره می‌کنید یا می‌خواهید فرار کاراکترهای کنترلی را لغو کنید، این سوئیچ برای تغییر پیش‌فرض مفید است. هنگامی که حالت روی "یونیکس" تنظیم می شود، Wget از کاراکتر / و کاراکترهای کنترل در محدوده های 0-31 و 128-159 فرار می کند. این پیش فرض برای سیستم عامل های یونیکس است. هنگامی که حالت روی "ویندوز" تنظیم می شود، Wget از کاراکترهای \, |, /, :, ?, ", * و کنترل کاراکترها در محدوده های 0-31 و 128-159 فرار می کند. علاوه بر این، Wget در حالت Windows به جای آن از + استفاده می کند. از : برای جدا کردن میزبان و پورت در نام فایل های محلی و @ به جای ? برای جدا کردن قسمت درخواستی نام فایل از بقیه. حالت ویندوزبه عنوان www..pl@input=blah ذخیره خواهد شد. این حالت پیش فرض در ویندوز است. اگر nocontrol را به حالت اضافه کنید، به عنوان مثال unix، nocontrol، فرار کاراکتر کنترل غیرفعال می شود. می‌توانید از --restrict-file-names=nocontrol برای غیرفعال کردن کنترل گریز کاراکترها بدون تأثیر بر انتخاب حالت فرار کاراکترهای کنترلی خاص سیستم عامل استفاده کنید.

کلیدهای دایرکتوری

-nd
--بدون دایرکتوری
هنگام دانلود بازگشتی، ساختار دایرکتوری ایجاد نکنید. با استفاده از این سوئیچ، تمام فایل ها بدون بازنویسی در فهرست فعلی ذخیره می شوند (اگر نام بیش از یک بار ظاهر شود، نام ها پسوند.n را دریافت می کنند).

-ایکس
- دایرکتوری های نیرو
معکوس -nd - یک ساختار دایرکتوری ایجاد می کند حتی اگر در غیر این صورت ایجاد نمی شد. txt فایل را در site/robots.txt ذخیره می کند.

-nH
دایرکتوری های بدون میزبان
ایجاد دایرکتوری میزبان را غیرفعال می کند..ru/. این کلید این رفتار را لغو می کند.

--پروتکل-دایرکتوری ها
از نام پروتکل به عنوان یک جزء دایرکتوری برای فایل های محلی استفاده کنید. به عنوان مثال، با این سوئیچ wget -r http://host به جای host/ در http/host/... ذخیره می شود.

--cut-dirs=عدد
تعداد سطوح تودرتو دایرکتوری را نادیده بگیرید. این یک سوئیچ مفید برای مدیریت دقیق دایرکتوری برای ذخیره محتوای بارگیری بازگشتی است. هنگام دانلود با -r، کپی محلی در ftp ذخیره می شود. اگر سوئیچ -nH بتواند ftp را حذف کند. اینجاست که --cut-dirs به کمک می آید؛ Wget را مجبور می کند که چشم خود را روی تعداد زیر شاخه های راه دور ببندد. در زیر چند نمونه کار از --cut-dirs آورده شده است.

بدون گزینه -> ftp. -nH -> pub/xxx/ -nH --cut-dirs=1 -> xxx/ -nH --cut-dirs=2 -> . --cut-dirs=1 -> ftp.site/xxx/

اگر فقط باید از شر ساختار دایرکتوری خلاص شوید، این سوئیچ را می توان با ترکیبی از -nd و -P جایگزین کرد. با این حال، بر خلاف -nd، --cut-dirs زیرشاخه‌ها را از دست نمی‌دهد - برای مثال، با -nH --cut-dirs=1، فهرست فرعی بتا/ به‌عنوان xxx/بتا ذخیره می‌شود.

پیشوند -P
--directory-prefix=پیشوند
دایرکتوری ریشه را روی پیشوند تنظیم می کند. دایرکتوری ریشه دایرکتوری است که در آن همه فایل ها و زیر شاخه ها ذخیره می شوند، یعنی. بالای درخت دانلود پیش فرض (پوشه کنونی).

کلیدهای HTTP

-ای
--html-پسوند
اگر URL دانلود شده از نوع application/xhtml+xml یا text/html باشد و انتهای آن مطابقت نداشته باشد، این کلید پسوند html را به نام فایل محلی اضافه می کند. عبارت منظم\.؟ این کار مفید است، به‌عنوان مثال، هنگام انعکاس سایت‌هایی که از صفحات .asp استفاده می‌کنند، زمانی که می‌خواهید آینه روی آن کار کند. سرور معمولیآپاچی همچنین هنگام دانلود محتوای تولید شده به صورت پویا مفید است. URL مانند http://site.com/article.cgi?25 به عنوان article.cgi?25.html ذخیره می شود. صفحاتی که به این روش ذخیره می شوند با هر بازتاب بعدی بارگیری و بازنویسی می شوند، زیرا Wget نمی تواند با فایل محلی X.html مطابقت داشته باشد به یک آدرس راه دور URL X (او هنوز نمی داند که URL پاسخی مانند text/html یا application/xhtml+xml برمی گرداند). برای جلوگیری از آپلود مجدد، از کلیدهای -k و -K استفاده کنید تا نسخه اصلی به عنوان X.orig ذخیره شود.

--http-user=user
--http-passwd=password
نام کاربری کاربر و را مشخص می کند کلمه عبوربرای دسترسی سرور HTTP. بسته به نوع درخواست، Wget آنها را با استفاده از یک طرح مجوز معمولی (ناامن) یا خلاصه کدگذاری می کند. راه دیگر برای تعیین نام کاربری و رمز عبور در خود URL است. هر دو روش رمز عبور شما را برای هر کسی که ps را باز می کند نشان می دهد. برای جلوگیری از افشای رمزهای عبور، آنها را در فایل‌های .wgetrc یا netrc. ذخیره کنید و مطمئن شوید که این فایل‌ها توسط سایر کاربران با استفاده از chmod قابل خواندن نیستند. توصیه نمی شود رمزهای عبور مهم را حتی در این فایل ها ذخیره کنید. پسوردها را در فایل ها بنویسید و بلافاصله پس از اجرای Wget آنها را حذف کنید.

--بدون کش
کش سمت سرور را غیرفعال می کند. در این شرایط Wget ارسال می کند به یک سرور راه دوردستورالعمل مناسب (Pragma: no-cache) برای به دست آوردن نسخه به روز شده، به جای حافظه پنهان، فایل. این به ویژه برای پاک کردن اسناد قدیمی در سرورهای پروکسی مفید است. کش به طور پیش فرض فعال است.

-- بدون کوکی
استفاده از کوکی ها را غیرفعال می کند. کوکی ها مکانیزمی برای حفظ وضعیت سرور هستند. سرور با استفاده از هدر Set-Cookie یک کوکی برای مشتری ارسال می کند و کلاینت این کوکی را در تمام درخواست های بعدی شامل می شود. زیرا کوکی‌ها به صاحبان سرور اجازه می‌دهند بازدیدکنندگان را ردیابی کنند و این اطلاعات را بین سایت‌ها به اشتراک بگذارند، که برخی آن را نقض حریم خصوصی می‌دانند. به طور پیش فرض، از کوکی ها استفاده می شود. با این حال، کوکی ها به طور پیش فرض ذخیره نمی شوند.

فایل --load-cookies
بارگیری کوکی ها از فایل قبل از اولین درخواست HTTP. فایل - فایل متنیدر قالبی که در ابتدا برای فایل cookies.txt Netscape استفاده می شد. معمولاً این گزینه برای انعکاس سایت هایی که نیاز به مجوز برای برخی یا همه محتوا دارند، مورد نیاز است. مجوز معمولا با صدور سرور انجام می شود کوکی HTTPپس از دریافت و تایید اطلاعات ثبت نام. سپس هنگام مشاهده آن قسمت از سایت، یک کوکی توسط مرورگر ارسال می شود و شناسایی می کند. انعکاس چنین سایتی به Wget نیاز دارد که کوکی های مشابه مرورگر را ارائه دهد. این از طریق --load-cookies به دست می آید - به سادگی به Wget محل cookies.txt خود را بگویید و کوکی های مشابه مرورگر را ارسال می کند. مرورگرهای مختلف کوکی ها را در مکان های مختلف ذخیره می کنند: Netscape 4.x. ~/.netscape/cookies.txt. موزیلا و نت اسکیپ 6.x. فایل کوکی موزیلا نیز cookies.txt نامیده می شود و در جایی داخل ~/.mozilla در فهرست نمایه شما قرار دارد. مسیر کامل معمولاً شبیه ~/.mozilla/default/some-weird-string/cookies.txt است. اینترنت اکسپلورر. کوکی Wget را می توان از طریق منوی File, Import and Export, Export Cookies دریافت کرد. تست شده بر روی اینترنت اکسپلورر 5. عملکرد با نسخه های قبلی تضمین نمی شود. مرورگرهای دیگر. اگر از مرورگر دیگری استفاده می کنید، --load-cookies تنها در صورتی کار می کنند که فرمت فایل با فرمت Netscape مطابقت داشته باشد، یعنی. آنچه Wget انتظار دارد. اگر نمی توانید از --load-cookies استفاده کنید، ممکن است جایگزین دیگری وجود داشته باشد. اگر مرورگر شما دارای «مدیر کوکی» است، می‌توانید کوکی‌های مورد نیاز برای انعکاس را مشاهده کنید. نام و مقدار کوکی را یادداشت کنید و به صورت دستی آنها را با دور زدن پشتیبانی "رسمی" در اختیار Wget قرار دهید:

Wget --cookies=off --header "Cookie: name=value"

فایل --save-cookies
ذخیره کوکی ها در فایل قبل از خروج. این گزینه کوکی ها و کوکی های منقضی شده را بدون زمان انقضا خاص (به اصطلاح "کوکی های جلسه") ذخیره نمی کند. همچنین به --keep-session-cookies مراجعه کنید.

--keep-session-cookies
هنگامی که --save-cookies مشخص می شود، کوکی های جلسه را ذخیره می کند. به طور معمول، کوکی‌های جلسه ذخیره نمی‌شوند زیرا انتظار می‌رود با بسته شدن مرورگر فراموش شوند. ذخیره آنها برای سایت هایی که برای دسترسی به صفحات به مجوز نیاز دارند مفید است. هنگام استفاده از این گزینه، فرآیندهای مختلف Wget برای یک سایت به عنوان یک مرورگر ظاهر می شود. زیرا معمولاً فرمت کوکی فایل حاوی کوکی‌های جلسه نیست، Wget آنها را با مهر زمانی انقضا 0 علامت‌گذاری می‌کند. --load-cookies آنها را به عنوان کوکی‌های جلسه در نظر می‌گیرد، اما ممکن است برای مرورگرهای دیگر مشکلاتی ایجاد کند کوکی‌های بارگذاری شده به این روش به عنوان کوکی‌های جلسه تفسیر می‌شوند. ، یعنی ذخیره با --save-cookies باید دوباره --keep-session-cookies را مشخص کند.

--نادیده گرفتن-طول
متأسفانه، برخی از سرورهای HTTP (به طور دقیق برنامه های CGI) یک هدر Content-Length نادرست ارسال می کنند که Wget را دیوانه می کند. او فکر می کند که سند به طور کامل دانلود نشده است. اگر Wget سعی کند بارها و بارها یک سند را بارگیری کند، این سندروم مشاهده می شود، که هر بار نشان دهنده نقص اتصال در همان بایت است. با استفاده از این سوئیچ، Wget هدر Content-Length را نادیده می گیرد که گویی هرگز وجود نداشته است.

--header=additional-header
یک هدر اضافی برای آن مشخص کنید انتقال HTTPسرور سرصفحه ها باید حاوی ":" بعد از یک یا چند کاراکتر غیر خالی باشند و نباید حاوی خطوط شکسته باشند. شما می توانید چندین هدر اضافی را با استفاده از سوئیچ --header چندین بار مشخص کنید.

Wget --header="Accept-Charset: iso-8859-2" --header="Accept-Language: hr" http://aaa.hr/

تعیین یک رشته خالی به عنوان سربرگ، سرصفحه های سفارشی از قبل مشخص شده را پاک می کند.

--proxy-user=user
--proxy-passwd=رمز عبور
نام کاربری کاربر و رمز عبور را برای مجوز در سرور پروکسی مشخص می کند. Wget آنها را با استفاده از یک طرح مجوز اولیه رمزگذاری می کند. در اینجا همان ملاحظات امنیتی مانند کلید --http-passwd اعمال می شود.

--referer=url
شامل سرصفحه «ارجاع: url» در درخواست است. در صورتی مفید است که هنگام ارائه یک سند، سرور فکر می‌کند با یک مرورگر تعاملی ارتباط برقرار می‌کند و بررسی می‌کند که فیلد Referer حاوی صفحه‌ای است که به سند درخواستی اشاره می‌کند.

--save-headers
هدرهای پاسخ HTTP را بلافاصله قبل از محتوا با استفاده از یک رشته خالی به عنوان جداکننده در فایلی ذخیره می کند.

-U agent-string
--user-agent=agent-string
به عنوان مرورگر agent-string برای سرور HTTP شناسایی شده است. پروتکل HTTP امکان شناسایی مشتری با استفاده از قسمت سرصفحه User-Agent را می دهد. این اجازه می دهد تا نرم افزار متمایز شود، معمولاً برای آمار یا ردیابی نقض پروتکل. Wget معمولاً به عنوان Wget/version، جایی که نسخه است، شناسایی می شود نسخه فعلی Wget. با این حال، برخی از سایت ها سیاست تنظیم خروجی مرورگر را بر اساس قسمت User-Agent دارند. اساسا اینطور نیست ایده بد، اما برخی از سرورها دسترسی به کلاینت هایی غیر از موزیلا و اینترنت مایکروسافتکاوشگر. این کلید به شما امکان می دهد مقدار User-Agent را که توسط Wget برگردانده شده است را تغییر دهید. استفاده از این کلید توصیه نمی شود مگر اینکه از کاری که انجام می دهید مطمئن باشید.

--post-data=string
--post-file=پرونده
استفاده می کند روش POSTبرای همه درخواست های HTTPو داده های مشخص شده در درخواست را ارسال می کند. --post-data رشته را به عنوان داده ارسال می کند و --post-file محتویات فایل فایل را ارسال می کند. در غیر این صورت آنها همان کار را انجام می دهند. لطفاً به خاطر داشته باشید که Wget ابتدا باید طول درخواست POST را بداند. آرگومان --post-file باید یک فایل معمولی باشد. تعیین FIFO به عنوان /dev/stdin کار نخواهد کرد. کاملاً مشخص نیست که چگونه می توان این محدودیت در HTTP/1.0 را دور زد. اگرچه HTTP/1.1 انتقال تکه‌ای را معرفی می‌کند، که نیازی به دانش اولیه از طول ندارد، مشتری نمی‌تواند از آن استفاده کند مگر اینکه مطمئن باشد که با سرور HTTP/1.1 در ارتباط است. و او نمی تواند این را بداند تا زمانی که پاسخی دریافت کند که به نوبه خود به یک درخواست کامل می رسد. مشکل تخم مرغ و مرغ توجه: اگر Wget در پاسخ به یک تغییر مسیر دریافت کند درخواست POST، داده های POST را به URL تغییر مسیر ارسال نمی کند. غالبا آدرس های URL، که POST را مدیریت می کند، یک تغییر مسیر به یک صفحه معمولی صادر می کند (حتی اگر این از نظر فنی ممنوع است) که نمی خواهد POST را بپذیرد. هنوز مشخص نیست که آیا این رفتار بهینه است یا خیر. اگه کار نکرد عوض میشه مثال زیر نحوه ورود به سرور با استفاده از POST و سپس دانلود صفحات مورد نظر را نشان می دهد که فقط برای کاربران مجاز قابل دسترسی است:

Wget --save-cookies cookies..php wget --load-cookies cookies.txt -p http://server.com/interesting/article.php

پیکربندی WGET

تنظیمات اولیه ای که هر بار باید نوشته شوند را می توان در فایل پیکربندی برنامه مشخص کرد. برای انجام این کار، به پوشه کاری Wget بروید، فایل sample.wgetrc را در آنجا پیدا کنید، نام آن را تغییر دهید wgetrcو پارامترهای پیکربندی لازم را در ویرایشگر یادداشت کنید.

User-agent = "Mozilla/5.0" تلاش = 5 تعداد تلاش برای دانلود صبر کنید = 0 مکث نکنید ادامه دهید = روشن باید dir_prefix = ~/Downloads/ را دانلود کنید use_proxy=on دانلود شده را کجا قرار دهید - از پروکسی استفاده کنید http_proxy - ویژگی های سرور پروکسی شما

• متغیر محیطی WGETRC را روی مسیر کامل فایل تنظیم کنید.
• متغیر HOME را برای نشان دادن مسیر به آن تنظیم کنید پوشه خانهکاربر (c:\Documents and settings\jonh). سپس wget به دنبال فایل "wgetrc" در آن پوشه می گردد.
• همچنین، می توانید یک فایل wget.ini در همان پوشه ای که wget.exe در آن قرار دارد ایجاد کنید و پارامترهای اضافی خط فرمان wget را در آنجا تنظیم کنید.

اطلاعات مفید در مورد WGET را می توان در اینجا یافت:

• فانتوم جی اس- در صورت نیاز به دانلود سایتی که برخی از داده ها با استفاده از جاوا اسکریپت بارگیری می شوند، استفاده کنید

.

هنگام کار در کنسول، اغلب مجبوریم با شبکه تعامل داشته باشیم، به عنوان مثال، فایل ها یا کل صفحات اینترنت را دانلود کنیم. اگر صفحات اینترنتی را به ندرت دانلود کنیم، در مورد فایل ها وضعیت کاملاً متفاوت است. اینها می توانند اسکریپت های مختلفی باشند، بسته های نصب، برنامه ها، کلیدها، لیست بسته ها و خیلی بیشتر. با استفاده از ابزار wget می توانید فایل را در کنسول لینوکس دانلود کنید. در این مقاله به بررسی آن خواهیم پرداخت.

این یک ابزار بسیار قدرتمند است که می تواند روی پروتکل های HTTP، HTTPS و FTP کار کند. علاوه بر این، کار از طریق یک پروکسی پشتیبانی می شود. دستور wget linux می‌تواند فایل‌ها را حتی در پس‌زمینه دانلود کند - برخلاف اکثر مرورگرهای وب، بدون تعامل با کاربر.

علاوه بر دانلود فایل ها، به لطف عملکرد باز کردن لینک ها در صفحات، می توان صفحات وب یا حتی کل وب سایت ها را ذخیره کرد. این ویژگی بارگذاری بازگشتی نیز نامیده می شود. در مقاله امروز همه اینها را بررسی خواهیم کرد، اما بیایید، مثل همیشه، با نحو و گزینه‌های اساسی این ابزار شروع کنیم.

دستور wget لینوکس یک نحو بسیار ساده دارد:

گزینه های $ wget link_address

شما می توانید بیش از یک URL دانلود را مشخص کنید، اما چندین URL را همزمان. گزینه ها مورد نیاز نیستند، اما در بیشتر موارد برای پیکربندی گزینه های بوت استفاده می شوند.

گزینه ها

نحو گزینه ها بسیار شل است. هر گزینه به طور معمول دارای هر دو طولانی و نام کوتاه. آنها می توانند قبل یا بعد از URL نوشته شوند. نیازی به گذاشتن فاصله بین گزینه و مقدار آن نیست، برای مثال می توانید -o log یا -olog را بنویسید. این مقادیر معادل هستند. همچنین، اگر گزینه ها پارامتر ندارند، لازم نیست هر کدام را با خط فاصله شروع کنید، می توانید همه آنها را با هم بنویسید: -drc و -d -r -c. این گزینه های wget نیز معادل هستند.

حالا بیایید به لیست گزینه ها برویم. Wget گزینه های زیادی دارد، ما فقط به موارد اصلی نگاه خواهیم کرد.

• -V (--نسخه)- نمایش نسخه برنامه
• -h (--کمک)- صدور گواهینامه
• -ب (--زمینه)- کار در پس زمینه
• -o فایل (-- خارج از فایل)- فایل log را مشخص کنید
• -د (--اشکال زدایی)- حالت اشکال زدایی را فعال کنید
• -v (--کلمه)- نمایش حداکثر اطلاعات در مورد عملکرد ابزار
• -q (--آرام)- نمایش حداقل اطلاعات در مورد کار
• -من فایل (--ورودی-فایل)- URL را از فایل بخوانید
• --force-html- فایل مشخص شده در پارامتر قبلی را به صورت html بخوانید
• -t (--تلاش)- تعداد تلاش برای اتصال به سرور
• فایل O (--خروجی-سند)- فایلی که داده های دریافتی در آن ذخیره می شود
• -с (--ادامه)- دانلود قبلی قطع شده را ادامه دهید
• -S (--سرور-پاسخ)- نمایش پاسخ سرور
• --عنکبوت- عملکرد URL را بررسی کنید
• -T time (--timeout)- پایان زمان اتصال سرور
• - نرخ محدود- محدود کردن سرعت دانلود
• -w (--صبر کن)- فاصله بین درخواست ها
• -س (--سهمیه، سهم) - حداکثر اندازهدانلودها
• -4 (--inet4only)- از پروتکل ipv4 استفاده کنید
• -6 (--inet6only)- از پروتکل ipv6 استفاده کنید
• -U (--user-agent)- رشته USER AGENT به سرور ارسال می شود
• -r (-- بازگشتی) - عملیات بازگشتی ابزار
• -l (--سطح)- عمق در طول اسکن بازگشتی
• -k (--تبدیل پیوندها)- هنگام بارگذاری صفحات، پیوندها را به محلی تبدیل کنید
• -P (--directory-prefix)- دایرکتوری که فایل ها در آن دانلود خواهند شد
• -m (--آینه)- سایت را در دستگاه محلی خود دانلود کنید
• -پ (--صفحه-نیازها)- هنگام بارگذاری سایت، تمامی منابع لازم را دانلود کنید

البته، اینها همه کلیدهای wget نیستند، اما در اینجا تئوری بیش از حد وجود دارد، حالا بیایید به تمرین برویم. مثال‌های wget بسیار جالب‌تر هستند.

استفاده از لینوکس wget

دستور wget linux معمولاً به صورت پیش‌فرض در اکثر توزیع‌ها ارائه می‌شود، اما در غیر این صورت، می‌توان آن را به راحتی نصب کرد. به عنوان مثال، نصب با استفاده از yum به شکل زیر است:

yum -y wget را نصب کنید

و در توزیع های مبتنی بر دبیان:

sudo apt wget را نصب کنید

حالا مستقیماً به سراغ مثال‌ها می‌رویم:

دستور wget لینوکس یک فایل را دانلود کرده و در دایرکتوری فعلی ذخیره می کند. در طول دانلود شاهد پیشرفت، اندازه فایل، تاریخ آن خواهیم بود آخرین تغییرو همچنین سرعت دانلود:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

2. فایل را با نام دیگری ذخیره کنید

گزینه -O به شما امکان می دهد نامی برای فایل ذخیره شده تعیین کنید، به عنوان مثال، یک فایل wget با نام wget.zip را دانلود کنید:

wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

3. چندین فایل دانلود کنید

شما می توانید چندین فایل را با یک دستور دانلود کنید، حتی با استفاده از پروتکل های مختلف، به سادگی با مشخص کردن URL آنها:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig

4. URL را از فایل دریافت کنید

wget -i /wget/tmp.txt

5. دانلود را ادامه دهید

ابزار لینوکس wget برای کار بر روی شبکه های کند و ناپایدار طراحی شده است. پس اگر دانلود کردید فایل بزرگو اتصال در حین دانلود قطع شد، سپس می توانید فایل wget را با استفاده از گزینه -c دانلود کنید.

wget -c http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

گزینه -b باعث می شود برنامه در پس زمینه اجرا شود، تمام خروجی ها در یک فایل log نوشته می شود، سوئیچ های wget ویژه برای پیکربندی فایل log استفاده می شود:

wget -b -o ~/wget.log http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

7. محدود کردن سرعت دانلود

دستور wget linux نه تنها به شما اجازه می دهد تا به دانلود فایل ها ادامه دهید، بلکه سرعت دانلود را نیز محدود می کند. یک گزینه --limit-rate برای این وجود دارد. به عنوان مثال، اجازه دهید سرعت را به 100 کیلوبیت محدود کنیم:

wget --limit-rate=100k ftp://ftp.iinet.net.au/debian/debian-cd/8.4.0/amd64/iso-dvd/debian-8.4.0-amd64-DVD-1.iso

در اینجا، مانند سایر دستورات مشابه، شاخص هایی برای نشان دادن سرعت - k - کیلوبیت، m - مگابیت، g - گیگابیت و غیره در دسترس هستند.

8. اتصال با استفاده از لاگین و رمز عبور

برخی از منابع برای دانلود فایل های خود نیاز به احراز هویت دارند. با استفاده از گزینه های --http-user=username، –http-password=password و --ftp-user=username، --ftp-password=password می توانید نام کاربری و رمز عبور منابع HTTP یا FTP را تنظیم کنید.

wget --http-user=narad --http-password=password http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso

wget --ftp-user=narad --ftp-password=password ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386 -DVD-1.iso

9. دانلود و اجرا کنید

احتمالاً قبلاً چنین دستوراتی را دیده اید. wget به شما امکان می دهد بلافاصله اسکریپت های دانلود شده را اجرا کنید:

wget -O - http://site/script.sh | ضربه شدید

اگر گزینه -O هیچ آرگومانی را ارسال نکند، فایل دانلود شده در خروجی استاندارد چاپ می‌شود، سپس می‌توانیم آن را از مفسر bash تغییر مسیر دهیم، همانطور که در بالا نشان داده شده است.

10. فایل را در یک پوشه ذخیره کنید

به طور پیش فرض wget فایل را در آن ذخیره می کند پوشه فعلی، اما این رفتار با استفاده از گزینه -P بسیار آسان است:

wget -P ~/Downloads/ http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

11. اطلاعات مرورگر را انتقال دهید

برخی از سایت‌ها ربات‌ها را فیلتر می‌کنند، اما ما می‌توانیم اطلاعات جعلی درباره مرورگر خود (کاربر-عامل) و صفحه‌ای که از آن آمده‌ایم (http-referer) ارسال کنیم.

wget ‐‐refer=http://google.com ‐‐user-agent=”Mozilla/5.0 Firefox/4.0.1″ //site

12. تعداد دفعات دانلود

به‌طور پیش‌فرض، wget سعی می‌کند 20 بار دانلود را دوباره امتحان کند، قبل از اینکه شکست بخورد. تعداد دفعات را می توان با استفاده از گزینه --tries تغییر داد: