<div dir="ltr">Our "large" files are usually closer to 1 GB than 10-100 GB, but the general idea should be the same.<div><br></div><div>We tried using <a href="https://github.com/vkholodkov/nginx-upload-module">https://github.com/vkholodkov/nginx-upload-module</a> (docs at <a href="https://www.nginx.com/resources/wiki/modules/upload/">https://www.nginx.com/resources/wiki/modules/upload/</a>), but we had a hard time getting it to work properly, and it might not be compatible with newer nginx versions. (I don't remember why we didn't try using the project that was forked from.) We considered a similar project <a href="https://github.com/pgaertig/nginx-big-upload">https://github.com/pgaertig/nginx-big-upload</a> but then we decided that we did not want to use an nginx extension because we were worried about future maintainability (as you can see, none of those projects have been updated for a while.)</div><div><br></div><div>We are currently using the tus resumable update protocol - <a href="https://tus.io/">https://tus.io/</a> - they have client and server implementations available in most common programming languages.</div><div><br></div><div>You might also consider using something like MinIO, Ceph, or anything else that provides an Amazon-S3-compatible API (which includes multi-part upload), but those need an S3-compatible upload tool so it's a lot more work to allow uploads from the browser. (You could look at <a href="https://github.com/TTLabs/EvaporateJS">https://github.com/TTLabs/EvaporateJS</a> or <a href="https://github.com/zdresearch/s3-multipart-upload-javascript-browser">https://github.com/zdresearch/s3-multipart-upload-javascript-browser</a> for more about that, but I haven't tried them.)</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 8, 2022 at 9:24 AM Alva Couch <<a href="mailto:ACouch@cuahsi.org">ACouch@cuahsi.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-US" style="overflow-wrap: break-word;">
<div class="gmail-m_-4904734868249338059WordSection1">
<p class="MsoNormal">I’m new to this list but have been running an NGINX community stack including NGINX community/Gunicorn/Django for several years in production.
</p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">My site is a science data repository. We have a need to accept very large files as uploads: 10 gb and above, with a ceiling of 100 gb or so.
</p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">What strategies have people found to be successful for uploading very large files? Please include both “community” and “plus” solutions.
</p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Thanks</p>
<p class="MsoNormal">Alva L. Couch</p>
<p class="MsoNormal">Senior Architect of Data Services, CUAHSI</p>
</div>
</div>

_______________________________________________<br>
nginx mailing list -- <a href="mailto:nginx@nginx.org" target="_blank">nginx@nginx.org</a><br>
To unsubscribe send an email to <a href="mailto:nginx-leave@nginx.org" target="_blank">nginx-leave@nginx.org</a><br>
</blockquote></div>