最近，香港中文大学终身教授贾佳亚团队推出了一款名为Mini-Gemini的多模态模型，这款模型可谓是在多模态任务榜单上大放异彩，其性能竟然可以媲美GPT-4与DALLE3的结合！Mini-Gemini模型以其更精确的图像理解能力、更高质量的训练数据和更强的图像解析推理能力而著称，堪称是多模态模型中的一股清流。
Mini-Gemini模型的代码、模型和数据已经全部开源，可以在Github、论文地址和模型及数据的Huggingface页面上找到。这一开放性的举措使得Mini-Gemini迅速登上了PaperWithCode的热榜，受到了广泛关注。这种开源精神不仅为开发者提供了更多的参考和学习资源，也为整个多模态模型领域带来了新的活力。
Mini-Gemini的图像理解和生成能力通过Demo形式得到了展示，用户可以在线与自定义图像进行对话。这一功能使得Mini-Gemini在实际应用场景中表现出色，尤其是在需要对高清图像进行解析并用图像形式展现的任务中。Mini-Gemini不仅能根据图片内容对做面包的过程进行指导，还能根据电脑图片中的参数进行准确对比，展现出了其强大的图像理解和推理能力。
此外，Mini-Gemini在保留图像理解和推理能力的同时，还具备了图像生成能力，类似于ChatGPT与生成模型的结合。通过抽象的多模态指令，模型能够进行推理并生成合适的图片。例如，当用户提出两个毛线团能做什么时，Mini-Gemini不仅能识别图片内容并给出建议，还能生成相应的毛线小熊图片，展现出了其强大的图像生成能力。
Mini-Gemini的技术背后，采用了名为Gemini的视觉双分支信息挖掘方法，通过使用卷积网络（ConvNet）对高分辨率图像进行编码，并利用Transformer中的Attention机制来挖掘每个低分辨率Query对应的高分辨率区域。在图像生成方面，Mini-Gemini结合了SDXL技术，通过LLM生成的文本链接两个模型，类似于DALLE3的流程，展现出了其技术实力和创新性。
在���据方面，Mini-Gemini通过收集和优化训练数据，实现了对图像理解、推理和生成的统一流程。即使在仅使用2-3M数据的情况下，Mini-Gemini也能在各种Zero-shot榜单上与大厂使用大量数据训练出的模型相媲美，展现了其高效性和实用性。这一成果不仅为开源社区带来了新的活力，也为多模态模型的发展和应用开辟了新的可能性，让人对未来充满期待。